인공지능의 시대, 영화 창작의 방법론적 재정의
<폭설> 중 '실사'에 드리운 한계를 넘으면 비로소 선명해지는, 영화가 낳은(을) 새로운 감각과 지형을 발견합니다. 영화는 태생적으로 기술 발전에 조응하며 미학적, 산업적 변화를 거듭해 온 매체이다. 무성에서 유성으로, 흑백에서 컬러로, 아날로그 필름에서 디지털로 이행하는 기술사적 변곡점마다 영화 창작자들은 새로운 표현 가능성과 방법론적 도전에 직면해왔다. 최근 부상하는 인공지능(AI) 기술 역시 이러한 영화 기술사의 연장선상에서 주목해야 할 중요한 변수로 부상하고 있으며, 이는 영화 제작 방식과 미학 전반에 걸친 또 다른 전환을 예고한다. 최근 필자가 제작한 단편 < 폭설 >(2024)은 AI를 기반으로 전체 제작 과정이 이루어진 코즈믹 호러 영화이다. 전통적인 촬영과 후반 작업 대신 인공지능 생성 기술을 전면적으로 활용함으로써, 기존 영화 제작 방식으로는 구현이 불가능했던 시각 요소들을 구현할 수 있었다. AI 기반 제작 방식은 물리적 세트나 대규모 시각효과팀이 없이도 연출자의 순수한 상상력을 직접적으로 시각화할 수 있는 혁신적 가능성을 열었다. <폭설>은 종말을 앞둔 2009년 겨울, 설국(雪國)을 배경으로 구축된 디지털 세계이다. 주인공 소요는 어릴 적 친구인 유코를 기다린다. 작은 섬마을에서 벌어진 초자연적 현상은 종말로 확대되고, 소요가 유코가 남긴 수취인 없는 유서를 떠올리며 벌어지는 이야기를 다룬다. 영화는 특히 ‘몬사로(漢字道)’라 불리는 초월체. 형이상학적 존재를 시각화하는 데 중점을 두었다. 이러한 비물질적이고 초월적 존재의 표현은 전통적 시각효과로는 구현하기 어려웠으나, 생성형 AI 파이프라인을 통해 이전에는 불가능했던 시각적 표현을 달성할 수 있었다. <폭설> 제작에서는 프리 프로덕션부터 포스트 프로덕션까지 AI 기술을 다층적으로 활용했다. 특히 시나리오에서 묘사된 ‘몬사로’라고 하는, 형체가 정확히 드러나지 않는 형이상학적 존재의 시각화 작업은 정교한 프롬프트 엔지니어링을 통해 점진적으로 구체화되었다. 이 과정에서 작업을 안정화하기 위해 대규모 언어 모델인 Claude API를 활용하여 엔지니어링 프로그램을 개발하였고, 시나리오를 바탕으로 AI 프로덕션을 진행할 수 있는 구조화 시스템을 구축했다. 이는 시나리오의 핵심 시각 요소와 정서적 톤을 분석하고 이를 이미지 생성 명령어로 변환하는 중간 매개체로 기능했다. 독백으로 전개되는 14분 분량의 이 작품은 대화 장면보다는 강렬한 시각적 이미지와 분위기를 통해 이야기를 전달한다. 이러한 접근은 AI 영화 제작의 특성을 고려한 의도적 선택이었다. 당시 AI 기술로는 자연스러운 대화 장면과 입술 동기화를 구현하기 어렵기 때문에, 내면의 독백을 통한 서사 전개 방식을 선택하고 시각적 요소에 집중했다. <폭설, 暴雪> 중 전체 설국 시퀀스 제작을 위해 직접 촬영한 눈의 텍스처를 학습시켜 AI로 생성된 설산 배경 이미지를 기본 레이어로 사용하였고, 특히 사실적인 표현과 초현실적 요소 사이의 균형을 세심하게 조정했다. 여기에 ControlNet을 결합한 워크플로우를 구축했다. 기본 배경 이미지에 ComfyUI 노드 기반 워크플로우를 적용해 시네마틱한 로그 프로파일을 구현했다. 이후, 35mm 필름의 할레이션 효과를 재현하고, ControlNet으로 아나모픽 렌즈 플레어와, 얕은 피사계 심도와 대기 원근법을 구축했다. 이후 후반 작업에서는 Film Grain 노드로 Pro-Mist 필터 효과를 시뮬레이션 후, 시네마틱 톤매핑을 완성하여 애너모픽 스퀴즈와 쿨-웜 색상 대비를 정교하게 조절하며 실제 영화의 질감을 구현하기 위해, 본 단계들이 점진적으로 추가되었다. 특히 캐릭터의 일관성을 유지하면서도 환경이 서서히 변화하는 과정을 표현하기 위해 이미지 변환 기술을 여러 단계로 적용하며 진행되었다. 이 과정에서 주목할 만한 현상은 AI가 때로 예측하지 못한 창발적 결과물 을 생성한다는 것이었다. 초기에는 이러한 ‘알고리즘적 우연성’을 오류로 인식했으나, 점차 이를 창의적 발견의 기회로 활용하는 방향으로 접근법을 전환했다. 특히 설산 시퀀스 작업 중 한 번의 생성 과정에서 AI가 만들어낸 모호한 형체가 의도했던 것보다 더 본질적인 불안감을 자아내는 효과를 발견했다. 눈보라 속에서 형체가 완전히 뚜렷하게 드러나는 대신, 눈의 패턴 자체가 미묘하게 얼굴이나 실루엣을 연상시키는 방식으로 왜곡되는 효과가 우연히 생성되었는데, 이는 결국 최종 장면에 반영되었다. 이 경험은 단순히 계획한 이미지를 기술적으로 재현하는 것을 넘어, AI와의 대화적 창작을 통해 새로운 시각적 가능성을 발견하는 과정이었다. 이러한 AI와의 협업을 통한 창발적 발견은 <폭설> 이후 진행되고 있는 새로운 프로젝트에서도 지속되고 있다. 현재 제작 중인 <어령(御靈)>은 <폭설>의 후속 이야기를 다루는 인터랙티브 영화로, 관객의 선택에 따라 서사가 달라지는 새로운 형태의 영상 작품이다. <폭설>에서 구축된 세계관을 바탕으로 하되, 인터랙티브 요소를 통해 관객이 직접 서사에 개입할 수 있는 구조를 설계하고 있다. 이 작품에서는 기존의 AI 영화 제작 기법에 더해 실시간 선택 분기와 동적 서사 생성이라는 새로운 기술적 도전이 추가되었다. 특히 관객의 선택에 따라 실시간으로 변화하는 시각적 요소들을 AI를 통해 구현하는 것은 전통적인 영화 제작 방식으로는 불가능한 실험적 시도이다. <어령>은 AI 기술이 단순한 제작 도구를 넘어 새로운 형태의 영화적 경험을 창조할 가능성을 탐구하는 프로젝트로 기획되었다. <어령, 御靈> 중 <폭설>과 <어령>의 제작 과정에서 핵심 미학적 도전 중 하나는 등장인물의 얼굴 일관성을 유지하는 문제였다. 이를 위해 포스트 프로덕션 단계에서 ComfyUI 기반의 얼굴 일관성 파이프라인을 구축했다. 특히 AI 생성 영화에서는 동일한 인물이 장면마다 미묘하게 달라지는 현상이 발생하는데, 이는 AI가 매번 새롭게 이미지를 생성하는 과정에서 발생하는 본질적 특성이다. 이러한 일관성 부재는 서사적 몰입을 저해할 수 있는 심각한 문제로, 이를 해결하기 위해 얼굴 치환 기술을 활용했다. 이 기술은 영화 중반부의 주요 장면에서 특히 중요했다. 이 장면에서 인물의 대화와 표정은 서사적 긴장감 형성에 핵심적인 역할을 한다. 이 미묘한 변화를 시각화하기 위해, ComfyUI의 얼굴 치환 기능과 함께 감정 표현 보존 알고리즘을 적용했다. 이는 이미지가 지닌 감정적 뉘앙스는 유지하면서도, 얼굴의 미세한 형태적 변형을 통해 내적 변화를 암시하는 효과를 창출했다. 특히 인물의 얼굴이 대화 중에 일관성을 유지하면서도 미묘한 감정 변화를 표현하는 것은 관객들이 인물의 심리적 상태를 효과적으로 전달하는 장치로 기능했다. 이는 단순한 기술적 해결책이 아닌, 몰입적 요소를 강화하는 서사적 장치로 작용했다. <폭설, 暴雪> 중 공간 구현에 있어서는 Blender와 SketchUp을 기반으로 한 3D 모델링 작업에 더해, NeRF(Neural Radiance Fields) 기반의 공간 캡처 파이프라인을 접목하였다. 이는 AI 생성 영화에서 공간 연속성과 시각적 정합성을 유지하기 위한 핵심적인 기술적 구현 방식이었다. 장면마다 공간의 형태와 구조가 미묘하게 변화할 경우 시청자의 몰입감이 저하될 수 있다고 판단하였기에, 이 부분은 특히 신경 써야 할 주요 과제로 설정되었다. 이를 방지하기 위해, 먼저 3D 모델링을 통해 기본적인 공간 구조를 구성하고, 이후 NeRF 기반의 신경망 기술을 적용하여 실제 공간의 광학적 특성과 깊이 정보를 정밀하게 재구성하였다. 이렇게 구축된 3D 공간 데이터는 AI 이미지 생성을 위한 프롬프트의 기준점으로 활용되며, 결과적으로 전체 서사 내 공간의 일관성과 장면 간 구조적 연속성을 안정적으로 확보할 수 있었다. <어령, 御靈> 중 인물 표현에 있어서는 표정과 제스처의 자연스러운 구현이 중요한 도전이기도 했는데, AI가 생성하는 인물의 표정은 종종 부자연스럽거나 과장되는 경향이 있었다. 이를 해결하기 위해 OpenPose 모델을 활용하여 인물의 자세와 제스처를 정밀하게 제어했고, 이를 통해 감정 표현의 섬세함을 구현하였다. 특히 대화 장면에서 인물 간의 시선 처리와 반응 표현은 자연스러운 상호작용을 표현하기 위한 핵심 요소였다. 동적 장면 구현을 위해서는 Stable Video Diffusion(SVD)을 활용하는 방향으로 진행했다. 정적 이미지 사이의 자연스러운 전환과 움직임을 구현하기 위해 키프레임 기반 접근법을 적용했다. 주요 장면의 키프레임을 먼저 생성한 후, 중간 프레임을 보간(Frame interpolation)하는 방식으로 움직임의 연속성을 확보했다. 이는 특히 인물의 미묘한 표정 변화나 환경의 점진적 변형을 표현하는 데 효과적이었다. AI와의 협업 과정은 ‘대화적 생성’이라는 새로운 창작 모델의 가능성을 탐색하는 계기가 되었다. 초기 단계에서는 명확한 지시에도 불구하고 AI가 생성하는 결과물이 연출자의 세부적인 의도와 괴리되는 현상이 관찰되었다. 하지만 반복적인 프롬프트 엔지니어링과 생성된 결과물에 대한 비판적 피드백 과정을 통해, AI는 점진적으로 연출자가 설정한 시각적 목표치에 수렴하는 결과물을 도출하기 시작했다. 제작 과정에서 미학적으로 가장 도전적이었던 부분은 AI 생성 이미지의 ‘제어 가능성’과 ‘창발적 우연성’ 사이의 균형을 찾는 과정이었다. 이를 해결하기 위해 AI와의 ‘ 대화적 창작 ’ 프로세스를 발전시켰다. 구체적으로는 초기에 다양한 방향성을 탐색하는 ‘발산적 프롬프팅’에서 시작해, 점진적으로 선택된 요소들을 정교화하는 ‘수렴적 프롬프팅’으로 이어지는 다단계 접근법을 적용했다. AI가 제시하는 예상치 못한 가능성에 열린 상태로 창작 방향을 조정해나가는 쌍방향적 협업으로 프로세스를 전환하는 계기가 되었다. 기본 기획보다 흥미로운 방향성을 제시하는 AI 생성 요소들이 캐릭터의 심리적 상태를 더욱 효과적으로 시각화할 수 있다는 발견은 제작 과정 자체를 재해석하게 했다. 이 과정은 단순한 도구적 활용을 넘어, AI라는 비인간 행위자와 상호작용하며 결과물을 구축해나가는 독특한 협업 모델을 경험하게 했다. 이는 AI가 창작 과정 자체에 능동적으로 개입하는 변수로서 기능할 수 있음을 시사하며, 향후 영화 제작 패러다임의 변화 가능성을 내포한다고, 필자는 생각한다. 물론, 이러한 기술적 전환이 영화계 전반에서 보편적으로 수용되는 것은 아니다. 영화사를 고찰해보면, 새로운 기술의 등장은 늘 기대와 동시에 기존 질서에 대한 불안과 저항을 야기해왔다. 활동사진의 등장부터 유성영화, 컬러영화, 디지털 시네마에 이르기까지, 기술적 전환기에는 어김없이 미학적, 산업적 논쟁이 수반되었다. AI 기술 역시 이러한 역사적 맥락에서 자유롭지 않다. 그러나 핵심적인 논점은 기술 자체의 속성보다는, 이를 창작의 도구로서 어떻게 사유하고 활용하는가에 대한 창작 주체 의 문제로 귀결된다. 제작 환경의 제약으로 인해 창작의 기회를 충분히 얻지 못하는 사례는 영화계에서 지속적으로 관찰되어 왔다. AI 기술은 이러한 구조적 한계를 일정 부분 해소하고, 창작자들에게 새로운 가능성을 제공할 잠재력을 지닌다. 최근 부천국제판타스틱영화제(BIFAN) 국제경쟁 AI 영화 부문의 공식 선정작 감독들이 영화 관련 교육 배경을 가졌거나 현업에 종사하는 인력들이었다는 점은 주목할 만하다. 이는 AI 기술이 창작의 효율성을 높이는 유용한 도구임은 분명하지만, 영화적 서사를 구축하고 미학적 판단을 내리는 핵심적인 역량은 여전히 영화 매체에 대한 깊이 있는 이해를 갖춘 인간 창작자에게 의존하고 있음을 방증한다. 나아가, 기존에 기회를 얻지 못했던 창작자들에게 새로운 가능성을 열어 줄 계기가 될 것이라 확신한다. 따라서 AI는 단순한 기술적 진보를 넘어, 영화적 표현의 외연을 확장하는 새로운 매체적 조건으로 이해될 필요가 있다. 과거 네오리얼리즘이 동시대 현실을 포착하는 새로운 영화 언어를 제시했고, 누벨바그가 기존의 영화 문법에 도전하며 새로운 미학을 추구했듯이, 새로운 기술과 도구의 등장은 늘 새로운 영화 언어와 미학적 탐구의 가능성을 열어왔으니, 현재 우리는 AI 기술이 촉발하는 또 다른 영화사적 변화의 과정에 위치하고 있을 가능성이 있을 터이다. <폭설, 暴雪> 중 <폭설>의 제작 과정은 AI와의 지속적인 상호작용을 통해 이루어진, 전통적 방식과는 구별되는 연출 실험이었다. 프리 프로덕션 단계의 시각화 작업부터 포스트 프로덕션의 특수효과 생성에 이르기까지, AI에게 연출 의도를 명확히 전달하고 생성된 결과물을 비판적으로 평가하며, 피드백을 통해 최종 결과물을 구축해나가는 과정은 새로운 형태의 협업 가능성을 보여주었다. 이러한 ‘대화적 창작’ 모델은 감독에게 AI라는 새로운 기술적 도구를 효과적으로 운용하고 그 결과와 소통하는 능력을 요구한다. AI 기술의 발전 속도는 예측하기 어려울 정도로 빠르다. 단기간 내에 현재보다 훨씬 고도화된 기술이 등장할 것은 자명하다. 이러한 급격한 기술 변화 앞에서 창작자들이 불안감을 느끼는 것은 자연스러운 현상이다. 그러나 영화의 역사는 본질적으로 이러한 기술적, 미학적 변화를 끊임없이 수용하고 내재화하며 발전해 온 과정이었다. 핵심은 기술의 발전이 영화가 다룰 수 있는 이야기의 폭과 깊이를 확장하고, 이를 효과적으로 표현할 새로운 방법론을 제공할 수 있다는 점이다. AI는 창작 도구의 스펙트럼을 넓히는 것이지, 창작 행위의 본질 자체를 대체하는 것은 아니다. 서사를 통해 세계를 이해하고 질문하려는 욕구, 인간의 감정과 경험을 미학적으로 형상화하려는 의지, 스크린이라는 매개를 통해 관객과 소통하려는 영화 고유의 시도는 여전히 인간 창작자의 고유한 영역으로 남는다. <폭설>의 제작 사례를 통해 확인할 수 있었던 것은, AI가 감독의 창조적 비전을 시각적으로 구현하는 데 있어 강력하고 효율적인 도구가 될 수 있다는 사실이다. 그러나 무엇보다 중요한 것은 그 도구를 사용하는 감독의 명확한 비전과 미학적 판단 능력이며, 이는 창작자의 경험, 감수성, 그리고 세계에 대한 깊이 있는 성찰에서 비롯된다. 기술이 발전할수록 창작자는 상상하는 바를 더욱 효과적으로 구현할 수 있는 자유를 얻게 될 것이다. 이것이 AI 시대 영화 창작이 마주한 새로운 가능성이며, 지속적인 탐구가 요구되는 지점이다. 궁극적으로, 매체 환경이 어떻게 변화하든 창작자는 늘 그랬듯이 동시대의 현실과 인간의 삶에 대해 발언하고 질문해야 한다. 사용하는 기술적 언어가 달라진다 해도, 영화를 통해 탐구하고자 하는 근원적인 문제의식과 주제는 지속될 것이다. 영화는 역사적으로 새로운 기술을 비판적으로 수용하고 창조적으로 활용하며 스스로의 미학적, 산업적 지평을 넓혀 온 예술 형태이다. AI 시대 역시 이러한 진화의 과정 속에 있을 것이다. 이야기하려는 우리들의 근원적 욕망이 존재하는 한, 영화는 시대와 기술의 변화에 조응하며 그 형태를 달리하며 지속될 것이다. 도구는 바뀌어도, 우리는 늘 그랬듯이 표현하고자 하니깐. 배준원(영화감독) l 표현자로서의 경계 없음을 안간힘을 다해 믿으며 표현합니다. <몬사로>(2025), < 폭설 >(2024), < 침묵 >(2023) 연출. 인간과 사회를 응시하며, 틈 사이로 비추는 균열들에 대한 영화를 만든다.