Kling AI O1을 활용한 멀티모달 계절변경 프로세스

 

 

연구실에서 진행중인 Ai 활용 장편영화 프로젝트 간단한 RnD 내용을 정리해봤습니다. 

 

Ai VFX RnD_1 (Re-scoped)

차량 내부 고정 + 외부 배경만 Kling O1로 변환

---

1. 문제 정의

• 고정 요소
  • 차량 내부
  • 인물 연기
  • 카메라 (대부분 고정 or 미세 흔들림)
• 가변 요소
  • 창밖 풍경 (계절 / 날씨 / 시간대)

촬영 플레이트의 한 프레임을 기준 이미지로 만들고,
그 이미지에서 추출한 배경을 포함해 Kling AI O1에 이 3개 입력을 넣으면 멀티모달 추론으로 
빠르게 계절 변환이 가능하다.

---

2. 기존 방식 (차량 촬영 VFX 파이프라인)

A. 촬영 단계

• 실제 로케이션 촬영 반복 (계절별)
• 또는 그린스크린 + HDRI 촬영

B. 후반 작업

• 창문 로토스코핑
• 배경 플레이트 합성
• 반사/광원 수동 조정
• 컷별 배경 교체  

  

  더이상 누크로 일일이 누끼를 딸 필요가 없다!

 

---

3. Kling O1 적용 시 축소되는 부분

1) 로케이션 & 재촬영 대폭 축소

기존

• 동일 대사·연기를 계절별 재촬영
• 촬영 시간대 맞추기 어려움

O1

• 단일 촬영만으로 다계절 구현
• 외부 배경만 프롬프트로 전환

→ 촬영 횟수, 이동, 스케줄 조율 거의 제거

---

2) 배경 플레이트 제작 삭제

기존

• 실제 배경 촬영
• 또는 CG 환경 제작

O1

• 카메라 무빙에 따른 배경을 AI가 생성

→ 환경 모델링, 매트페인팅 작업이 축소될 것으로 기대

---

3) 합성 난이도 급격히 하락

기존

• 유리 반사
• 색온도 불일치
• 패럴랙스 이펙트 수동 조정(관찰자의 시점에 따라 물체가 서로 상대적인 위치가 바뀌는 것처럼 보이는 시각적 현상)

Kling O1

• O1과 나노바나나를 활용하여 카메라 시점 기반 패럴랙스 추론
• 추가 반사는 합성과 보정으로 수정 → 로토·마스크는 “정밀 보정용”만 남음

 

* 기존 작업과정

촬영 (차량 내부 + 실제 로케이션 / 그린)
   ↓
로토스코핑 (창문, 프레임)
   ↓
외부 배경 플레이트 촬영 / CG 제작
   ↓
FX 시뮬레이션
- 비 / 눈 / 안개
- 도로 움직임 보강
   ↓
라이팅 매칭
- 실내 / 외부 광원 불일치 조정
   ↓
렌더 패스 반복
   ↓
합성 (Nuke / AE)
- 배경 합성
- 반사 수동 조정
- 패럴랙스 보정
   ↓
컬러 그레이딩
   ↓
최종 컷

 

 

 

*간소화된 작업 과정

촬영 / 베이스 CG
   ↓
Kling O1 (Season Logic Pass)
   ↓
후처리 (Nuke / AE)
   - 컬러 정합
   - 마스크 보정
   - 디테일 강화
   ↓
최종 시네마틱 컷

 

사용한 입력 구성

 

1. 촬영 플레이트 영상

 

2.  한 프레임 스틸 이미지 (Nanobanana로 변경)

3. 배경만 추출

원본 비디오

 

결과 비디오

 

 

해결해야하는 문제 

1. 백미러와 유리부분에 반사가 어색함

2. 근경의 나무가 지나갈 때 어색한 문제 발생