BeebleAI - 실사영상 VFX 솔루션

최근 프로젝트 RnD를 진행하면서 BeebleAI를 위주로 활용 중인데, 이에 관해 정리중인 글을 작성해봤습니다!!!

핵심 위주로 빠르게 파악하고 프로젝트에 적용하실 수 있도록, 핵심 기능과 워크플로우를 중심으로 한 정리본입니다.

---

BeebleAI의 핵심 슬로건은 "Got real footage? Treat it like CG"입니다. 즉, 촬영한 영상을 단순한 2D 픽셀 덩어리가 아니라, 조명과 재질 수정이 가능한 3D PBR 애셋으로 변환해 주는 도구입니다.

1. 핵심 기능 (Key Features)

• Video to VFX (SwitchLight 3 기반)
  • 일반 영상을 분석해 **PBR 패스(Normal, BaseColor, Metallic, Roughness, Depth, Specular 등)**를 자동으로 생성합니다.
  • AI 로토스코핑: 배경과 피사체를 정교하게 분리하여 클린 매트(Alpha)를 제공합니다.
  • 카메라 트래킹: 영상 내 카메라 움직임을 자동으로 추출하여 DCC 툴과의 연동을 돕습니다.
• Next Gen Relighting (조명 변경)

• 촬영된 영상의 조명을 사후에 완전히 바꿀 수 있습니다.
• Video Light: 실제 DMX나 LED 월처럼 영상 신호에 반응하는 실시간 라이팅을 지원합니다.

• DCC 플러그인 연동

• Blender와 Nuke, Unreal등 주요 3D 툴로 패스를 바로 익스포트할 수 있습니다. 셰이더나 노드를 복잡하게 짤 필요 없이 한 번에 세팅됩니다.

구분	Beeble (Cloud)	Beeble Studio (Local)
실행 환경	브라우저 기반 (OS 무관)	로컬 PC (Windows, Linux)
해상도	최대 2K	최대 4K
영상 길이	영상당 약 1분 내외	약 1시간 이상 장편 가능
보안/연산	클라우드 서버 렌더링	로컬 GPU 사용 (오프라인 가능)
가격 정책	크레딧 기반 (무료 시작 가능)	구독제 (월 $42~$60)

---

 

2. SwitchX

BeebleAI에서 새롭게 공개한 SwitchX는 기존의 생성형 AI가 가졌던 고질적인 문제(피사체가 변형되거나 일관성이 깨지는 현상)를 해결하는 데 집중한 Video-to-Video 모델입니다. 

 

기존 모델들이 단순히 영상을 '새로 그리는' 방식이었다면, SwitchX는 픽셀 레벨의 가이드를 통해 원본의 연기(Performance)와 디테일은 유지하면서 배경, 조명, 소품만을 정교하게 교체합니다.

• 배경 및 조명의 즉각적 전환: 단 한 번의 클릭으로 인물의 디테일은 유지한 채 배경과 조명을 바꿀 수 있습니다.
• 전문적인 환경 구축: 일반적인 방 안에서 촬영하더라도 전문 팟캐스트 스튜디오나 뉴욕 거리와 같은 완전히 다른 공간으로 인물을 이동시킵니다.
• 사용 프로세스

1. 영상 업로드: 유지하고 싶은 피사체(Subject)를 선택합니다.
2. 레퍼런스 이미지 생성: 조명, 배경, 분위기를 정의하는 이미지를 입력합니다.
3. 자동 보정: 레퍼런스 이미지의 인물 모습이 원본과 조금 다르더라도, SwitchX가 원본 피사체의 고유한 특징에 맞춰 자동으로 고정합니다. 

• 확장된 편집 기능: 단순히 배경만 바꾸는 것이 아니라 전체 씬의 조명을 다시 세팅(Relighting)하거나, 마스크 설정에 따라 입고 있는 옷을 바꾸는 것도 가능합니다. 

 

 

 1. 마스킹

모드특징권장 용도

Auto	메인 피사체를 자동 감지 및 트래킹	배경 교체, 가상 프로덕션, 인물 리라이팅
Select	SAM3(Segment Anything Model) 기반 특정 개체 선택	의상 변경(Outfit), 특정 소품 교체(Inpainting)
Fill	프레임 전체 선택 (기하학적 구조는 유지)	전체 씬의 분위기, 시간대, 예술적 스타일 변경
Upload	외부 매트(Alpha Matte) 영상 업로드	Nuke, AE 등에서 작업한 픽셀 퍼펙트 정밀 제어

💡 Tip: Select 모드에서 Invert(반전) 기능을 활용하면 특정 부위만 초현실적으로 변형하기 좋습니다. (예: 사람 팔만 선택 후 반전시켜 로봇 팔로 변경)

 2. 레퍼런스 이미지 & 프롬프팅

레퍼런스 이미지는 단순한 참고용이 아니라, 생성될 영역의 거의 정확한 비주얼 설계도입니다.

• 마스크 영역: 레퍼런스 이미지의 배경과 디테일을 그대로 생성합니다.
• 유지 영역: 원본 픽셀을 유지하되, 레퍼런스의 조명과 스타일만 추출하여 입힙니다.
• 불완전해도 OK: 레퍼런스 이미지 속 인물의 얼굴이 원본과 달라도 상관없습니다. SwitchX는 조명 값과 톤만 가져오고, 얼굴 디테일은 원본 영상을 유지하기 때문입니다.

 

효과적인 프롬프팅 가이드

• 지양: "천국으로 보내줘" (모호한 표현)
• 지향: "아이슬란드의 극적인 절벽, 부드러운 흐린 날씨 조명, 고도로 정밀한 소품들" (구체적인 아트 디렉션)
• 꿀팁: 아트 디렉션이 막막하다면 ChatGPT를 활용해 핵심 컨셉 기반의 디테일한 프롬프트 5가지를 뽑아 실험해 보세요.

---

 3. 권장 작업 방식

VFX 퀄리티를 극대화하기 위해 Beeble이 권장하는 'AI + Human' 협업 방식입니다.

1. 초안 생성: 내장된 AI 도구(Nano Banana 등)로 레퍼런스 이미지를 먼저 생성합니다.
2. 수동 정교화: 생성된 이미지를 다운로드하여 Photoshop 등에서 컬러 그레이딩을 수정하거나, 특정 소품을 직접 합성해 넣습니다.
3. 재업로드: 수정된 '맞춤형 레퍼런스'를 다시 SwitchX에 넣고 최종 렌더링합니다.

---

 3. Video-to-VFX이 모듈은 SwitchLight 3.0 엔진을 사용하여 영상에서 로토(Alpha), 뎁스(Depth), 그리고 조명 계산에 필요한 모든 PBR 패스를 추출합니다.

2.5D PBR패스로 변경!!!!!

추출된 데이터는 Blender, Unreal Engine, Nuke 등에서 즉시 합성 및 렌더링에 사용됩니다.

패스 명칭	설명	비고
Alpha	배경이 정교하게 제거된 전경 매트	로토 공정 대체
Depth	3D 공간 연동 및 합성용 뎁스 맵	16-bit EXR로 저장(정밀도)
Normal	표면 굴곡 데이터 (Object space/OpenGL)	리라이팅의 핵심
Base Color	조명 정보가 제거된 순수 고유 색상(Albedo)	재질 구현용
PBR Maps	Roughness(거칠기), Specular(반사), Metallic(금속성)	물리 기반 렌더링용

---

2. 기술 사양 및 입출력 (Cloud 기준)

전문가용 워크플로우를 위해 이미지 시퀀스(Image Sequence) 업로드를 지원한다는 점이 중요합니다.

• 제한 사항: 최대 2K 해상도, 영상 길이 60초(또는 2,000 프레임) 이내.
• 권장 컬러 스페이스: sRGB / Rec.709 (Log 프로필은 품질 저하를 유발할 수 있으므로 변환 후 업로드 권장).
• 출력 포맷: * Cloud: 8-bit PNG/MP4 시퀀스 제공 (단, Depth는 16-bit EXR로 제공됨). -
  • Studio (Desktop): 전체 패스 16-bit EXR 출력 지원 

---

3. 촬영 가이드 (성공적인 결과물을 위해)

AI가 정보를 '발명'하는 것이 아니므로, 입력 데이터의 품질이 최종 애셋의 퀄리티를 결정합니다.

• ✅ 권장 사항 (Good Footage):

• 피사체와 배경의 분리가 뚜렷할 것.
• 포커스가 선명하고 비트레이트가 높을 것.
• 조명은 너무 강한 그림자나 하이라이트가 없는 부드럽고 고른 조명이 가장 유리함

• ❌ 지양 사항 (Bad Footage):

• 흑백 영상: 컬러 정보가 필수입니다.
• Log/Raw 영상 직접 업로드: 표준 sRGB로 컨버팅 후 업로드하세요.
• 과도한 쉐이크: 흔들림이 너무 심한 영상은 트래킹 및 뎁스 추출 오류를 유발합니다.
•  

 

 

결론)))))

 

배경이나 라이팅 변경은 물론, 소품의 추가 및 삭제까지 정말 다양한 방면으로 활용해 볼 수 있습니다. 아직 테스트 단계이긴 하지만, 지속적인 업데이트로 버그도 많이 개선되어서 실제 작업에서의 활용 가능성도 충분해 보이네요.

참고로 가장 추천하는 워크플로우는 Nuke와 연동해 가이드 마스크를 따고 합성 작업을 진행하는 방식인데요. 이 부분은 내용이 길어질 것 같아 다음 포스팅에서 더 자세히 다뤄보도록 하겠습니다.