캐릭터 눈 깜빡임 하나 잡으려다 판이 너무 커졌다

웹캠 하나면 다 될 줄 알았던 버추얼 캐릭터 세팅의 오판

요즘 유튜브나 치지직 같은 플랫폼에서 버튜버들이 나오는 걸 보면서 나도 한번 해볼까 하는 가벼운 마음이 들었다. 복잡하게 생각하지 않고 그냥 노트북에 달린 기본 웹캠이랑 무료 소프트웨어 몇 개 설치하면 끝날 일이라고 여겼다. 가상 공간에서 다른 사람들과 어울리는 브이알챗(VRChat)도 마침 깔려 있겠다, 내 아바타 하나 띄워서 움직이는 게 뭐 그리 어렵겠나 싶었다. 그런데 이게 시작부터 꼬였다. 화면 속의 아바타는 내 얼굴을 제대로 따라오지 못했고, 고개를 조금만 돌려도 목이 꺾이거나 눈동자가 허공을 헤매는 기괴한 모습이 연출됐다. 단순히 카메라 앞에 앉아 있는 것만으로는 자연스러운 움직임을 만들 수 없다는 걸 첫날부터 깨달았다. 화면 너머로 보던 자연스러운 움직임들 뒤에 얼마나 많은 장비와 세팅 스트레스가 숨어 있는지 그때는 알지 못했다.

아이폰 페이셜 인식과 일반 웹캠의 감도 차이

가장 먼저 부딪힌 문제는 표정이었다. 일반 노트북 웹캠이나 저가형 USB 웹캠으로 얼굴을 비추면, 입 모양은 대충 아, 오 수준만 인식하고 눈을 깜빡이는 속도도 한참 늦었다. 찾아보니 다들 아이폰의 트루뎁스(TrueDepth) 카메라 기능을 이용해 페이셜 캡처를 하고 있었다. 일반 웹캠의 단순 영상 인식 기반 트래킹과 아이폰의 적외선 센서 기반 페이셜 트래킹은 반응 속도와 디테일에서 하늘과 땅 차이였다. 결국 서랍 구석에 굴러다니던 옛날 아이폰을 꺼내서 페이셜용으로 연결했다. 확실히 미세한 눈썹 움직임이나 입꼬리 비대칭까지 잡아내긴 하는데, 이번에는 핸드폰 발열이 문제였다. 충전기를 꽂아둔 채로 한 시간쯤 켜두면 액정이 뜨끈해지면서 프로그램이 튕기기 일쑤였다. 게다가 아이폰 화면 데이터를 PC로 실시간 전송하는 과정에서 생기는 미세한 딜레이를 맞추는 것도 꽤 번거로운 작업이었다.

바이브 트래커 장비 구매와 방 안에서의 캘리브레이션 삽질

상체만 움직이는 것으론 성에 차지 않아 결국 풀트래킹에 눈을 돌렸다. 사람들이 발을 차고 앉았다 일어나는 모습이 부러웠다. 스팀브이알(SteamVR)과 호환되는 HTC 바이브 트래커 3.0 가격을 검색해보고 순간 멈칫했다. 단품 하나에 18~19만 원대인데, 최소한 양발과 골반에 달려면 3개가 필요했다. 여기에 신호를 받아줄 베이스 스테이션까지 중고로 구해도 80만 원이 쉽게 깨졌다. 큰맘 먹고 지른 장비가 도착했을 때의 설렘은 아주 잠깐이었다. 좁은 내 방 구석에 베이스 스테이션 두 개를 대각선으로 거치하는 것부터 난관이었다. 벽에 구멍을 뚫을 수 없어 헹거 봉을 세우고 고정했는데, 수평이 안 맞아서인지 자꾸 트래킹이 튀었다. 처음 세팅할 때 센서의 위치를 맞추고 스팀브이알 내에서 캘리브레이션을 진행하는 데만 꼬박 4시간을 허비했다. 조금만 움직여도 아바타의 발이 땅 밑으로 꺼지거나 무릎이 뒤로 꺾이는 현상이 발생해 방바닥에 주저앉아 센서 각도만 수십 번 조정했다.

블렌더 프로그램에서 뼈대가 꼬여버린 캐릭터 수정 작업

기존에 배포된 캐릭터 무료 모델링은 내 마음에 쏙 들지 않았다. 조금 수정을 해보겠다고 3D 그래픽 툴인 블렌더 프로그램(Blender)을 무작정 내려받았다. 시네마포디 같은 유료 프로그램보다는 무료인 블렌더가 진입장벽이 낮을 줄 알았다. 하지만 막상 켜보니 수많은 단축키와 생소한 용어들 때문에 머리가 아팠다. 캐릭터의 머리카락 색을 바꾸고 옷의 텍스처를 수정하는 것까지는 인터넷 글을 보고 어찌어찌 따라 했다. 문제는 리깅(Rigging), 즉 뼈대를 심고 움직임을 지정하는 단계였다. 아바타를 VRM 파일로 내보내기만 하면 어깨가 탈골된 것처럼 찌그러지거나 손가락이 이상한 방향으로 휘어졌다. 블렌더의 웨이트 페인팅 값을 수정해야 한다는데, 마우스로 칠할 때마다 뼈대에 묻은 가중치가 꼬여서 원래대로 되돌리는 데만 이틀이 걸렸다. 렌더링을 걸어둔 채 멍하니 모니터를 바라보며 내가 왜 방송을 하겠다고 이 고생을 하고 있나 회의감이 들었다.

장비와 기술에 매몰되다가 정작 방송과 콘텐츠를 놓치는 악순환

겨우 모든 세팅을 끝내고 캐릭터가 내 움직임대로 작동하게 되었을 때, 정작 내 안의 에너지는 완전히 소진된 상태였다. 아바타의 눈 깜빡임 각도나 바이브 트래커의 수신 감도 같은 기술적인 세팅에 너무 몰두한 나머지, 정작 어떤 콘텐츠를 채워야 할지에 대한 생각은 전혀 하지 못했다. 카메라 앞에 서서 혼자 말을 걸어보았지만 어색함만 감돌았고, 캐릭터의 예쁜 겉모습 뒤에 숨은 내 진짜 모습과의 괴리감만 뚜렷해졌다. 요즘은 23세기아이들 같은 전문적인 버추얼 기획사나 대기업에서 고가의 모션캡쳐 장비와 전문 렌더링 시스템을 갖추고 버튜버나 AI 아나운서 같은 정교한 콘텐츠를 쏟아내고 있다. 개인이 방구석에서 100만 원 남짓한 돈과 얼마 안 되는 기술로 비벼보기에는 퀄리티의 격차가 너무나도 컸다. 결국 세팅해둔 장비들은 책상 밑에서 먼지만 쌓여가고 있고, 나는 아직도 이 장비들을 중고로 처분해야 할지 아니면 조금 더 붙잡고 있어야 할지 결정을 내리지 못한 채 머뭇거리고 있다.