메타버스와 메타휴먼

원종서

Weekly content


수업에 참석하기 전, 아래 활동을 완료하시기 바랍니다:

  1. pre-class video 시청

  2. Discussion 제출 (pre-class 내용과 Question)

    • Submission due: 수업전 일요일 자정까지


Week 9: 메타버스와 메타휴먼

  • Date: 20240430

  • 수업자료

  • Pre-class video

    • 버추얼 아이돌 그룹 플레이브의 탄생 과정과 기술 이야기 (언리얼 페스트 2023 서울)


  • Discussion


Best Discussion

기술 개발과 적용 당시 선풍적인 인기를 끌었던 실제 사람과 비슷한 모델을 만들고자 하는 것이 아닌 만화 형식을 발전시키는 선택을 했다는 것이 인상 깊었다. 메타버스 기술과 가상인간에 대한 접근이 늘어나면서, 이러한 기술을 만들고 일반 대중에게 공개할 때, 우리가 처음 느끼는 감정은 신기함보다는 실사화에 대한 어색함이라고 생각했다. 평소 이러한 부분에 대해 생각을 갖고 있었는데, 만화 형식을 차용한 부분에서 어색함에 대한 역치를 낮출 수 있는 좋은 시도라는 생각을 할 수 있었던 것 같다. 항상 우리가 새로운 것을 만들어 가는데 있어 앞으로 가져야 할 자세는 기존의 것과 동떨어진 신기한 것을 만들어 내는 것이 아니라, 기존의 것과 잘 융화될 수 있는 자세를 갖추는 것임을 다시금 알게 되었던 것 같다.


왜 실제 사람도 아닌 모습으로 캐릭터를 구축했을까 의문이 들었습니다. 너무 캐릭터 같아서 애니메이션에 나오는 2D 캐릭터 같았는데, 너무 실사화 된다면 타겟층의 소비자들이 오히려 거부감이 들 수 있다는 것을 고려했다는 점을 새로 알게 되었습니다. 플레이브가 음악방송에 출현하는 모습을 보며 항상 생각했습니다. 촬영 감독 등의 스태프들은 그들의 원래 모습, 본 모습을 볼 수 있는 것 아닌가? 근데 왜 소문이 나지 않을까, 만약 본 모습을 들키게 된다면 어떤 파장을 일으켜올까? 등 너무 궁금했습니다. 이건 아직도 궁금한 점입니다. 최근 런닝맨 프로그램에서도 버추얼 아이돌 경험해보기로 직접 멤버들이 캐릭터를 만들고 실시간 방송을 한 적이 있었습니다. 그걸 보면서 버추얼 캐릭터를 이용해 어떻게 실시간으로 방송하는지 알게 되었다. 이전에는 모델의 모션을 따서 어색한 느낌을 주는 캐릭터만 구현 가능했다면 이제는 실시간으로 어떤 모션을 취하는지에 따라 완벽한 싱크를 보여주며 구현할 수 있다는 점이 AI 기술의 발전이 엄청나게 되었다는 점을 몸소 느끼게 해주었습니다.


VFX 또는 SFX 등 CG 기술력의 발전에 놀라운 동시에 아이러니하게도 CG 기술력이 비전공자들에게 과대평가되고 있다는 생각도 하게 되었다. 영상에서 언급되었듯, 영화계의 비주얼 이펙트 기술은 대단하지만 후가공의 과정이 불가피하다는 것이다. 또한 플레이브와 같은 버추얼의 영역은 기존 영역과는 다르고 기존의 모션 캡쳐 기술력으로는 표현하기 부족하다는 사실을 알게 되었다. 이러한 사실을 비전공자들은 자세히 알기 어렵기 때문에 과대평가되고 있다고 생각하게 되었다. 그럼에도 블래스트는 언리얼 엔진을 이용한 시네마틱+라이브의 영역에 발을 들였고, 자체 기술을 개발해 성공적인 결과를 얻었다. 특히 높은 기술력으로 기존 버튜버 산업과 차별을 두고 대중성 강한 케이팝 장르와 접목한 점, 모션 캡쳐 과정에서 신체간섭문제나 리타게팅의 한계를 해결하고자 매 프레임마다 백터 계산을 적용한 것이 놀라웠다.


최근 민희진 프로듀서의 기자회견을 통해 드러난 아이돌 업계의 현실을 알고 나서 다시 사전 영상을 보니, 버추얼 아이돌을 프로듀싱의 측면에서 바라보지 않을 수 없었다. 영상 전반에 걸쳐, 블래스트 관계자는 실시간 모션 캡처의 어려움과 기술적 극복과정을 설명한다. 놀라웠던 점은, 이 프로젝트가 수많은 장애물을 극복할 투자가치가 있다고 생각해 포기하지 않고 개발한 프로듀서의 선구안이었다. 안되는 이유에 비해 해야하는 이유는 너무나도 적었지만, 포기하지 않고 독자적인 기술을 발전한 블래스트팀의 노고가 대단하게 느껴지며, 이런 프로듀서가 성공하는구나 생각하였다!

하지만 걱정되는 점은, 플래이브의 소속사인 블래스트는 영상에도 나왔듯이 기존에는 시네마틱 라이브 영상을 만들기 위해 설립된 VFX회사이다. 하지만 기술을 발전하고 수요를 파악하다 연예 기획사의 업무까지 겸업을 하게 되었다. 버추얼 아이돌의 경우, 100프로 AI가 활동하는 것이 아닌, AI의 필터를 쓴 인물들이 아이돌로 활동하는 것이다. 아무래도 ’얼굴없는가수’와 비슷한 계열로 활동을 하다보면, 팬층이 두꺼워져도 본인 그 자체를 좋아해주기보단 AI의 모습을 좋아해주는 것은 아닌지, 멘탈 관리가 힘들어질 것 같다. 하지만 소속사는 기술회사의 업무를 중점적으로 하고 있다보니 과연 소속 아이돌들의 멘탈 관리에 신경을 쓸 수 있는지, 아티스트 케어보다는 기술 발전에만 노력을 쏟고 있는 것은 아닌지 프로듀싱의 상황이 많이 궁금해지는 영상이었다.


플레이브 대한 거부감의 원인을 알아보고, 플레이브가 사람들에게 친근하고 거부감 없게 다가가려면 어떤 식으로 기획하고 마케팅해야할 지 연구해본 적이 있는데, 이런 영상은 컬텍 학도로서는 관련 지식을 얻을 수 있어 정말 도움 되지만, 플레이브 자체를 마케팅하는 데 있어서는 역효과가 날 것이라고 생각했다. 플레이브의 차별점, 셀링 포인트는 ’춤을 추는 인형탈 알바, 서로 싸우는 야구 마스코트’처럼 자기가 쓴 탈에 몰입하고, 자기가 탈을 쓰고 있음을 알고 있음에도 나오는 뻔뻔함이라고 생각했기 때문이다. 멤버들이 나오는 영상을 보면, 상황에 몰입하거나, 그래픽으로 나오는 벌칙 등을 진짜 맞는 것처럼 오버액션 하는 등의 모습을 보이는데 이런 모습이 보는 이로 하여금 친근함을 느낄 수 있게 할 것이라고 생각했기 때문이다.


디지털 전환이 가속화됨에 따라 메타버스가 미래 생활과 학습의 중요한 부분이 되고 있습니다. 가상 세계와 현실 세계의 융합은 엔터테인먼트 분야뿐만 아니라 교육, 업무 등 다양한 분야에서 새로운 가능성을 열어주고 있습니다. 또한 메타버스 환경에서의 메타휴먼이라는 가상 인물은 독특한 특징을 가지고 있습니다. 메타휴먼은 360도 전방위 모델링과 실시간 상호작용 능력을 갖추고 있으며, 이를 위해서는 3D 모델링, 모션 캡처, 실시간 렌더링 등 첨단 기술의 융합이 필요합니다. 더불어 메타휴먼이 엔터테인먼트 산업에 미치는 영향에 대해서도 생각해 보았습니다. 메타휴먼은 가상 환경에서 실시간 공연을 할 수 있어, 엔터테인먼트 소비 패턴에 새로운 가능성을 열어줄 것입니다. 학생으로서 저 또한 이 분야에서 미래의 발전 가능성을 고려해 보고 있습니다. 마지막으로 메타버스 환경에서는 문화적 차이에 대한 이해가 중요하다는 점을 깨달았습니다. 다양한 문화적 배경을 가진 사용자들의 요구를 존중하고 이해하는 것이 메타버스 애플리케이션의 광범위한 수용과 포용성을 위해 필수적입니다. 전반적으로 메타버스와 메타휴먼에 대한 학습을 통해 미래 발전 동향에 대한 깊이 있는 인식을 갖게 되었습니다. 또한 기술 학습, 산업 적용, 문화 적응 등 다양한 측면에서 새로운 아이디어를 얻게 되었습니다. 이를 바탕으로 학생으로서 메타버스 시대에 보다 잘 준비할 수 있을 것 같습니다.


Best Questions

  1. 30분이라는 긴 영상동안 블래스트 관계자가 설명하는 실시간 모션 캡처의 수많은 변수와 어려움, 그리고 이를 기술적 극복 과정을 과정이 정말 인상 깊었습니다. 불필요한 아트 에셋 누적 관리의 어려움, 시네마틱과 라이브 작업의 충돌, FK와 IK의 밸런스 조절 어려움, 후가공 단계의 소멸 등 이 프로젝트가 망할 이유는 수만가지가 있었습니다. 그럼에도 불구하고 블래스트 팀이 이 메타버스와 메타휴먼의 가능성을 믿고 프로젝트를 진행할 수 있었던 마음가짐은 어디서부터 나왔던 것인지, 교수님이 바라보셨을때 메타버스와 메타휴먼이 나아갈 수 있는 가능성은 어디까지인지 궁금합니다! 더 나아가 블래스트 외에 눈여겨 보시는 비슷한 계열의 회사가 있으신지 궁금합니다~


  1. 앞으로 메타버스, 그리고 메타휴먼에 대한 개발에 있어 계속해서 이슈화 될 수 있는 내용은 필연적으로 ’현실성’과 관련이 있다고 생각한다. 1학년 교양 수업으로, ’창의적융합디자인’이라는 수업을 수강했던 경험이 있다. 이 때 당시, 제페토를 구현하며 학교 주변 건물과, 사회 문제의 해결을 위한 아이디어 제시에 활용했던 경험이 있다. 이 당시에 들었던 생각은, ’아직까지 많이 부족하다’는 생각이었다. 나의 기술적 숙련도가 부족한 것이 가장 큰 원인이었겠지만, 기술적으로 제대로 구현되었다 하더라도 인식 체계가 이를 쉽게 받아들이지 못할 것 같은 느낌이었다. 사람들의 인식 체계와 기술 사이의 괴리를 줄이기 위한 방안으로 어색함의 역치를 감소시키는 것과 같은 개념이 아닌, 새로운 것의 창조를 통한 해결 방안은 없을까?


  1. 저는 오랫동안 즐겨한 RPG 게임이 있습니다… (조금 마이너하다고 생각해서… 이름을 써도 잘 모르실 것 같지만 <파이널판타지14>라는 게임입니다…) 게임을 하면서 제 캐릭터의 외관을 보기 좋게 만들고, 재화로 예쁜 옷을 사서 입히고, 전투적인 콘텐츠를 즐기지 않더라도 광장 같은 곳에 캐릭터를 함께 세워 두고 그냥 유저들과 대화를 하기도 합니다. 어떤 사람들은 공간을 꾸미는 ’하우징’이라는 기능을 이용해서 과제를 위한 스터디카페를 열고, 극장을 만들고, 게임 내의 기능으로 합을 맞춰 연주를 선보이기도 하고요… 그냥 예쁘게 만들어진 공간을 걸어다니며 사진 찍는 것을 좋아하는 유저도 있습니다. 그래서 몇년 전, 한창 ’메타버스’라는 개념이 뜨기 시작할 때, 유저들과 우스갯소리로 ’여기가 메타버스다. 여기로 와라.’라는 말을 주고받기도 했습니다. 그래서 하고자 하는 질문은… 메타버스와 RPG게임의 차이가 무엇인가요? 실제로 게임적 요소의 유무 외에는 메타버스와 RPG 게임 사이에 어떤 차이점이 있는지 잘 모르겠습니다. 게다가 메타버스를 표방하는 플랫폼에서는 콘텐츠로서 게임적인 요소를 추가하고 있기도 하고요. 기존에 존재하던 서비스와 효용이 크게 다르지 않다면, 왜 갑자기 메타버스라는 기술이 뜨고 관심을 받게 된 건지도 궁금합니다…