[AI X Music] 한국의 오디오 테크 스타트업들
카테고리: medium
한국의 오디오 테크 스타트업들
한국의 오디오 테크 스타트업들
5개의 기술중심 스타트업들과 그 현황들(feat. 모두 응원합니다)
음향, 음악, 오디오 관련 테크 스타트업들에 관해 아는 바를 정리 해 볼까 합니다. 음악 관련 기술을 좋아하는 공대생들이 이 글에 흥미를 가지고 향후 (진학 및 직장)커리어를 선택함에 있어서 도움이 되지 않을까 합니다.
들어가기에 앞서
일단 오디오, 음향, MIR 등의 기술 개발을 하시는 분들의 수가 매우 적습니다. 세부 분야로 들어가면 많은 업계가 그렇겠지만, 제가 아는 한 업계가 매우 좁으므로 감히 많은 분들을 분석(?)하는 것이 조심스럽긴 합니다. 그럼에도 불구하고, 음악을 사랑하시는 분들이 많은, 인성들 좋고 각 개인의 취향을 존중해주는 화목한 이쪽 동네로 많은 분들이 들어오시면 좋겠다는 생각으로 글을 적어보겠습니다.
1. 뉴튠(neutune)
음악 검색 서비스를 제공하는 포인튠이라는 서비스를 개발 및 서비스 준비하고 있는 스타트업이다. KAIST에서 출발한 스타트업이다. MAC lab의 구성원들이 다수 들어있으며 기술력도 좋은 것 같다.
그것이알고싶다에서 PD일을 해봤던 친구 왈 정말정말 음악찾기가 힘들었다고 한다.
최근 Artlist와같은 음악검색 서비스가 나오긴 하지만, 결국 음악의 느낌이라는게 정량화되기 힘들고, 누가, 어떤 장면에, 어떤 음악으로, 어떤 느낌을 주고싶은지 에 대한 물음을 끊임없이 해결 해 나가야 한다.
2017,2018년도 즈음에도 음악태깅 관련해 높은 인용수의 논문을 많이 쓰셨던데, 졸업 후 창업을 한 지금도 음악검색 플랫폼을 위한 논문을 많이 뽑아내고 계신 것 같다. 기존과는 차별화 된 음악검색 플랫폼을 위해 내부적으로 기술을 계속 디벨롭해나가고 있는 것 같다.
현재도 곡의 장르와 무드, 그리고 곡의 특정 구간을 설정하여 다른 음악의 유사파트를 찾아내는 검색 기능까지 잘 작동하고 있는 것 같다.
가격은 개인기준 연 139000원으로 서비스되고 있는데 ARTlist와 거의 유사한 가격이다. 하지만 ARTlist와 같이 잘 활성화되어있는 플랫폼과의 어떤 차별점을 제공할지가 궁금하다. 개인적인 의견로는 음악검색에 큰 시간을 쓰는 전문가들의 pain point를 잘 잡아줄 수 있다면 가격이 훨씬 비싸도 비즈니스가 잘 돌아가지 않을까 싶다. 물론 적당히 사용하고 싶은 적은 구독자의(기획, 촬영 및 편집 일당백)유튜버들, 취미 영상 제작자들은 타게팅 하기 힘들지도 모르지만, 정말 영상제작을 업으로 삼으시는 분들의 시간을 줄여줄 수 있다면 크게 각광 받을 수 있지 않을까 싶다.
ARTlist써도, 결국 전부 다 들어봐야 해… 후… — (전)그것이알고싶다 PD —
현재는 서비스 활성화 및 마케팅을 활발히 하지 않는 것 같다. (약간 베타서비스 느낌?)내부적으로 원하는 기술을 확실히 만들고 나면 좀 더 홍보를 하려나 싶다.
창업 초창기의 예정 product는 포인튠과, infortainment system이라고 했는데, 지금은 일단 포인튠에 집중하고 있지 않나 싶다. 지금 포인튠을 둘러보면서 써보면 아직 제대로 오픈하지 않았음에도 꽤나 신기한 부분이 많다. 궁금하신 분들은 홈페이지를 한번 둘러보기를 권장한다. 원하는 목표까지 잘 구현하시고, 마케팅도 활발히 해서 많은 분들이 서비스를 사용하고 시간을 아끼고 다들 행복해지면 좋겠다
2. 수퍼톤(supertone)
노래를 듣고 눈물을 흘려보신 분들이 얼마나 있는지 모르겠다. 단순 노래로만은 쉽지 않을 것이다. 필자는 개인적으로 유튜브로 위의 무대를 보고 큰 감동과 함께 눈물을 흘렸다. 꽤 높은 조회수가, 아마 좋은 무대였다는 것을 반증 하는 증거 중 하나가 되지 않을까 싶다.
거북이, 김광석, 임윤택 등 유명 가수들의 이제는 들을 수 없는 목소리를 살려낸다는 점이 큰 감동으로 다가오는 것 같다.
역시 수퍼톤에서는 최근까지도 계속 노래생성(보컬)에 관심을 가지고 논문을 써나가는 것 같다. 아무래도 각 개인별 보컬의 특색을 디테일하게 살려내는게 주된 목표이자 기술력의 핵심이지 않을까 싶다.
여러가지 문제(ex 저작권, (고인의)인권?)등이 있을텐데, 잘 헤쳐나가리라 믿는다. 실제로 홈페이지나 방송에서의 모습을 보면 저작권 및 윤리문제에 대해 아주 보수적인(조심조심) 태도를 취하는 것으로 보아 큰 문제를 일으킬 것 같지는 않다고 생각한다.
개인적으로 이러한 vocal synthesis기술을 이용하면 음악을 좋아하지만 vocal에 자신이 없는 나 같은 사람들도 앨범을 만들어 볼 수 있지 않을까 싶다.
수퍼톤의 메인 페이지에 들어가면 Source Separation 데모가 걸려있고, notion페이지에는 연구원, 개발자 위주의 채용공고가 걸려있다. 아무래도 완전히 tech로 가서 이쪽 기술로도 B2B를 하려는게 아닐까 싶다.
빅히트엔터(하이브)에서도 투자를 받았으니, K-pop쪽으로도 무언갈 같이 만들어나가지 않을까 추측해본다. 개인적으로는 콘텐츠쪽으로 가서 TV, 유튜브쪽에서 이야기를 잘 풀어나가면 좋겠다. 위의 무대 외에도 수퍼톤에서 제작한 다른 무대들에서도 큰 감동을 받았기 때문이다. 뭐 다들 뛰어나신 분들이니, 시장을 보며 알아서 좋은 방향으로 가지 않을까 싶다.
3. 코클리어닷에이아이(cochlear.ai)
위의 수퍼톤처럼 서울대 MARG lab출신들이 만든 기업이다.
cochelar = 달팽이관, 즉 소리를 어떻게 듣는 지에 대한 해석을 하는 기업이다. 기계가 소리를 이해할 수 있도록 도와준다고 생각하면 될 것 같다. 손가락 튕김, 사이렌소리 등등 “비언어적인” 특정 소리 event발생을 이해하는 것이다. 생각해보면 사람의 말을 알아듣게하려고 노력하는 기업, 혹은 언어의 감정을 연구하는 기업은 많은데(헤이~ 알렉사~~), 비 언어적인 소리를 연구하는 기업은 얼마 없는 것 같다.
B2C의 형태는 취하기 힘든 아이템 이어서 인지 관련 기사가 거의 없다.
이력도 좋고, 2020년에 추가적으로 투자도 받고, 독일 벤츠(부릉부릉)와 NDA협약 등 이것저것 나오지만 정확히 어떤 제품을 만들고 있는지에 대한 정보는 거의 없어서 아쉽다.
홈페이지에 살짝 공개되어있는 자료로는, 실내 노약자가 넘어졌을 때 sound를 통한 알림 제공 등이 있는데, 정확히 어떻게 제공되는지는 머릿속에 잘 그려지지 않는다. 제품들에 대해 기술적 유사 부분이 있으나, 그래도 음악쪽을 하셨었는데 왜 음악에서 소리(music => sound)로 갔지? 라고 생각을 했었다.
별도로 실험실? 홈페이지가 있어서 들어갔는데 생각보다 다양한 기술들을 시도해 보고 있는 것 같다. 그리고 원래 잘 하셨던, 음악 쪽 기술들도 보인다. 기존의 sound hearing과는 조금 다른 결을 가지고 있는 것 같은데, 원래 처음엔 learning rate가 클수록 빠르게 학습되므로..(하핫) 현재 진행 중인 사업 및 다양한 실험군 중 사업성이 괜찮은 모델을 잘 찾아내지 않을까 싶다.
위의 labs가 단순히 실험에 그치지 않고 특허 및 논문화 시킨 것을 보면 단순히 허울 좋게 늘어놓은 것들이 아니라는 것을 알 수 있다. 데모도 가능하고, (높은)인지도 있는 학회에 출간까지 하는 것으로 보아 좋은 기술들을 바탕으로 곧 새로운 제품들도 선보이지 않을까 싶다. 이미 좋은 기술들을 다수 보유 하고 있으므로, 높이 날아오르기 전 좋은 방향을 잘 잡아 출발하기를 바란다.
4. 가우디오랩(Gauido lab)
헤드셋을 착용한 이미지로 기억되시는 분이다. 워낙 유명한 스타트업이라 굳이 음향이 아니더라도, 스타트업쪽에서 많은 분들이 아는 인지도있는기업이다.
2016년 50억규모 투자와 함께 VR쪽으로 힘차게 출발을 했지만, 본인 대표 입으로 겨울이 찾아왔다고 말하고, 피벗 과정과 수익0원의 시기를 대담하게 말하셨다. 누가 힘들었던 시기와, 모든 수익, 인원 조정 및 세부 시행 내역을 이렇게 담담하게 풀어낼 수 있을까? 풀어낸다기 보다는 ‘공개’에 가까웠다. 아주 용감한 분이라는 생각이 든다.
VR => MR => 메타버스 이렇게 용어만 바뀌어가며 가상 세계는 올듯 말듯 하면서도 우리에게 다가오고 있다. ‘VR오디오 기술’스타트업’에서 ’오디오기술’ 스타트업으로 피봇 하시고 영화관, OTT등에 쓰이는 음향 서비스를 만들어나가지만, 그래도 이미 잘 해두었던 메타버스(한때 VR)쪽 먹거리도 계속 신경쓰시는 것 같다.
검색해보니 CTO와 CEO모두 같은 연구실(연세대학교 DSP AI랩실)출신이였다. 그런데 CEO는 2002년에 박사를 땄고, CTO는 2016년에 이제 막 석사를 땄는데 어떻게 연결이 되었나 찾아보다 보니 정말 신기한 랩실이였다. 윤대희교수님이 1985~2016까지 계시고, 2011년부터는 강홍구 교수님이 이어서 랩실을 운영 해 나가는 것 같다. 한 랩실을 이렇게 이어받는(?) 경우는 거의 못본 것 같다. 이런 역사를 가지고 있는 랩실 이여서 인지 긴 세월동안 수많은 Alumni를 형성했고, 좋은 인력들이 뭉쳐 가우디오랩을 설립하게 되지 않았나 추측해본다.(just guess..)
몇년 전 부터는 AI쪽을 함께하지 않으면 안되겠다는 생각이 들었다고 한다. 몇년 전 모두의연구소 Rubato Lab의 초대 호카게(?) 이던 수철님께서도 가우디오랩에 합류했다는 이야기를 들었던 것 같은데, AI와 음향 관련 인재를 적극적으로 들이는 과정이 아니였을까 싶다. 앞서 말했듯 AI+음향(음악)을 하시는 분들의 수는 매우 적다. 따라서 AI 인재 영입이 힘들다면, 가우디오랩의 오디오 전문가들이 이미 가지고 있는 음향 domain지식을 바탕으로 AI를 배워 접목 시키는 것이 훨씬 빠르지 않을까 싶다.
2021년 새롭게 투자를 받은 가우디오랩, 홈페이지와 여러 매체를 통해 보니 많은 홍보 및 인력 충원을 해나가고 있는 것 같다. B2B형태의 음향 SDK제공 형태여서 일반 소비자들은 회사 이름을 들어보기 힘들 수도 있다. 하지만 FLO등의 음악스트리밍어플에도 벌써 smart EQ시스템을 탑재시켜, 그 이름을 확인할 수 있다. 추후 여러 음향(영화, OTT, 스트리밍)서비스에서 그 이름이 보이기를 기대해본다.
5. 엔터아츠(Enterarts)
엔터아츠는 위와 다르게 엔터테인먼트 회사의 성격을 가지고 있다. 대표님도 공학베이스가 아닌 예술계열을 기반으로 하고 있다.
소녀시대 태연의 동생으로도 알려져 있는 가수 하연은 첫 데뷔음악을 AI가 만든 곡으로 데뷔하였다고 한다. 엔터아츠에서는 앞선 사례처럼 A.I.M(에이미문)이라는 인공지능 음반레이블을 만들고, 가수 하연, 이소 등 다양한 뮤지션들과 협업해서 실 음악을 제작한다.
인공지능 음악을 만들어 보는 가벼운 경연이나, 인공지능 음악 시연회 등 간헐적인 이벤트들은 보았지만, 이렇게 실제 product까지 만들어 낸다는 점이 대단한 것 같다. 시대를 앞서가는 느낌? 아직 대박 컨텐츠까진 아니지만, 큰 마케팅이 없음에도 대중들의 반응이 꽤 좋은 것 같다.
예전에 콘텐츠진흥원에서 하는 박찬재 대표의 강연을 들었던 적이 있다. Jukedeck의 예시를 들면서 인공지능 음악을 사람들이 구입하지 않는다고 한다. 하지만, 가상세계에서는 인공지능 음악에 대한 수요가 있다고 한다. 게임틱한 공간에서는 오히려 인공지능이 만든듯한 살짝 인위적인, 음악이 좀 더 인기가 있다는 것을 확인했다고 한다.
그래서인지 virtual한 쪽을 주력으로 나아가는 것 같다. 메타버스 속 aimy.moon 인공지능 작곡가라던지, 정말 사람처럼 생긴 virtual 아이돌 등 가상의 뮤지션쪽으로 이동하는 것 같다.
오디오 스타트업이라고 하기에는 음악 외적(엔터적)인 성격을 띄어서, 필자는 엔터아츠를 오디오 스타트업으로 분류 해야하나 고민이 있었다. 하지만 1) 인공지능 음악을 실제 publishing해서 음원 발매까지 이루어냈다는 점과 2)회사의 비전이 오랬동안 기억에 남았기에 오디오 스타트업에 넣었다.
Music is for all. 음악교육을 받지 못한 사람들도 누구나 작곡가가 되어, 나만의 음악을 만들고 즐기고 공유할 수 있는 세상을 만들겠다. — 엔터아츠 —
개인적인 생각으로는 인공지능 음악 자체가 판매되지는 않아도, 사람들이 AI를 통해 음악창작의 즐거움을 느낄 수 있는 방법은 잘 찾아보면 수익성이 있지 않을까 싶다. 그리고 추후 그런 방법이 있다면 엔터아츠가 잘 할 수 있는 영역 중 하나가 아닐까 싶다.
현재는 메타버스나 콘텐츠 위주로 가려고 하는 것 같다. 물론 내부적으로 만들어두었던 인공지능 작곡엔진은 계속 사용하고 외부 프로젝트에도 이용해주는 것 같다. 박찬재 대표님은 앞선 기업들과는 다르게 공대쪽이 아니라 뮤지션으로 이력을 쌓아오셨는데, 그래서 콘텐츠 쪽을 더 잘 알고 콘텐츠와 기술의 융합 측면에서, 콘텐츠 비중을 높게 가져가는게 아닐까 싶다. Tech비중이 훨씬 높은 위의 수퍼톤과는 사뭇 다른 모습이다.
음악을 사랑하는 마음으로 좋은 비전을 가지고 있는 엔터아츠, 요즘 돈이 몰리기 시작하는 메타버스쪽에서 에이미문을 통해서 인지도있는 컨텐츠를 만들어내기를 기다려본다.
5.1 그밖의 기업들
포자랩스 , 쿨잼컴퍼니, 주스, 네오코믹스, 뮤직카우, 이모션웨이브 등 음악기술 관련 다양한 스타트업들이 있다. 인공지능 음악작곡을 하기도 하며, 로봇으로 악기를 연주하거나, 허밍분석을 통한 멜로디 생성, 웹툰 배경음악 생성 등 다양한 기술 및 서비스들이 있지만 이 글에서는 제외하였다. 검색해봐도 정보가 별로 없거나, 서비스가 망했거나, 플랫폼성이 짙거나, 기존과 완전히 다른방향으로 pivot을 진행한 기업들은 제외하였다. 완전히 다른 성격의 기업들이니, 검색해보면 인사이트를 얻을 수 있지 않을까 싶다.
5.2 루바토랩
필자가 속해있는 곳이다.
두둥! 세계적인 인공지능 음악창작 콘테스트에서 경쟁하기도하였으며(사실 누구나 참가가능ㅎㅎ)
인공지능 작곡 및 피아노 연주까지 이어졌으며
음악 기반 3D춤 생성도 함께 연구했으며
현재는 음악과 인공지능을 통한 미디어아트 생성 및 세계적인 인공지능 음악창작콘테스트(2022)를 나가게 될 것 같다. 필자처럼 강제력 없이 음악을 연구해보고 싶은 사람들에게는 좋은 곳이 될 것 같다.
Rubato Lab은 인공지능과 다양한 기술들을 이용해 음악과 관련된 재미있는 연구를 하는 랩입니다. 최근 연구원들 모두 힘을 합쳐 인공지능 모델을 기반으로 음원을 만들어 2022 AI Song Contest 에…www.notion.so
6. 마치며
5개의 다양한 음악 기술 스타트업과 부록으로 몇몇 스타트업들의 이름과 필자가 속한 곳을 소개하며 글을 끝내게 되었다.
사람이 적어선지 여기서 만난 사람을 저기서 만나기도 하고, 건너건너 아는 사이기도 하다. 그래서 조심 하는 건지는 모르겠지만 사람들이 모두 착하고 배려심 깊었다.
아마 음악을 좋아하는 순수한 마음을 가지고 덕업일치를 이루고자 하는 사람들의 특징이지 않을까 싶다.
이미 음악 관련 스타트업에 뛰어드셨거나, 준비를 하거나, 공부를 하시는 분들 모두 음악을 사랑하는 마음으로 시작했던 그 마음 잘 간직하기를 바란다.
🌜 개인 공부 기록용 블로그입니다. 오류나 틀린 부분이 있을 경우
언제든지 댓글 혹은 메일로 지적해주시면 감사하겠습니다! 😄
댓글 남기기