음악 산업도 개인화 시대가 열렸다. 인공지능(AI) 작곡 엔진을 개발한 이종현 크리에이티브 마인드 대표는 “인공지능 작곡가는 작곡을 위한 음악 지식과 기술이 없는 대중들에게 ‘나만을 위한’ 음악을 소유할 수 있게 합니다”라며 인공지능 작곡 기술의 포인트를 짚었다. 2021년, 약 76조 6천억 원대의 확장세가 점쳐지는 거대한 음악산업 시장에서 크리에이티브마인드는 인공지능 작곡 엔진을 기반으로 글로벌 도약을 꿈꾸고 있다.

5초만에 손 안에 뚝딱, ‘나만을 위한’ 음악 시대가 열리다

인공지능과 음악의 위대한 힘이 결합하고 있다. 인간의 고유 영역으로만 여겨졌던 작곡 분야에서도 인공지능이 개인에게 맞춤형 음악을 선물하는 서비스가 모습을 드러내고 있다. 일례로 얼마 전 중국 유니콘 바이트댄스의 틱톡이 영국의 유명 인공지능 작곡 스타트업 주크덱을 인수한 일은 인공지능 음악 업계에 커다란 반향을 불러일으켰다. 사용자의 감정을 분석해 맞춤형 음악을 생성하는 기술이 세계적인 시장 가치를 입증했다는 데 큰 의미가 있다. 

이 대표가 만든 서비스는 수년간 음악 이론 학습을 거친 인공지능 엔진에 기반한다. 2019년 이 대표는 총 3가지의 서비스를 상용화했다. 첫 번째는 인공지능이 사용자가 원하는 음악 장르와 분위기, 사진을 해석해 감성을 추출하고 음악을 제공하는 뮤지아 애플리케이션(응용프로그램)이다. 

이 대표는 “유튜브 콘텐츠 크리에이터들을 중심으로 모든 동영상 제작자들에게 뮤지아 서비스의 가치가 전해졌으면 합니다”라고 말했다. 저작권 보호 강화로 동영상 제작자의 음악 이용 범위가 협소해지면서 콘텐츠의 질적 수준까지 저하되고 있기 때문이다. 

두 번째 서비스는 힙합이다. 힙합 비트를 생성하는 두랩101은 사용자가 랩하는 동영상을 직접 녹화한 결과물을 손쉽게 공유할 수 있고 차트에서 자신의 순위를 추적할 수 있다. 힙합 수요가 큰 밀레니얼 세대와 Z세대의 취향을 집중 공략한다. 크리에이티브마인드는 2020년 국내 대학 힙합동아리 학생들이 대항전 형태로 참여할 수 있는 시합을 개최하는 등 젊은 세대들에게 두랩101을 적극적으로 알려나갈 구상이다. 

크리에이티브마인드의 인공지능 음악 유튜브 채널은 개설 2개월 만에 조회수가 40만 회까지 늘어났다. 이 채널은 사람들을 감정적으로 안정시키는 효과가 있는 백색소음 기반 음악을 제공한다. ‘공부 잘 되는 음악’, ‘자기 전 듣는 음악’, ‘기분이 편안해지는 음악’ 등 일상의 콘셉트에 맞춰 분류하고 있다. 이 대표는 유튜브 사용자들의 피드백을 실시간으로 확인할 수 있다는 점에서 인공지능의 또 다른 결과물에 대한 시장의 가치를 확인해나가고 있다. 

크리에이티브마인드가 보유한 인공지능 작곡가(엔진)의 이름은 ‘이봄(Evolutional + music)’이다. 혁신과 뮤직이라는 뜻을 담은 ‘이봄’은 2017년 자라섬 국제 재즈페스티벌을 통해 음악계의 주목을 받았다. ‘이봄’은 당시 기타, 피아노, 드럼으로 구성된 3인조 프로 재즈 밴드와 경연해 59대 41로 근소하게 패배했다. 시연 이후 인공지능 작곡가의 정체를 밝힌 이 대표는 청중들로부터 큰 박수를 받았다. 

이 대표는 ‘이봄’의 장점으로 베토벤부터 BTS까지 넘나드는 다양성을 꼽았다. 그는 “클래식 음악부터 K팝 아이돌 그룹의 음악 스타일까지 인류가 창조한 모든 음악 장르에 대한 선율을 만들어냅니다. ‘이봄’이 스마트폰 애플리케이션에서 힙합 비트를 쏟아내면서 예술의 전당에서 오케스트라와 협주할 수 있었던 이유입니다”라고 설명했다. 크리에이티브마인드는 인공지능 엔진으로 국내 특허 6건과 성능 평가시험을 완료하고 한국콘텐츠진흥원 및 국내 엔터테인먼트 기획사, 글로벌 자동차 브랜드와의 협업을 진행 중이다. 

진화 연산 인공지능으로 저작권 걱정을 날리다 

상업적 목적을 가진 음악은 저작자가 주인이다. 그런데 만약 전 세계 주요 히트곡을 우선순위로 만든 대용량 데이터베이스를 기반으로 학습한 인공지능이 있다면, 이 엔진이 생성하는 곡은 누가 소유권을 갖게 될까? 이 대표는 이 같은 딥러닝 리스크를 초기 단계에서 배제하는 접근 방식으로 진화 연산 기술을 택했다. 진화 연산은 계산 지능에 속하는 유전 알고리즘 기반의 인공지능 연산법으로 최적화 전략을 탐색하는 방법이다. 

전 세계 인기곡 빅데이터를 학습시키면 상업성 좋은 곡이 나오지 않을까 예상했는데. 

가장 큰 이슈는 저작권 문제다. 최근 음악 협회에서는 저작권 해석 확대 범위를 더 강화해나가고 있는 추세다. 과거에는 기계적으로 일치해야만 표절이라고 했었지만 최근에는 소스를 썼다거나 암시 및 추론할 수 있는 구간에서도 저작권 침해로 판정하는 경향이 있다. 

사실 초기 단계에서 딥러닝 기술 쪽으로 굉장히 검토를 많이 했었다. 데이터의 모수가 굉장한 규모라면 들을만한 곡이 생성될 수 있지만 저작권 침해 여부는 미지수일 것으로 판단했다. 하지만 대량의 곡 데이터로 부분만을 재조합해서 곡을 생성한다면 음악적인 흐름이나 기승전결 등 전개와 완성도 측면에서 음악의 질적 한계에 부딪힐 것이라는 생각을 하게 됐다. 

크리에이티브마인드 인공지능 엔진의 학습 방법은?

인공지능이 음악 이론적 지식을 축적하게 했다. 이를 기반으로 음악 언어를 표현할 수 있는 이론적인 매커니즘을 도출한 알고리즘을 개발했다. 그래서 기존 유행 곡 데이터 대신 음계를 가지고 모든 악기를 다룰 수 있도록 학습을 마쳤다. 현재 단계에선 사람들처럼 상상하고 창작하는 일에 인공지능이 기여하고 있다고 보기는 어렵다. 하지만 특정 입력 값을 모티브로 음악을 생성하는 보완 차원의 역할과 음악에 대한 전문적 지식이 없는 사람들에게 음악을 소유할 수 있도록 제공하는 서비스의 질적 측면에선 상업화가 가능한 강력한 수준까지 올라왔다.

음악은 트렌드에 굉장히 민감한 것 같다. 영국과 미국 인공지능 작곡 스타트업들의 기술 트렌드에는 어떤 것들이 있나?

거시적인 인공지능 기술 분야에선 딥러닝과 진화연산을 결합하는 트렌드가 현실화되고 있다. 대표적인 예로 구글이 있다. 인공지능 작곡 분야는 요즘 실리콘밸리에서 급부상 중인 스타트업들이 있다. 

작곡할 수 있는 인터페이스를 제공하는 스타트업 아이바, 그리고 엠퍼 뮤직 둘이다. 음악 인공지능의 기술 발전은 눈부신 속도의 융합이 눈길을 끈다. 이미지 분석으로 사용자의 감정을 분석해 음악을 만들어주는 기능뿐만 아니라 동영상의 객체(사람 및 사물)를 인식하고 컷마다 분위기와 개연성을 인식해 곡들을 생성하고 변환하는 기능까지 탑재한 서비스들이 등장하고 있다. 

‘이봄’이 기술적으로 성장한다면 앞으로 프로 작곡가의 일자리를 넘볼 수도 있나.

프로 작곡가들이 흔히 말하는 ‘악상이 떠오른다’는 말은 인간이 상상하고 창작하는 행위의 근간이 된다. 학계에선 이 같이 인지능력을 가진 강 인공지능의 도래를 먼 훗날인 50년 뒤쯤으로 예상하고 있다. 

그러나 인공지능이 프로 작곡가의 일자리를 빼앗을 것이라고 보기는 어렵다. 하지만 사람들의 성향이나 감정, 정보 등을 기반으로 음악을 생성하고 상업적으로 보급하는 게 가능한 수준에 이르렀다. 이 때문에 음악에 대한 전문적인 지식이 없는 사람들도 음악을 소유할 수 있도록 보조해주는 것에서 강력한 역할을 해낼 수 있게 됐다. 

창업 3년 차다. 스타트업 창업가로서의 경험을 돌아본다면. 

그때 당시에는 조금 더 당찬 포부가 있었다.(웃음) 점차 변한 것 같다. 기술과 사업에 대한 생각을 많이 했다. 지금은 사람들이 일상에서 편하게 우리 기술을 사용하면서 사회적으로 선한 영향력을 행사했으면 하는 마음이다. 

아무리 좋은 기술도 실생활에 쓰이지 않으면 쓸모가 없지 않나. 인공지능의 목적은 결국 사람들의 가치 실현에 도움을 주고 삶을 더 윤택하게 만들 수 있도록 도움을 주는 것이라고 생각한다. 기업을 이끄는 입장에서 보다 확고한 목표 의식으로 성장을 추구하게 됐다. 

앞으로 인공지능 기술 분야에서 어떤 역할을 하고 싶은지 포부를 전한다면. 

우리나라는 미국과 중국, 일본 등 주요국에 비해 인공지능 기술 특허가 매우 취약한 상태다. 앞으로 전개될 인공지능 기술의 산업화 추진 시 특허절벽을 경험할 가능성이 매우 높다고 생각한다. 인공지능 기술은 보통 일반과 응용 분야로 나뉜다. 

특히 우리나라 인공지능 응용기술 분야에 대한 특허 격차는 일반 분야보다 더 심각한 상황이다. 인공지능 작곡은 응용 기술 분야다. 핵심기술을 지속적으로 고도화하면서 소비자들에게 음악을 통한 새로운 경험과 가치를 제공하는 인공지능 기업으로 성장해나갈 것이다. 

이종현 크리에이티브마인드 대표

성균관대학교 컴퓨터 공학 박사 출신 CEO다. 2010년부터 인공지능 음악 분야를 연구해온 이 대표는 2017년 크리에이티브마인드를 창업했다.