[237호 과학학술: 인공지능 기반 작곡 프로그램] 인공지능 시대의 음악 작곡

4차 산업사회와 인공지능 기술의 발달로 절대적 인간의 영역이라 여겼던 예술 분야까지도 인공지능 기술이 사용되고 있다. 과연 인공지능이 시간적 예술이라 불리는 음악 분야에서까지 심미성을 충족시킬 수 있을까. 이에 본 지면을 통해 인공지능 기반 작곡프로그램의 배경과 원리, 전망 등을 알아보고 실상을 파악해보고자 한다.

인공지능 기술의 급격한 발전이 다양한 산업 분야로 퍼져나가 놀라운 성과를 이뤄내고 있다. 이미지 분류와 같은 시각적 판단 능력에서는 일찍이 인간을 능가하였으며, 컴 퓨터의 연산 능력이 아무리 발전하더라도 인간을 이길 수 없다고 여겨졌던 바둑 분야에서는 현재 프로기사가 더 이상 인공지능을 이기지 못하는 수준으로 발전했다. 그 밖에 의료, 법률 등 여러 전문 분야에서 인공지능이 인간을 돕거나 때로는 인간의 역할을 대체하고 있다. 기술의 발전에 따른 이러한 조류는 현재 진행 중이다.

한 단계 더 나아가 이제는 인공지능 기술이 산업 분야의 경계를 넘어 인간의 감성과 창의성의 영역인 음악과 예술 분야에서 활약하기 시작했다. 예술 분야에서는 사진이나 그림을 특정 화가의 화풍으로 합성하는 인공지능 기술이 개발되어 누구나 이용할 수 있으며, 진짜인지 가짜인지 우리가 구분할 수 없을 정도로 정교한, 기존에 존재하지 않았던 이미지를 만들어내기도 한다. 한 예술단체의 인공지능은 화가 렘브란트(Rembrandt)의 작품을 학습해 표면의 질감까지 완벽하게 재현한 초상화를 만들기도 했다. 이처럼 인공지능 예술가는 전 세계 예술 무대의 중심에서 활발히 활동하며 인정을 받고 있다.

인공지능 음악 작곡의 배경

그렇다면 음악 분야에서 인공지능은 어떨까? 구글의 마젠타(Magenta) 프로젝트, IBM의 왓슨(Watson), 소니의 플로우 머신(Flow machine) 등 IT 분야의 세계적 기업들이 앞장서서 인공지능 음악 작곡가를 만들어내기 위해 활발히 연구하고 있다. 인공지능 작곡 기술을 활용한 다양한 서비스가 출시되었는데, 몇 가지 파라미터만 결정해주면 완성된 음악을 자동으로 만든다. 하지만 인공지능의 능력이 돋보이는 타 분야와는 달리 음악 분야에서는 아직 인간 작곡가의 복합적인 창작 능력에 미치지 못하고 있어, 영상을 위한 배경음악 같이 특정 목적을 위한 제한된 수준의 음악이 필요한 분야에서만 부분적으로 서비스되고 있는 상황이다. 시간적 예술이라는 특징과 함께, 조금만 어긋나도 음악적이지 못하거나 불쾌하게 들리는 음악의 민감한 특성 때문에 음악 작곡은 특히 인공지능이 정복하기 어려운 분야이다.

인공지능이 음악을 작곡한다는 현상에 대해 다양한 시선이 존재한다. 한쪽 측면에서는 기계가 생성한 음악은 인간의 작품처럼 창작자의 의도가 담기지 않았기 때문에 진정한 음악이 아니라고 생각해 거부감을 느끼기도 하고, 다른 측면에서는 최근에 갑자기 나타난 신비로운 기술이라는 환상을 갖기도 한다. 하지만 음악의 역사를 살펴보면 오늘날 인공지능 기술을 통해 작곡하는 연구는 오래전부터 음악 분야와 밀접하게 존재해왔다는 것을 알 수 있다. 유명한 예로 18세기 음악의 대가인 모차르트(Mozart)는 음악 주사위 게임(Musical dice game)이라는 자동 작곡 게임을 개발하였다. 이 게임은 주사위를 던져서 무작위로 선택된 음악 조각을 조합하여 자동으로 음악이 작곡되도록 한 것으로, 당시 큰 인기를 누렸다고 한다. “음악 주사위 게임”을 통해서는 1116=45,949,729,863,572,161개라는 방대한 양의 서로 다른 음악을 만들어낼 수 있다. 또 다른 예는 우리에게《4’33”》로 유명한 작곡가 존 케이지(John Cage)의 음악 작업에서 찾아볼 수 있다. 그는 체스 게임의 움직임에서 무작위적인 요소를 통해 음악이 자동적으로 만들어지는 시스템을 개발했다. 이러한 예를 인공지능 기술의 산물이라고 부르기는 힘들지만 자동으로 음악을 생성하는 시스템이라는 관점에서 많은 공통점이 있다.

컴퓨터의 발명 이후 몇몇 선구자들은 곧바로 음악 법칙을 컴퓨터에 입력해 자동으로 음악을 생성하는 프로그램을 개발했다. 이 프로그램은 미리 정의된 법칙 또는 확률에 의한 계산을 통해 음악 작곡을 위한 재료들을 신호로 출력하였고, 그 결과물을 인간이 직접 악보로 변환하여 이를 연주자가 실제 음악으로 연주했다. 이후로도 새로운 기술이 개발될 때마다 연구자들은 이를 음악 분야에 적용하여 음악의 자동작곡 연구가 꾸준히 계속됐다.

현재까지 음악 자동작곡 연구에 가장 널리 사용되어온 대표적인 알고리즘으로는 마르코프 체인(Markov Chain), 생성문법(Generative Grammar), 진화 알고리즘(Evolutionary Algorithms), 인공신경망(Artificial Neural Networks)이 있다. 마르코프 체인은 매우 직관적이라 컴퓨터의 발명 이전부터도 종종 사용되었다. 이는 과거의 사건에 대해 다음에 일어날 사건의 확률표를 작성하여 사건을 확률적으로
발생시키는 방법이다. 생성된 음악 노트를 기준으로 이론에 의한 다음 노트 생성의 확률을 계산, 작성함으로써 음악을 자동으로 생성하는 시스템을 만들 수 있었다. 생성문법은 포괄적인 의미를 가진 하이레벨의 기호를 구체적인 기호 즉, 디테일한 의미의 로우레벨로 풀어서 표현하는 규칙들의 묶음으로 정의할 수 있다. 음악 노트를 기호로 표현하고 기호들의 생성 규칙을 정의함으로써 구조적인 음악을 만들어냈다. 진화 알고리즘은 자연계의 진화 현상을 모방하여 문제를 해결하는 인공지능적 최적화 알고리즘으로 음악에 대한 평가 점수를 작성함으로써, 진화의 과정을 거쳐 자동적으로 음악이 생성된다. 마지막으로 인공신경망은 인간 뇌세포의 시냅스 연결을 모방한 네트워크를 컴퓨터에 구현하여, 음악 데이터를 학습시키고 새로운 음악을 생성한다. 특히 진화 알고리즘과 인공신경망은 음악 자동작곡 분야의 발전에 큰 기여를 했으며, 지금까지도 인공지능 작곡프로그램 개발에 널리 사용되고 있다. 이와 같이 음악을 자동으로 생성하는 인공지능 작곡가를 만들기 위한 노력은 음악의 역사만큼이나 오랫동안 기술의 발전과 함께 성장해 온 분야이다.

진화알고리즘과 딥러닝

진화 알고리즘이란 자연계에서 일어나는 생태계의 진화 현상을 모방하여 어렵고 복잡한 실세계의 문제를 빠르고 정확하게 풀어내는 강력한 인공지능적 문제 해결 알고리즘이다. 진화 알고리즘이 문제의 해답을 탐색하는 방법은 매우 독특하면서도 인간의 창조와 혁신 과정을 닮아있다. 우리가 기존의 것을 조합하거나 변형하면서 새로운 것을 만들어내는 것처럼, 진화 알고리즘은 우수한 해(解)들을 재조합하고 변형하면서 더욱 훌륭한 해를 찾아낸다. 또한, 진화 알고리즘은 결정론적 알고리즘(Deterministic Algorithms)과 다르게 같은 알고리즘을 여러 번 수행하더라도 매번 다른 새로운 해를 찾아내며, 적용 분야에 제약을 받지 않는다. 이러한 장점들 덕분에 음악 및 예술 생성 분야에서 진화 알고리즘이 널리 사용되어 진화 음악 작곡과 진화 예술이라는 새로운 연구 분야가 탄생했다.

진화 음악 작곡에서는 음악을 평가하는 적합도 함수의 설계가 매우 중요하다. 적합도 평가 함수 설계 자체는 비교적 유연하고 간단하지만, 음악에 대한 절대적인 정략적 평가 기준이 존재하지 않기 때문에 설계자마다 다양한 적합도 평가 함수가 개발됐다. 또한 생성되는 음악의 수준은 설계자의 역량에 의존한다는 문제가 있었다. 이러한 평가 함수 설계 문제를 해결하기 위해서 인간이 직접 적합도 평가를 수행하는 인터랙티브 시스템이 개발되었다. 진화 음악 작곡 시스템의 음악을 사용자가 직접 듣고 평가함으로써 자신의 음악적 취향대로 음악을 생성할 수 있었다. 하지만 시간적 예술이라는 음악의 특성 때문에 사용자가 음악을 모두 듣고 평가하는데 너무 많은 시간과 노력이 소모된다는 문제점이 있다.

이러한 적합도 평가 함수의 문제를 해결하기 위해 인공신경망이 도입되기도 했다. 인공신경망은 인간의 뉴런 구조를 모방하여 만든 기계학습 모델로, 데이터를 학습하여 새로운 입력을 예측하고 분류할 수 있다. 음악 데이터를 학습한 인공 신경망이 진화 알고리즘의 평가 함수를 대체함으로써 인간이 음악을 직접 평가하거나 평가 방법을 고안하지 않아도 되는 지능적 시스템이었다. 인공신경망 기술을 독립적으로 활용하여 음악을 생성하기도 했다. 시간 순으로 발생하는 음악 이벤트를 입력받아 그다음에 나타날 적절한 이벤트를 예측하는 방식으로 인공신경망을 학습시켰다. 하지만 알고리즘의 기술적인 한계와 하드웨어적 한계, 그리고 부족한 데이터 문제로 인해 과거 인공신경망 기반의 음악 생성에서는 큰 성과를 거두지 못했다.

최근에는 단층으로 구성된 인공신경망이 다층으로 구성된 딥러닝으로 발전하여 인공지능 작곡가의 탄생에 새로운 가능성을 열고 있다. 기존의 인공신경망은 대규모 데이터의 학습에서 한계가 나타났으며, 학습의 속도 또한 매우 느렸다. 딥러닝은 다수의 층으로 이뤄진 대규모 네트워크를 학습시킬 수 있는 알고리즘의 개발과 이를 빠르게 연산할 수 있는 하드웨어, 그리고 빅데이터 덕분에 기존의 문제를 해결하고 기계학습 알고리즘 중에서 현재 독보적인 성능을 보여주고 있다. 딥 러닝을 통해 음악 빅데이터를 수 시간 안에 학습하여 새로운 음악을 자동으로 작곡하는 인공지능 기술이 탄생한 것이다.

딥러닝은 다양한 산업분야에서 대부분의 기존 알고리즘 성능을 압도했기 때문에, 음악 분야에서도 모든 문제를 해결할 것 같았지만, 실제 음악 생성에서는 여러 가지 문제가 발생하였다. 딥러닝은 특정 스타일의 음악 모방에서 좋은 성능을 보였고 과거 인공신경망 시대보다 음악적으로 더욱 발전된 결과물을 생성할 수 있게 되었지만 그 결과물이 인간의 복합적인 창작 능력 수준에 크게 미치지 못하며 다양성과 창의성이 부족했다. 그뿐만 아니라, 딥러닝을 통한 음악 생성은 제어가 어렵고, 듣기에 부자연스러운 음악이 많이 나타났다.

잘 설계된 진화 알고리즘 기반의 인공지능 작곡 프로그램은 준수한 수준의 음악 퀄리티와 다양성을 보장하지만, 적합도 평가 함수를 정의해야 하기 때문에 설계에 어려움이 있다. 반면 잘 학습된 딥러닝 기반의 인공지능 작곡 프로그램은 데이터를 스스로 학습하여 새로운 음악을 잘 만들어 내지만, 생성되는 음악의 다양성이 부족하고 제어가 어렵다. 최근에는 적대적 생성 네트워크(Generative Adversarial Networks)를 통해 딥러닝의 생성 기술이 한층 발전하여 더욱 정교한 음악 생성이 가능해졌지만 음악 분야에서 딥러닝이 갖고 있었던 문제점인 다양성부족과 제어성의 어려움이라는 문제는 여전히 해결되지 않은 숙제이다.

음악 작곡은 리듬, 멜로디, 코드, 반주 작곡, 악기 편성 등 다양한 하위 작업으로 나눌 수 있다. 하나의 인공지능 기법이 모든 음악 작업들을 단번에 해결해주지 못하기 때문에 진화 알고리즘과 딥러닝을 결합하여 서로의 단점을 보완함으로써 더욱 향상된 인공지능 작곡 프로그램을 개발할 수 있다.

인공지능 작곡가와 표절 문제

인공지능이 작곡한 음악이 인간 작곡가가 만든 음악과 매우 유사하다면 표절의 책임은 누가 지게 될까? 인공지능에게 법적 책임을 물을 수 있을까? 현행 저작권법은“인간의 사상 또는 감정을 표현한 창작물”만을 저작권으로 인정하고 있다. 따라서 인공지능 작곡 프로그램이 음악을 작곡했다 하더라도 현재의 인공지능을 인간과 같은 지위로 볼 수는 없기 때문에 아직까지 인공지능이 저작권을 가질 수 없다. 대신 인공지능이 음악을 자동으로 생성할 수 있도록 설계한 인간이 저작권을 가질 수 있게 되며 표절의 책임도 지게 될 것이다. 인공지능이 저작권을 갖기 위해서는 특정 분야의 작업만을 잘하는 약한 인공지능(Weak A.I.)이 아닌 진정한 인공지능이라고 할 수 있는 의식을 가진 강한 인공지능(Strong A.I.)이 탄생해야 한다. 지금까지 개발된 인공지능 작곡가는 모두 약한 인공지능에 속한다.

진화 알고리즘 기반의 인공지능 작곡은 학습 데이터에 의존하지 않기 때문에 표절 문제에서 비교적 자유롭지만, 딥러닝과 같은 기계학습 기반의 인공지능 작곡 방법은 학습 데이터에 대한 의존도가 크기 때문에 기존의 것과 유사한 음악을 생성할 위험이 높다. 이러한 인공지능이 만드는 음악이 법적 문제를 피하기 위해선 기존의 음악과 다른 음악을 생성하기만 하면 될까? 학습 데이터와 유사도 측정을 통한 필터링 방법으로 인공지능이 생성하는 음악이 표절이 되는 것을 방지할 수는 있다. 하지만 인공지능의 학습과정을 어떻게 해석하느냐에 따라 저작권법에 위반이 될 수도 있다. 음악을 자동으로 작곡하는 프로그램 내에서 기존의 음악을‘복제’해서 사용하는 기능이 있다면 저작권법에 위반이 될 수 있기 때문이다. 즉, 어떤 인공지능 음악 작곡 프로그램이 내부에서 기존의 음악들을 가지고 짜깁기하여 새로운 음악을 만들고 있다면 저작권법을 위반하게 되는 것이다. 그렇다면 딥러닝의 경우에는 어떨까? 기존의 음악을 사용하여 인공지능을 학습시켰을 때 음악을 그대로 베끼는 것이 아니라 그 음악을 구성하는 어떤 법칙을 학습했다면, 이 인공지능 작곡 프로그램은 전혀 문제가 되지 않을 것이다. 평소에 음악을 듣고 학습하여 새로운 음악을 창조하는 인간의 음악 창작 과정처럼 말이다. 하지만 딥러닝을 포함한 대부분의 기계학습 기법들에서 발생하는 과적합(Overfitting) 문제로 인해, 학습 데이터로 사용한 특정 음악과 매우 유사한 음악을 계속해서 생성하도록 학습된다면, 의도치 않게 인공지능 내부에 기존의 음악을 복제하는 기능이 학습되었다고 해석할 수도 있을 것이다. 이러한 상황을 저작권법으로 해석하기에 모호한 부분이 많이 존재한다. 빠르게 발전하고 있는 인공지능 기술이 음악 분야에서 올바르게 활용되고 정착할 수 있도록 각 분야 전문가들의 심도 있는 논의를 통해 적절한 법규가 마련되어야 할 것이다.

인공지능 시대의 음악 영역과 전망

전 세계 음악 시장의 규모는 2019년 기준 16.5조억에 달하며 2021년에는 19조억 원까지 성장할 것으로 예상된다. 거대한 규모의 음악 시장에서 현재 인공지능의 활약은 눈에 띄지 않지만 그 영역이 점차 넓어지고 있다. 현재의 인공지능 음악 작곡가는 인간 전문 작곡가의 높은 작곡 수준에는 미치지 못하지만, 일정 수준의 조건을 만족하는 음악을 빠른 속도로 대량 생산하는 영역에서는 탁월한 능력을 보여준다. 인간 작곡가는 이러한 인공지능 작곡 프로그램이 생성해주는 음악을 자신의 음악적 역량과 취향으로 수정 및 최종 마무리하는 일종의 협업을 통해 자신의 생산성을 비약적으로 향상시킬 수 있다. 뿐만 아니라 창작 과정에서 겪게 되는 음악적 아이디어의 고갈 또는 자기표절 문제를 인공지능 작곡 프로그램의 도움을 받아 극복할 수도 있다. 음악 트렌드를 분석하여 사람들에게 어떤 음악이 사랑 받는지 분석하고, 그 다음 트렌드 또한 예측할 수도 있다.

우리는 이러한 인공지능의 시대에서 인공지능을 배척하거나 두려워하기보다는 적극적으로 활용해야 할 것이다. 인공지능 작곡가는 체스나 바둑처럼‘점수’라는 절대적 정량 수치를 가지고 인간과 대결하는 것이 아니라 우리가 원할 때 언제든지 창작 활동을 도와줄 준비가 되어있는 하나의 도구이다. 인간 작곡가가 인공지능 작곡 프로그램을 활용해 전에 없던 풍요로운 창작 활동을 할 수 있는 기반이 마련되는 것이다.

하지만 한편으로, 인공지능 기술을 통해 음악 데이터만을 학습시켜 만든 인공지능 작곡 프로그램은 음악 작곡에 대한 교육을 전혀 받지 않은 일반인도 일정 수준 이상의 작곡을 가능하게 한다. 전문 작곡가와 일반인의 작곡 수준은 인공지능 작곡 기술이 발전함에 따라 그 격차가 좁혀질 것이고, 음악 분야에서 창작자와 소비자의 경계가 점차 허물어지며 누구나 지식과 시간의 제약 없이 음악을 작곡할 수 있게 될 것이다. 따라서 인공지능 시대의 전문 작곡가의 역할은 전통적인 작곡가와는 많이 달라질 것으로 보인다. 인공지능 시대의 전문 작곡가의 역할은 인공지능이 기존의 음악 데이터에서 학습할 수 없는, 창의적이고 새로운 음악 데이터를 구축하는 영역에서 전문적 창작 활동을 하는 방식으로 변화할 가능성이 높다. 데이터가 없는 영역에서는 인공지능이 동작할 수 없기 때문에 기존에 없는 창의적인 스타일은 개척하는 분야는 미래에도 여전히 인간 전문 작곡가의 영역일 것이다.

정 재 훈 / 성균관대 대학원 컴퓨터공학과 박사

Tip)

결정론적 알고리즘 (Deterministic Algorihtms) : 같은 입력에 대해 언제나 같은 연산을 하고 같은 결과를 내놓는다. 현재 상태 이후로 어떤 상태로 진행되며 어떤 동작을 할지 모든 것이 결정된다.
적대적 생성 네트워크 (Generative Adversarial Networks) : Ian goodfellow가 2014년에 발표한 새로운 생성 네트워크. 생성자와 구별자의 2개의 네트워크가 경쟁적으로 학습된다. 생성자는 가짜 데이터를 생성해 구별자를 속이기 위해 학습하며, 구별자는 가짜 데이터를 판별해 내기 위해 학습한다. 이를 통해 최종적으로 생성자가 진짜 데이터와 구분되지 않는 가짜 데이터를 생성하게 된다.
과적합(Overfitting) : 기계학습 모델이 학습 데이터를 일반화하지 못하고 지엽적인 특성을 과하게 반영하여 새로운 데이터를 예측하거나 생성하지 못하게 되는 현상.

작성자: khugnews

이글 공유

댓글 남기기

이메일은 공개되지 않습니다. 필수 입력창은 * 로 표시되어 있습니다