관객과 함께 이야기를 바꾸는 인공지능 공연

관객과 함께 이야기를 바꾸는 AI 공연은 관객의 제안을 이야기의 조건으로 받아들이고, AI가 다음 대사나 사건을 제안하며, 배우가 이를 연기로 연결하는 방식으로 설계할 수 있다. 중요한 것은 대사를 새로 만드는 능력만이 아니다. 관객이 선택한 내용이 다음 장면에 실제로 영향을 주고, 앞서 쌓인 인물의 관계와 사건도 이어져야 한다. 실제 AI 즉흥극에서는 사람과 언어모델이 무대에서 협업한 사례가 있지만, 모든 관객의 의도를 이해해 완성도 높은 이야기를 자동으로 유지하는 기능까지 입증된 것은 아니다. AI 즉흥극의 대화형 언어모델 연구

※ 이 기사는 AI가 작성했다. 기술과 실제 공연 사례는 공식 자료와 연구자의 논문을 근거로 설명하며, 아래 미래 공연과 실험용 대사는 이해를 돕기 위한 가상 설정이다.

실제 무대에서 AI는 무엇을 하는가

AI 즉흥극 단체 임프로보틱스의 공식 기술 설명에 따르면, 대화 시스템 A.L.Ex는 음성 인식, 대사 생성, 음성 합성을 사용한다. 생성한 대사를 헤드셋이나 증강현실 안경 등을 통해 배우에게 전달하는 공연 방식도 소개한다. 이때 AI가 만든 문장은 배우가 말할 재료가 된다. 그 문장을 어떤 표정과 동작으로 표현하고 상대 배우의 반응과 연결할지는 무대 위 사람의 역할이다. 임프로보틱스의 기술 설명

2024년 발표된 연구는 에든버러 프린지의 한 달간 공연에서 대규모 언어모델과 인간 즉흥 배우가 협업한 사례를 다뤘다. 연구자들은 맥락에 맞는 응답을 생성하는 데 어려움이 있으며, 사람이 개입하는 방식과 인터페이스가 중요하다고 설명했다. 이 사례가 보여주는 것은 AI와 배우의 실시간 협업 가능성이다. AI에게 공연 전체를 맡겨도 이야기의 연결이 보장된다는 뜻으로 확대해서 읽어서는 안 된다. 공연 현장의 연구 결과

관객 참여와 AI의 역할도 구분해서 볼 수 있다. 관객이 두 선택지 중 하나를 고르고 미리 준비된 장면이 재생된다면, 그 선택 기능 자체에는 AI가 필요하지 않다. 여기에 언어모델을 붙이면 선택된 조건을 바탕으로 새로운 대사 후보를 만드는 역할을 맡길 수 있다. 공연을 볼 때는 ‘관객이 고른 것’, ‘AI가 새로 만든 것’, ‘배우가 결정한 것’을 나눠 살피면 기술의 기여를 구체적으로 이해할 수 있다.

가상의 공연: 마지막 열차를 돌려보낼까

다음은 실제 공연 기록이 아닌 미래 공연의 가상 장면이다. 무대는 폭풍 때문에 운행이 중단된 기차역이다. 관객은 역무원이 마지막 열차를 출발시킬지, 길을 잃은 여행자를 기다릴지 선택한다. 기다리기가 채택되자 배우가 출발 신호를 거두고, AI는 그 선택을 반영한 대사 후보를 만든다. “열차는 기다릴 수 있어요. 하지만 승객들에게 이유를 설명해야 합니다.”

이 가상 공연에서 제작진은 AI에 선택 결과만 전달하지 않는다. ‘역무원은 승객을 보호하려 한다’, ‘여행자는 아직 역에 도착하지 않았다’, ‘폭풍은 계속된다’처럼 장면의 상태를 함께 적는다. 생성된 문장을 진행자가 확인한 뒤 배우에게 전달하고, 배우는 기다림에 반대하는 승객을 설득하는 장면을 이어간다. 관객의 선택이 인물의 행동과 갈등을 바꾸도록 만든 설계다.

반대로 AI가 “여행자는 이미 열차에 탔다”는 문장을 내놓으면 앞선 설정과 충돌한다. 이때 진행자는 해당 후보를 버리고, 배우는 승객들의 대화를 이어가며 다음 제안을 기다리도록 정할 수 있다. 생성이 늦거나 중단될 때도 같은 방식으로 준비한 장면을 이어간다. 이 대응은 미래의 자동 기능을 주장하는 것이 아니라, 사람이 공연의 흐름을 지키기 위한 운영 제안이다.

이야기를 이어가려면 무엇을 기억시켜야 할까

긴 이야기의 연결 문제는 대본 생성 연구에서도 다뤄졌다. 드라마트론 연구는 언어모델의 장거리 의미 일관성 문제에 대응하기 위해 인물, 주요 사건, 장소, 대사를 단계적으로 생성하고 그 구조를 다음 생성의 맥락으로 활용했다. 이는 관객 참여 공연이 완성된 사례는 아니지만, 매번 다음 문장만 요청하기보다 이야기의 구조를 함께 제공하는 접근을 참고할 수 있게 한다. 언어모델을 이용한 대본 공동 창작 연구

이를 가상의 기차역 공연에 적용한다면 제작진은 짧은 상태표를 유지할 수 있다. 현재 장소, 인물의 목표, 이미 일어난 사건, 관객이 바꾼 조건을 기록하고 장면이 끝날 때 갱신하는 것이다. 예를 들어 ‘여행자를 기다리기로 결정함’을 남겨두면 다음 대사를 검토할 때 그 결정과 충돌하는지 확인하기 쉽다. 상태표는 일관성을 보장하는 장치가 아니라, AI에 필요한 맥락을 제공하고 사람이 오류를 찾는 기준이다.

관객 입력을 어디까지 받을지도 미리 정해야 한다. 처음부터 자유로운 문장을 모두 무대에 올리기보다, 인물의 행동이나 장소처럼 바꿀 범위를 제한하는 방식으로 시작할 수 있다. 임프로보틱스는 공식 운영 원칙에서 알고리즘 필터와 사람의 선별을 함께 사용해 AI 응답을 고른다고 밝힌다. 관객 참여 실험에서도 실명이나 개인 사연을 입력받지 않고, 출력은 진행자가 확인한 뒤 전달하도록 설계할 수 있다. 임프로보틱스의 응답 선별 원칙

직접 확인하기: 선택이 장면을 바꿨는가

작은 연극 실험이라면 배우 두 명과 진행자 한 명이 같은 시작 장면을 두 번 연기해 볼 수 있다. 다음 순서는 상용 공연의 표준이 아니라, AI가 관객의 선택을 반영하는지 살펴보기 위한 제안이다.

1. 인물의 목표와 시작 상황을 짧게 작성한다. 기차역 예시에서는 역무원의 목표를 ‘승객 보호’, 여행자의 상태를 ‘아직 도착하지 않음’으로 고정한다.
2. 관객에게 ‘출발하기’와 ‘기다리기’를 제시하고 선택 결과를 기록한다. 참여하지 않아도 관람할 수 있게 한다.
3. AI에 설정과 선택을 함께 주고 ‘앞선 사건을 바꾸지 말고, 선택의 결과가 드러나는 짧은 대사 후보를 작성하라’고 요청한다.
4. 진행자가 설정 충돌과 부적절한 표현을 확인한 뒤 사용할 후보를 고른다. 적절한 후보가 없으면 준비한 연결 대사로 진행한다.
5. 다른 선택으로 다시 연기하고, 채택된 대사와 실제 배우의 행동을 비교한다.

결과는 세 질문으로 확인한다. 기다리기를 택했을 때 열차의 출발이 실제로 멈췄는가. 여행자의 위치 등 기존 설정을 유지했는가. 배우가 다음 행동을 할 수 있는 구체적인 대사를 받았는가. 두 선택에서 문구만 달라지고 사건은 그대로라면, 그 실험에서는 관객 참여가 이야기에 충분히 반영되지 않은 것이다. 관객에게 자신의 선택이 어느 행동을 바꿨는지 말해보게 하면 제작진의 의도와 관객의 이해도 비교할 수 있다.

AI 공연을 판단할 때는 생성된 문장의 신기함과 함께 이 연결을 살펴볼 필요가 있다. 관객의 선택이 무엇을 바꿨는지 보이고, 배우가 그 변화에 반응하며, 진행자가 설정 충돌이나 생성 중단에 대응할 수 있는지가 핵심 확인 기준이다.

출처

아래 공식 자료와 연구자 논문은 2026년 10월 5일 확인했다. 가상 공연의 인물·사건·대사는 출처 자료에 등장하는 실제 사례가 아니다.

• 임프로보틱스의 AI 공연 기술 설명
• AI 즉흥극의 대화형 언어모델 설계와 평가 연구
• 언어모델을 이용한 영화·연극 대본 공동 창작 연구
• 임프로보틱스의 안전과 응답 선별 원칙

관련 글

• 공연

후속 기사

• AI 즉흥극의 대사 지연을 배우는 어떻게 메울까
• 관객의 소수 의견도 반영하는 AI 공연의 선택 설계
• AI 공연 리허설에서 이야기의 모순을 찾는 방법

이미지 3장은 설명용 AI 일러스트이며 실제 촬영 사진이나 실험 기록이 아닙니다.