(좌) 고려대학교 김중헌 교수, (우) UNIST 윤성환 교수

고려대학교 공과대학 전기전자공학부 김중헌 교수팀과 인공지능대학원 윤성환 교수팀이 양자컴퓨팅을 활용하여 인공지능(AI) 강화 학습의 계산 비용을 기존 대비 최대 5분의 1로 줄이는 기법을 개발하였다. 

이번 연구결과는 2026년 7월 6일부터 11일까지 서울 코엑스에서 개최된 국제머신러닝학회(ICML) 2026에 발표 논문으로 채택되었다. ICML은 NeurIPS, ICLR과 함께 세계 3대 AI 학회로 꼽힌다.

올해는 전 세계에서 2만 3918편의 논문이 제출돼 이 중 6352편이 채택됐으며, 약 1만 5000명의 연구자와 기업 관계자가 참가하는 역대 최대 규모로 진행되었다. 올해 ICML에 채택된 양자 AI 논문 가운데 국내 연구 기관이 주도한 것은 본 연구가 유일하다.

연구팀이 개발한 기법의 이름은 'QRIM(Quantum Robust Inner Minimization)'이다. 강화 학습은 AI가 시행착오를 통해 스스로 행동 전략을 익히는 방식인데, 학습 환경과 실제 환경이 조금만 달라져도 성능이 급격히 떨어지는 문제가 있다. 맑은 날만 학습한 자율주행차가 비나 눈이 오면 제대로 대응하지 못하는 것이 대표적 사례다.

이를 보완하기 위해 학습 단계에서 최악의 상황을 미리 찾아 대비하도록 훈련하는 '강인한 강화 학습(robust reinforcement learning)' 기법이 연구돼 왔지만, 가능한 시나리오를 하나씩 탐색해야 해 경우의 수가 늘어날수록 계산 비용이 급증한다는 한계가 있었다.

QRIM은 양자컴퓨팅의 '중첩(superposition)' 원리를 활용해 이 병목을 해소했다. 중첩이란 양자 비트가 0과 1의 상태를 동시에 가질 수 있는 양자역학적 특성으로, 이를 통해 여러 경우의 수를 병렬적으로 표현할 수 있다.

예컨대 1만 개의 시나리오를 기존 방식으로 검토하려면 1만 번의 계산이 필요하지만, QRIM은 100번의 확인만으로 동일한 결과를 도출할 수 있다.

실험에서 QRIM은 기존 방식 대비 약 20~30% 수준의 계산량으로 더 높은 강인성을 보였다. IBM의 양자 컴퓨터에서 실제 구동하는 검증 실험도 수행하였는데, 양자 하드웨어 특유의 잡음(noise) 환경에서도 강인성이 유지되었다. 기존의 강화 학습 알고리즘은 그대로 두고 최악 상황 탐색 부분만 양자 모듈로 교체할 수 있어 범용성도 높다.

연구진은 본 논문이 "강인한 강화 학습 설계에 있어서, 양자 알고리즘으로 가속할 구조로 새롭게 설계한 기술을 세계 최초로 고안한 혁신적인 연구성과물"이라고 설명하였다.