[202호 과학학술 : 증강현실] 증강현실에서 증강휴먼으로!

증강현실이란 가상세계와 현실세계를 유기적으로 연동하고 3차원적으로 결합한 ‘확장된 현실’을 말한다. 최근 과학 기술의 발달로 증강현실은 더 이상 영화 속 이야기가 아닌 현실이 되고 있다. 이에 본보는 증강현실의 기본 개념과 정의, 증강현실 발전 방향으로서의 증강휴먼, 증강휴먼 핵심기술 및 응용 등을 간략하게 소개하고 미래를 전망하고자 한다.

 

 

방에 한 남자가 있다. 그는 방 안에서 생각과 몸짓만으로 3차원 콘텐츠를 현실 공간에 재현하고 손동작을 통해 자유자재로 움직이고 원하는 장면을 확대하거나 변형할 수 있다. 2002년 스티븐 스필버그 감독의 영화 ‘마이너리티 리포트’의 한 장면으로 만들어진 이 시나리오는 그 이후 다양한 모습으로 영화에 등장하고 있다. 영화 속 주인공은 더 이상 정보를 얻기 위해 키보드나 마우스로 검색하거나 결과를 컴퓨터 화면에 띄우지 않는다. 최근 증강현실 실현 기술의 발달과 안경형 디스플레이의 등장으로 영화 속 일들이 현실 속에서 펼쳐지고 있다. 이에 본고에서는 증강현실의 기본 개념과 정의, 증강현실 발전 방향으로서의 증강휴먼, 증강휴먼 핵심기술 및 응용 등을 간략하게 소개하고 미래를 전망하고자 한다.

 

증강현실이란?

 증강현실이란 가상세계와 현실세계를 유기적으로 연동하고 3차원적으로 결합한 ‘확장된 현실’을 말한다. 증강현실 공간에서는 스마트폰으로 검색을 할 필요가 없다. 대신 거리나 건물 등의 관심장소(PoI: Place of Interest) 또는 관심 객체(OoI: Object of Interest)를 스마트폰 카메라에 비추거나 구글 글래스와 같은 안경을 쓰고 쳐다보기만 해도 필요한 정보가 스스로 다가온다. 관심 장소 또는 관심 객체와 연관된 디지털 정보나 콘텐츠를 덧붙여 직접 보고 듣고 만지거나 직접 상호작용하는 등 오감을 활용해 체험할 수 있는 디지로그(DigiLog) 세상이 열리게 되는 것이다. 뿐만 아니라, 다른 지역에 있는 사람과 마치 한자리에 있는 것처럼 함께 이야기를 나누고 협력하는 SF소설 속 한 장면도 곧 체험할 수 있다.

증강현실의 뿌리는 컴퓨터가 만든 가상세계에서의 몰입과 상호작용을 다루는 가상현실(Virtual Reality)이다. 착용형 디스플레이(HMD: Head Mounted Display)를 통해 가상의 세계를 체험하고 사용자의 상호작용 능력을 확장한다는 점은 유사하다. 다만, 가상현실이 현실과 단절된 ‘가상세계에서의 몰입과 상호작용’을 강조한 반면, 증강현실은 현실과 유기적으로 결합된 ‘확장세계에서의 지능적 증강과 직접적 상호작용’을 강조하는 차이점이 있다. 증강현실은 넓은 의미에서는 유비쿼터스 컴퓨팅이 실현된 지능공간에서의 가상현실이다.

증강현실이란 용어는 1992년 보잉(Boing)사의 토마스 코델(Thomas P. Caudell) 박사에 의해 처음 사용 되었고 학술적인 구분은 1994년 토론토 대학의 폴 밀그램(Paul Milgram) 교수 등의 Reality-Virtuality Continuum에 의해서다. 학술적 정의는 1997년 로널드 아즈마(Ronald Azuma) 등이 (1)가상과 현실의 융합(Combines the real and the virtual) (2)실시간 상호작용(Interactive in real-time) (3)3차원 결합(Register in 3D) 등으로 정의하였다. 현실공간을 직접 미디어로 활용하는 증강현실은 가상세계 구성을 위한 3차원 모델링의 부담을 줄인 반면, 사용자의 이동과 주변 환경 변화에 대응하여 실시간 정보나 콘텐츠를 적응적으로 제공해야 하므로 새로운 기술적인 어려움을 해결해야 한다.

 202-06-1.JPG

모바일 증강현실과 착용형 증강현실

 초기 데스크 탑 컴퓨터를 중심으로 이루어진 증강현실은 2000년 이후 PDA, UMPC, 모바일 폰 등의 보급으로 모바일 증강현실의 플랫폼이 다양화되기 시작하였다. 특히, 스마트폰의 보급이 본격화된 2009년 이후 GPS, 나침반, 가속도계 등 다양한 내장 센서와 멀티 코어 중앙처리장치(Multi-core CPU)를 내장한 플랫폼이 등장하여 모바일 증강현실의 가능성을 선보이고 있다. 최근에는 사물인터넷(Internet of Things)의 발전과 컴퓨터 비전 그리고 인공 지능 등 핵심 소프트웨어 기술의 진보로 다양한 활용 가능성에 대한 기대를 높여가고 있다.

증강현실의 플랫폼은 데스크 탑 컴퓨터에서 출발하여 스마트폰으로 진화하고 있다. 스마트폰이 증강현실 플랫폼으로 주목 받는 이유는 카메라 외에도 소형화와 경량화 된 GPS 센서, 지자기 센서, 가속도 센서, 터치 센서, 근접 센서, 조도 센서, WiFi, RFID 등 다양한 센서들을 내장하고 있기 때문이다. 현재 모바일 증강현실은 위치기반 검색 기술과 결합하는 형태로 진행되고 있다. 길거리에서 스마트폰 카메라를 들이대면 GPS, 나침반, 영상 등의 활용 가능한 정보를 통합적으로 해석하여 쿼리를 구성한다. 서버로 전달된 쿼리에 따라 서버는 사용자의 요청이나 맥락에 맞는 관련 정보나 콘텐츠를 해당 DB에서 찾아서 재구성하여 스마트폰으로 되돌려 준다. 서버로부터 전달 받은 정보는 영상에 덧붙여 사용자가 직관적으로 이해할 수 있는 형태로 제시된다. 특히, 3차원 콘텐츠의 경우는 컴퓨터 비전 기술을 활용하여 3차원 영상좌표계와 CG좌표계를 일치 시킬 수 있으므로 혼합영상의 형태로 재현한다.

최근 증강현실의 플랫폼은 착용형으로 계속 진화하고 있다. 정보를 보기 위해 손에 스마트폰을 들고 있어야 하는 단점을 극복한 방식이 착용형 또는 안경형 증강현실이다. 착용형 플랫폼의 대표적인 사례인 구글 글래스는 아직은 단순한 정보 증강의 용도로 사용하고 있다. 하지만, 초고속 네트워킹과 VUZIX나 EPSON 등의 안경형 디스플레이와 결합하면 실시간 영상처리 및 해석, 눈동자 추적, 실감 3차원 CG 렌더링 등을 통해 오감 정보 증강과 체험이 가능한 안경기반 지능형 증강현실도 곧 실현 가능하게 될 것이다.

증강현실에서 증강휴먼으로

 증강현실의 미래는 증강휴먼(Augmented Human)이다. 증강휴먼이란 증강현실에서 지적 또는 육체적 능력이 강화되거나 확장된 인간을 말한다. 증강현실이 현실과 가상을 결합하여 현실의 확장을 목표로 한다면, 증강휴먼은 현실과 가상이 결합된 공간에서 사람의 육체적 또는 지적 능력의 확장을 목표로 한다. 가상세계는 컴퓨터로 모델링된 3차원 세계이므로 적절한 사용자 인터페이스가 제공되면 모든 객체는 제어와 조작이 가능하다. 현실세계에 결합된 가상세계도 동일한 방법으로 조작할 수 있다. 다만, 가상현실 인터페이스는 제한된 이동성만을 고려했으므로 이동성의 확장을 고려한 새로운 인터페이스가 제공된다면 가상 모델이 덧 입혀진 현실 객체에도 제어와 조작이 가능하게 된다.

진정한 증강휴먼의 실현을 위해서는 환경이나 사용자의 맥락정보 활용이 중요하다. 예를 들면, 사용자가 왜, 언제, 어디에서, 누구와 무엇을 어떻게 하고자 하는지를 안다면 훨씬 더 효율적으로 필요한 정보나 콘텐츠를 즉시(Just-in-time)에 제공하여 지적 능력을 확장할 수 있다. 특히, 스마트폰과 지능적 사물인터넷(Internet of Things That Think)과 연동하면 변화하는 환경이나 상황에 따른 적응적 데이터를 실시간으로 제공 받을 수 있고, 사회 관계망 서비스(Social Network Services)의 친구 관계 정보와 연동하면 신뢰성 있는 정보를 선택적으로 제공 받을 수도 있다. 그뿐만 아니라, 스마트폰에 축적된 사용자의 정량적 총체적 자아(Quantified Holistic Self)와 연동하면 사용자의 직접적인 요구 외에도 암묵적인 요구나 필요에 따라 관련 정보를 끌어올 수 있다. 또한, 관심 객체나 장소의 인식을 넘어 사람의 얼굴, 표정, 감정 등을 인식하고 추적한다면 대인 관계 등 사회적 능력을 확대할 수도 있다.

‘증강휴먼’의 실현을 위해서는 ‘사용자 중심(Human-centered)의 눈치 있는 증강현실(Context-aware AR)’이 필요하다. 눈치 있는 증강현실의 요소 기술은 (i)모바일 단말의 단점을 극복할 수 있는 안경형(또는 착용형) 디스플레이, (ii)현실세계에 가상의 세계를 중첩하기 위한 실시간 사용자 위치 추적, (iii)관심 객체 인식 및 카메라 자세 추적, (iv)환경 및 사용자 맥락인지, (v)3차원 실감 증강 및 지능적 상호작용 등이다. 증강현실을 넘어 지능이 있는 사물인터넷과 연동되는 눈치 있는 증강현실이 일상생활 속으로 확산되기 위해서는 다양한 요소 기술의 통합적인 활용이 필요하다.

 

 

202-06-2.JPG

증강휴먼 핵심기술

 실시간 사용자 위치와 관심 객체 인식이 증강현실의 첫 단계이다. 사용자 위치 추적을 위해서 실외에서는 자세 센서나 GPS, 나침반 등의 정보를 통해 위치를 확인하고 영상처리 및 해석 기술의 결합을 통해 오차를 보정한다. 실내에서는 GPS 정보를 직접 활용하기 어려우므로 유사 GPS와 영상 처리 및 해석 기술을 활용하여 사용자의 위치를 추정한다. 관심 객체의 인식을 위해서는 관심 객체 단위로 특징(Features)을 학습하고 데이터베이스에서 관리해야 한다. 스마트폰의 카메라가 새로운 장면을 향하면 영상으로부터 특징을 추출하고 데이터베이스에 있는 객체 단위 특징과 비교하여 관심 객체를 인식한다.

3차원 공간에서 GPS나 가속도 센서를 이용하여 사용자의 위치나 이동 여부를 파악할 수 있고, 카메라 자세 추적을 통해 현실세계에 가상세계를 덧붙일 수 있다. 현실에 가상을 결합하기 위해 (1)관심 객체의 인식과 추적을 통해 현실세계의 기준좌표와 가상세계의 기준좌표를 대응시키기, (2)카메라 또는 센서 정보를 활용하여 카메라의 위치 추정하기, (3)카메라의 특성을 가상 카메라와 일치시키기 등의 순서로 진행한다. 추가적으로 관성(Inertial), 자기(Magnetic), 음향(Acoustic), 광학(Optical) 등 다양한 센서의 통합적 활용을 통해 정확도를 높임과 동시에 떨림(Jitter)이나 끌림(Drift) 현상을 해결할 수 있다.

사용자 관심의 이동을 파악하기 위해서는 스마트폰의 위치, 포인팅 방향, 카메라 시야각(Field of View), 검색 범위(카메라로부터의 거리) 등의 정보가 필요하다. 위치는 GPS, 포인팅 방향은 나침반, 검색 영역은 카메라 시야각과 검색범위로 결정하여 데이터베이스에서 검색 범위를 특정지역이나 주제로 제한하여 검색 속도와 정확성을 높일 수 있다. 환경의 상황, 사용자의 명시적 요구나 묵시적 필요 등 맥락정보를 인지하고 활용한다면 더욱 더 정교한 정보 검색이 가능하게 된다. 일반적으로 상태나 상황은 내장된 센서나 환경의 센서 정보를 통합적으로 해석하여 5W1H(Who, When, Where, What, Why, How)를 사용하여 표현할 수 있다.

3차원 실감증강을 위해서는 카메라 움직임, 현실공간의 조명, 그림자 등을 종합적으로 고려하여 증강하여야 한다. 3차원 CG의 경우는 현실 세계에서 빛의 변화를 가상 객체나 현실 환경에 실시간으로 반영해야 한다. 특히, 빛의 변화가 큰 야외에서는 실시간 광원 추적과 날씨 변화 감지를 통해 음영과 그림자를 실시간에 렌더링해야 한다. 현실 속에 3차원 CG를 결합하기 위해서는 가림(Occlusion) 현상을 고려한 가상 객체 그리고 이에 따른 음영과 그림자 렌더링이 필요하다. 또한, 카메라나 관심 객체의 움직임을 반영한 가상 객체 렌더링도 필요하지만, 카메라 렌즈의 떨림이나 손 떨림 보정의 구분이 필요하다.

현실세계의 장소나 객체를 매개로 제시된 정보나 콘텐츠는 새로운 형태의 상호작용을 요구한다. 이동하면서 사용하기에 기존의 키보드나 마우스는 많은 제약이 따른다. 대신 스마트폰에 내장된 센서를 사용하거나 음성을 활용할 수 있다. 예를 들면, 스마트폰의 카메라가 바라보는 방향에 맞추어 증강 캐릭터의 고개를 돌리거나, 움직임 패턴을 상호작용에 활용할 수 있다. 안경형 증강현실은 그 외에도 ‘마이너리티 리포트’의 톰 크루즈나 ‘아이언맨’의 토니 스타크처럼 맨손을 이용하는 새로운 상호작용 방식 또한 가능하게 된다.

202-06-3.JPG

증강휴먼 응용 및 전망

 증강현실이나 증강휴먼은 이미 교육과 훈련, 게임과 놀이, 의료, 전시, 관광, 광고, 제조 등에서 다양한 응용 가능성을 보여 주고 있다. 사진이나 책, 미술관이나 박물관, 전시관, 관광지 등은 증강현실 응용에서 자주 등장하는 대상이다. 카메라나 센서를 통해 사진, 책, 그림, 조각 등을 인식하고 추적한 뒤, 가상과 현실의 좌표를 정합하고 일차적 정보 외에도 관련된 콘텐츠를 메쉬업(Mash-up)하여 증강한다. 이때 사용자의 지식, 경험, 관심 등을 반영하여 정보와 콘텐츠의 재구성함으로서 사용자의 지적 능력을 확장할 수 있다. 증강현실을 이용한 유물, 유적복원이나 관광 안내 등은 유적지에 가상의 객체나 건물을 증강하여 실감형 타임머신 체험을 통해 육체적 능력 확장도 가능하게 한다.

또한, 환경재해나 방재 등에도 활용 가능하다. 대기 오염이나 방사능 오염의 농도, 지진이나 수해의 피해 등을 현실 세계에 증강하여 관련자들이 최적의 판단을 할 수 있도록 지원하고, 동시에 결정된 내용을 일반 사용자들이 직관적으로 이해할 수 있도록 제공할 수 있다. 지진이나 화재의 경우, 가상의 화염이나 연기, 사람들의 피난 행동 등 예측 시뮬레이션 결과를 현실세계에서 증강하여 소방관의 활동이나 일반인 피난유도 훈련에 활용할 수 있다. 태풍이나 홍수 등의 풍수해의 경우, 침수, 단전, 정전 등을 예측하여 피난을 유도할 수 있다. 그 외에도, 신종 인플루엔자 등의 전염병 등의 재난 상황에서 확산 경로 예측 등을 현실세계에 직접 재현할 수도 있고, 대응책을 직접 제시하거나 대피 유도에 유용하게 활용할 수도 있다. 또한 실제로 재난이 발생한 경우, 현지의 센싱 정보와 함께 SNS 정보를 통합적으로 활용하여 사용자의 대응능력을 확장할 수 있다.

국내외에서 증강현실의 미래 활용에 대한 논의가 진행 중이다. 특히, 국내에서는 KAIST UVR(Ubiquitous Virtual Reality)연구실이 2001년 유비쿼터스 컴퓨팅(Ubiquitous Computing)이 실현된 미래 환경에서의 가상현실(Virtual Reality) 연구를 진행하여 ‘눈치 있는 증강현실‘ 연구를 선도하고 있다. 2010년에는 KIST를 중심으로 ‘실감교류 인체감응 솔루션 연구단(CHIC: Center for Human-centered Interaction for Co-existence, 단장 유범재 박사)’이 출범 하였다. 연구단은 현실-가상-원격공간이 구분 없이 일체화된 인체감응 실감교류 확장 공간 실현을 위한 연구를 진행하고 있다. 인간-가상객체-인공물 등이 공존하고 시공간 한계가 사라지는 세상에서 증강현실은 현실공간의 관심장소나 관심객체를 중심으로 한 지능형 정보 검색/제시를 넘어 공간과 감각의 융합을 통한 공존현실(Coexistence Reality)로 확장될 것이다. 즉, 물리적으로 멀리 떨어져있는 가족, 친구, 동료 등을 내 눈 앞으로 직접 불러와 보다 실감나고 현장감 넘치는 놀이, 교육, 회의 등을 가능하게 할 것이다.

본고에서는 증강현실의 정의 및 연구현황, 발전 방향으로서의 증강휴먼, 이를 위한 핵심 기술을 소개하였고, 미래 전망으로 마무리 하고자 한다. 또한, 사용자들의 지속적 참여와 공유를 통해 눈에 보이지 않는 인간의 지식이나 경험 정보까지 활용하는 증강휴먼을 통해 사용자의 지적, 육체적 능력을 확장하게 된다면 공간을 넘어 다른 시대를 경험하고 공유할 수 있는 타임머신형 증강현실을 경험할 날도 머지않아 올 것이다.

우운택 | 한국과학기술원(KAIST) 문화기술대학원 교수

 

* 그림 설명 및 출처

– 그림1: 증강휴먼 플랫폼 개념도(저자 출처)
– 그림2: 맥락과 증강휴먼 흐름도(저자 출처)
– 그림3: KAIST UVR 연구실(저자 출처)

작성자: khugnews

이글 공유

댓글 남기기

이메일은 공개되지 않습니다. 필수 입력창은 * 로 표시되어 있습니다