컴퓨터 앞에서는 행동을 조심하라. 시험단계에 있는 행위인식 컴퓨터는 손가락으로 가리키거나 조용히 응시하는 단순한 행동에서부터 지휘봉의 섬세한 움직임까지 정확히 인식해낸다. 이 컴퓨터는 작은 카메라와 빠른 정보처리 프로세서, 인식된 행위에 재빨리 반응하는 소프트웨어로 구성되어 있다. 루슨트 테크놀로지 벨연구소의 연구원이며 10여년 간 행위인식컴퓨터를 연구해온 자쿱 세간박사는 원거리회의를 보다 정확하게 뒷받침할 컴퓨터 연구에 한창이다. 참여자는 자신의 행동을 그대로 보여주는 캐릭터로 가상회의를 진행해간다. 이 원거리회의에서 컴퓨터는 카메라를 통해 참여자의 행동을 인식하고 이중 중요한 것으로 판단되는 행위를 걸러내, 만화캐릭터가 그대로 재연해 보이도록 한다. 세간박사는 이 행위인식컴퓨터를 이용, 디지털 오케스트라 공연을 성공적으로 끝내기도 했다. 카메라가 지휘봉을 쥐고 있는 손동작을 인식, 소프트웨어가 그 행동의 명령대로 디지털 샘플 악기의 템포를 만들어가도록 설정한 것이다. 이 지휘작업에 참여했던 프레데릭 비안치 박사는 세간의 오케스트라 시스템을 이용, 아예 버추얼 오케스트라(the Virtual Orchestra)라는 오케스트라 시물레이션 그룹을 만들었다. "몇년안에 이 시스템을 이용해 브로드웨이 공연도 할 수 있다"고 말할 정도로 이 오케스트라의 연주는 훌륭하다. 비안치의 버 오케스트라가 지휘자의 한 손만을 인식하는 것과 달리, 두손의 움직임을 모두 인식해 '점점 세게', '점점 여리게' 혹은 연주시작을 알리는 신호까지 보내는 컴퓨터도 있다. 행위인식컴퓨터는 육군과 NASA(미항공우주국)의 시스템에도 적용되고 있다. 육군에서는 행위인식컴퓨터를 통해 병사들에게 '손으로 보내는 비밀암호'를 효과적으로 습득시키고 있다. 적이 인식하지 못할 정도로 비밀스러운 손짓이면서도 아군은 알아볼 수 있을 이 손짓암호의 정확성을 측정하는 데는 행위인식컴퓨터가 최적이다. 손짓암호가 제대로 되지 않았을 경우 컴퓨터는 바로 에러신호를 보낸다. 사이버넷 시스템스의 찰스코헨박사는 나사에서 사용할 행위인식스크린 개발에 한창이다. 기존에 손으로 터치를 함으로써 입력가능하던 신호를 손짓만으로 해결하도록 하기 위해서다. 우주정거장을 회전시키려면 이제 과학자는 이 스크린 앞에서 손으로 동그란 원을 그리기만 하면 된다. 세간박사는 "의사소통에 있어서 '시각'적인 것만큼 정확한 것은 없다"며 "초기 단계에는 손짓 그리고 결국에는 인간의 모든 표정과 섬세한 제스처의 의미까지 파악하고 반응하는 컴퓨터가 등장하게 될 것"이라고 말했다.