손동작과 눈 깜빡임을 이용한 소방 로봇 비전 기반 멀티모달 원격 조작 인터페이스

로봇 원격 조작은 소방 및 재난 대응과 같은 위험 환경에서 널리 사용되지만, 기존 핸드헬드 컨트롤러는 고위험 상황에서 조작이 어려울 수 있습니다. 비전 기반 인터페이스는 자연스러운 대안을 제공하지만, 제스처만으로는 연속적인 모션 제어와 이산 명령 트리거를 동시에 지원하기 어렵습니다.

손동작과 눈 깜빡임을 사용하는 비전 기반 멀티모달 원격 조작 인터페이스를 제안합니다. 왼손 손가락 관절 각도와 손바닥 방향으로 스로틀 명령을 생성하고, 오른손 방향으로 조향 명령을 생성하며, 깜빡임 패턴으로 보조 명령을 트리거합니다. 생성된 신호는 UDP를 통해 Unity 기반 소방 로봇 시뮬레이터로 전송됩니다.

시스템은 인식, 명령 생성, 로봇 제어 모듈로 구성됩니다. 단안 웹캠이 사용자의 손동작과 표정을 캡처하고, MediaPipe가 손·얼굴 랜드마크를 실시간으로 추출합니다. 손가락 관절 각도, 손바닥 방향, EAR(눈 종횡비)로 스로틀, 조향, 깜빡임 트리거 보조 명령을 생성합니다.

손동작 인식은 MediaPipe Hands의 21개 랜드마크 좌표를 사용했습니다. 왼손은 손가락 개방도와 손 기울기로 스로틀을, 오른손은 손바닥 가장자리 방향과 법선 벡터로 조향을 제어했습니다. 이 기하학적 특징 기반 제어로 직관적이고 부드러운 차량 조작이 가능했습니다.

눈 깜빡임 이벤트는 MediaPipe 얼굴 랜드마크의 EAR로 감지했습니다. 짧은 이중 깜빡임은 물 분사를 토글하고, 긴 깜빡임은 스로틀과 조향을 0으로 만드는 비상 정지를 트리거합니다. 연속 두 번의 짧은 깜빡임은 비상 잠금을 해제하고 정상 제어를 복원합니다.

실험 검증 결과, 지연 없이 안정적인 차량 이동과 물 분사가 가능했습니다. 사용자는 물리적 컨트롤러 없이도 직관적으로 차량을 조작할 수 있었으며, 단안 웹캠만으로 비접촉 멀티모달 로봇 상호작용의 가능성을 보였습니다.