사용자 손 제스처 인식 기반 키오스크 제어 시스템 설계 🖐

🔗 깃허브 레포지토리 링크

https://github.com/jiholee0/2022-IDPCD

GitHub - jiholee0/2022-IDPCD: 2022년 2학기 개별연구(Independant Capstone Design)

2022년 2학기 개별연구(Independant Capstone Design). Contribute to jiholee0/2022-IDPCD development by creating an account on GitHub.

github.com

💡 프로젝트 개요

정전식 터치패드로 동작하는 기존의 키오스크는 시력 저하와 같은 신체적 노화, 기계에 대한 부정적 인식 등으로 인해 노인에게 불편함을 초래한다. 따라서 손 제스처로 키오스크를 제어함으로써 노인이나 시각장애인을 포함한 모든 사용자가 키오스크를 부담 없이 이용할 수 있는 시스템을 설계하고자 하였다. 키오스크마다 주문 시 필요한 동작이 천차만별이므로, 노인에게 적합한 키오스크 모니터 화면을 가상으로 구성하고, 각 동작을 제스처와 매칭하였다. 키오스크 제어의 경우 소켓 통신과 openCV 이미지 출력 함수를 이용하여 인식한 제스처에 따라 이미지(키오스크 화면)가 출력되는 환경을 가상으로 구성하였다.

💡 사용 기술

Python, MediaPipe, OpenCV, K-NN 알고리즘

💡 참고 오픈소스

https://github.com/kairess/Rock-Paper-Scissors-Machine

GitHub - kairess/Rock-Paper-Scissors-Machine: Rock Paper Scissors Machine using MediaPipe Hands model and KNN.

Rock Paper Scissors Machine using MediaPipe Hands model and KNN. - GitHub - kairess/Rock-Paper-Scissors-Machine: Rock Paper Scissors Machine using MediaPipe Hands model and KNN.

github.com

💡 구현

1. 데이터 수집 단계

import cv2
import mediapipe as mp
import numpy as np

max_num_hands = 1
gesture = {
    0:'zero', 1:'one', 2:'two', 3:'five', 4:'ok', 5:'good'
}

# MediaPipe hands model
mp_hands = mp.solutions.hands
mp_drawing = mp.solutions.drawing_utils
hands = mp_hands.Hands(
    max_num_hands=max_num_hands,
    min_detection_confidence=0.5,
    min_tracking_confidence=0.5)

# Gesture recognition data
file = np.genfromtxt('C:/Users/LJH/Desktop/2022-IDPCD/project/data/my_gesture_train.csv', delimiter=',')
print(file.shape)

cap = cv2.VideoCapture(0, cv2.CAP_DSHOW)

def click(event, x, y, flags, param):
    global data, file
    if event == cv2.EVENT_LBUTTONDOWN:
        file = np.vstack((file, data))
        print(file.shape)

cv2.namedWindow('Dataset')
cv2.setMouseCallback('Dataset', click)

while cap.isOpened():
    ret, img = cap.read()
    if not ret:
        continue

    img = cv2.flip(img, 1)
    img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)

    result = hands.process(img)

    img = cv2.cvtColor(img, cv2.COLOR_RGB2BGR)

    if result.multi_hand_landmarks is not None:
        for res in result.multi_hand_landmarks:
            joint = np.zeros((21, 3))
            for j, lm in enumerate(res.landmark):
                joint[j] = [lm.x, lm.y, lm.z]

            # Compute angles between joints
            v1 = joint[[0,1,2,3,0,5,6,7,0,9,10,11,0,13,14,15,0,17,18,19],:] # Parent joint
            v2 = joint[[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20],:] # Child joint
            v = v2 - v1 # [20,3]
            # Normalize v
            v = v / np.linalg.norm(v, axis=1)[:, np.newaxis]

            # Get angle using arcos of dot product
            angle = np.arccos(np.einsum('nt,nt->n',
                v[[0,1,2,4,5,6,8,9,10,12,13,14,16,17,18],:],
                v[[1,2,3,5,6,7,9,10,11,13,14,15,17,18,19],:])) # [15,]

            angle = np.degrees(angle) # Convert radian to degree

            data = np.array([angle], dtype=np.float32)

            data = np.append(data, 5) # 수집할 제스처의 INDEX

            mp_drawing.draw_landmarks(img, res, mp_hands.HAND_CONNECTIONS)

    resize = cv2.resize(img, (200, 150), interpolation=cv2.INTER_CUBIC)
    cv2.imshow('Dataset', resize)
    if cv2.waitKey(1) == ord('q'):
        break

np.savetxt('C:/Users/LJH/Desktop/2022-IDPCD/project/data/my_gesture_train.csv', file, delimiter=',')

2. 제스처 인식 단계

import cv2 # 웹캠 제어 및 ML 사용
import mediapipe as mp # 손 인식을 할 것
import numpy as np
import time
from scipy import stats

def recog_gesture() -> str :
    result_list = []
    # 제스처 인식
    max_num_hands = 1 # 손은 최대 1개만 인식
    kiosk_gesture = {
        0:'zero', 1:'one', 2:'two', 3:'five', 4:'ok', 5:'good'
    }

    # MediaPipe hands model
    mp_hands = mp.solutions.hands # 웹캠 영상에서 손가락 마디와 포인트를 그릴 수 있게 도와주는 유틸리티1
    mp_drawing = mp.solutions.drawing_utils # 웹캠 영상에서 손가락 마디와 포인트를 그릴 수 있게 도와주는 유틸리티2

    # 손가락 detection 모듈을 초기화
    hands = mp_hands.Hands(
        max_num_hands=max_num_hands, # 최대 몇 개의 손을 인식?
        min_detection_confidence=0.5, # 0.5로 해두는 게 좋다!
        min_tracking_confidence=0.5)

    # 제스처 인식 모델
    file = np.genfromtxt('C:/Users/LJH/Desktop/2022-IDPCD/project/data/my_gesture_train.csv', delimiter=',') # 각 제스처들의 라벨과 각도가 저장되어 있음, 정확도를 높이고 싶으면 데이터를 추가해보자!**
    angle = file[:,:-1].astype(np.float32) # 각도
    label = file[:, -1].astype(np.float32) # 라벨
    knn = cv2.ml.KNearest_create() # knn(k-최근접 알고리즘)으로
    knn.train(angle, cv2.ml.ROW_SAMPLE, label) # 학습!

    cap = cv2.VideoCapture(1, cv2.CAP_DSHOW)

    if cap.isOpened():
        number = 0
        # target_tick = time.time() + 2

        # while time.time() < target_tick :
        while True :
            if number > 50 : break

            ret, img = cap.read()
            if not ret:
                continue
            img = cv2.flip(img, 1)
            img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)

            result = hands.process(img)
            img = cv2.cvtColor(img, cv2.COLOR_RGB2BGR)

            # 각도를 인식하고 제스처를 인식하는 부분
            if result.multi_hand_landmarks is not None: # 만약 손을 인식하면
                number += 1
                for res in result.multi_hand_landmarks:
                    joint = np.zeros((21, 3)) # joint == 랜드마크에서 빨간 점, joint는 21개가 있고 x,y,z 좌표니까 21,3
                    for j, lm in enumerate(res.landmark):
                        joint[j] = [lm.x, lm.y, lm.z] # 각 joint마다 x,y,z 좌표 저장

                    # Compute angles between joints joint마다 각도 계산
                    # **공식문서 들어가보면 각 joint 번호의 인덱스가 나옴**
                    v1 = joint[[0,1,2,3,0,5,6,7,0,9,10,11,0,13,14,15,0,17,18,19],:] # Parent joint
                    v2 = joint[[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20],:] # Child joint
                    v = v2 - v1 # [20,3]관절벡터
                    # Normalize v
                    v = v / np.linalg.norm(v, axis=1)[:, np.newaxis] # 벡터 정규화(크기 1 벡터) = v / 벡터의 크기

                    # Get angle using arcos of dot product **내적 후 arcos으로 각도를 구해줌**
                    angle = np.arccos(np.einsum('nt,nt->n',
                        v[[0,1,2,4,5,6,8,9,10,12,13,14,16,17,18],:],
                        v[[1,2,3,5,6,7,9,10,11,13,14,15,17,18,19],:])) # [15,]

                    angle = np.degrees(angle) # Convert radian to degree

                    # Inference gesture 학습시킨 제스처 모델에 참조를 한다.
                    data = np.array([angle], dtype=np.float32)
                    ret, results, neighbours, dist = knn.findNearest(data, 3) # k가 3일 때 값을 구한다!
                    idx = int(results[0][0]) # 인덱스를 저장!

                    # Draw gesture result
                    if idx in kiosk_gesture.keys():
                        cv2.putText(img, text=kiosk_gesture[idx].upper(), org=(int(res.landmark[0].x * img.shape[1]), int(res.landmark[0].y * img.shape[0] + 20)), fontFace=cv2.FONT_HERSHEY_SIMPLEX, fontScale=1, color=(255, 255, 255), thickness=2)
                        rst = kiosk_gesture[idx].upper()
                        result_list.append(rst)

                    # Other gestures 모든 제스처를 표시한다면
                    # cv2.putText(img, text=gesture[idx].upper(), org=(int(res.landmark[0].x * img.shape[1]), int(res.landmark[0].y * img.shape[0] + 20)), fontFace=cv2.FONT_HERSHEY_SIMPLEX, fontScale=1, color=(255, 255, 255), thickness=2)

                    mp_drawing.draw_landmarks(img, res, mp_hands.HAND_CONNECTIONS) # 손에 랜드마크를 그려줌

            resize = cv2.resize(img, (200, 150), interpolation=cv2.INTER_CUBIC)
            cv2.imshow('gesture', resize)
            if cv2.waitKey(1) == ord('q'):
                break
    # print('--------------\n total number : ', number)
    # print('result list : ', result_list, '\n')
    mode = stats.mode(result_list)[0]
    if len(mode) == 0 : return 'fail'
    else : return mode[0]

# print(recog_gesture())

3. 소켓 통신 단계

- 서버

# server
# 역할 : client로부터 제스처 인식 결과를 받아 키오스크 화면을 제어한 후 결과를 전송한다.

import socket, threading
from flask import render_template
import json, datetime, cv2

orders = []
pickUpYn = False
cashYn = False
def ctrlKiosk(recvData) -> json :
    global orders
    global pickUpYn
    global cashYn
    global openImage
    curPageNum = int(recvData.get('curPageNum'))
    nextPageNum = curPageNum + 1
    result = recvData.get('result')
    src = ""

    if curPageNum == 0 : # 초기 화면 띄우기
        if result == 'SERVER' :
            src = "C:/Users/LJH/Desktop/2022-IDPCD/project/kiosk/image/001.png"
    elif curPageNum == 1 : # 초기 화면
        if result == 'OK' : # 다음 화면으로
            src = "C:/Users/LJH/Desktop/2022-IDPCD/project/kiosk/image/002.png"
    elif curPageNum == 2 : # 주문 메뉴의 종류 선택
        if result == 'ZERO' :
            src = "C:/Users/LJH/Desktop/2022-IDPCD/project/kiosk/image/003.png"
    elif curPageNum == 3 :
        if result == 'ZERO' :
            order = {
                'menu': '치즈버거',
                'count' : 1,
                'price' : 3900
            }
            orders.append(order)
            src = "C:/Users/LJH/Desktop/2022-IDPCD/project/kiosk/image/004.png"
    elif curPageNum == 4 :
        if result == 'OK' :
            order = {
                'menu': '콜라, 감자튀김',
                'count' : 1,
                'price' : 2000
            }
            orders.append(order)
            src = "C:/Users/LJH/Desktop/2022-IDPCD/project/kiosk/image/005.png"
        elif result == 'FIVE' :
            src = "C:/Users/LJH/Desktop/2022-IDPCD/project/kiosk/image/005.png"
    elif curPageNum == 5 :
        if result == 'OK' :
            src = "C:/Users/LJH/Desktop/2022-IDPCD/project/kiosk/image/002.png"
            nextPageNum = 2
        elif result == 'FIVE' :
            src = "C:/Users/LJH/Desktop/2022-IDPCD/project/kiosk/image/006.png"
    elif curPageNum == 6 :
        if result == 'ONE' :
            src = "C:/Users/LJH/Desktop/2022-IDPCD/project/kiosk/image/007.png"
        elif result == 'TWO' :
            pickUpYn = True
            src = "C:/Users/LJH/Desktop/2022-IDPCD/project/kiosk/image/007.png"
    elif curPageNum == 7 :
        if result == 'ONE' :
            src = "C:/Users/LJH/Desktop/2022-IDPCD/project/kiosk/image/008.png"
        elif result == 'TWO' :
            cashYn = True
            src = "C:/Users/LJH/Desktop/2022-IDPCD/project/kiosk/image/008.png"
    elif curPageNum == 8 :
        if result == 'OK' :
            print('주문 내역 :',orders)
            recvData.update(isComplete=True)

    image = cv2.imread(src, cv2.IMREAD_UNCHANGED)
    if image is None :
        print('Image load failed...Please gesture one more time.')
        recvData.update(result='FAIL')
    else :
        cv2.destroyAllWindows
        openImage = cv2.resize(image, dsize=(300,420), interpolation=cv2.INTER_AREA)
        recvData.update(curPageNum=int(nextPageNum))
        cv2.imshow("kiosk", openImage)
        cv2.waitKey(1)
    return recvData

def binder(client_socket, addr):
    # 커넥션이 되면 접속 주소가 나온다.
    print('Connected by', addr)
    try:
        initData = {
            'isComplete' : False,
            'curPageNum' : 0,
            'result' : 'SERVER'
        }
        ctrlKiosk(initData)
        while True :

            # 클라이언트에게 데이터 받음
            data = client_socket.recv(1024)
            recvData = json.loads(data)
            print('recvData : ',recvData, datetime.datetime.now())

            # 키오스크 화면 제어
            servData = ctrlKiosk(recvData)

            # 클라이언트에게 데이터 전송
            sendData = json.dumps(servData)
            client_socket.send(bytes(sendData, 'utf-8'))

    except:
    # 접속 해제시 except
        print("except : " , addr)
    finally:
    # 종료
        client_socket.close()


# 소켓 생성
server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)

server_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)

# 10000번 포트 사용
server_socket.bind(('127.0.0.1',10000))

server_socket.listen(1)

try:
    # 클라이언트가 접속하기 전까지 서버는 실행되야하기 때문에 무한 루프 사용
    while True:
        client_socket, addr = server_socket.accept()
    # 쓰레드 사용해서 대기
        th = threading.Thread(target=binder, args = (client_socket,addr))
        th.start()
except:
    print("server")
finally:
    # 종료
    server_socket.close()

- 클라이언트

# client
# 역할 : server로부터 페이지 번호와 전환 여부를 받아 올바른 제스처를 인식한 후 결과를 전송한다.

import socket, datetime, json

import sys
sys.path.append("/recog_gesture")
import recog_gesture as recog_gesture

HOST = '127.0.0.1' # local 호스트 사용
PORT = 10000 # 10000번 포트 사용
# 소켓 생성
client_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
# 접속
client_socket.connect((HOST, PORT))

cliData = {
    'isComplete' : False,
    'curPageNum' : 1,
    'result' : ''
}
while cliData.get('isComplete') == False :
    # 제스처 인식 결과 가져오기
    result = recog_gesture.recog_gesture()

    # 데이터 서버에 전송
    cliData.update(result=result)
    sendData = json.dumps(cliData)
    client_socket.send(bytes(sendData, 'utf-8'))

    # 서버에게 데이터 받음
    data = client_socket.recv(1024)
    print(data)
    recvData = json.loads(data)
    print('recvData : ',recvData, datetime.datetime.now())
    cliData.update( isComplete=bool(recvData.get('isComplete')), curPageNum=int(recvData.get('curPageNum')))


client_socket.close()

저작자표시 비영리 동일조건 (새창열림)