휴먼 인 더 루프(Human In The Loop, HITL)의 의미와 뜻에 대하여

안녕하세용,,, 끄적이잉입니당,,ㅎㅎ

​

AI 발전 과정 속에서 마주하게 되는,,

휴먼 인 더 루프(Human In The Loop, HITL)에 대해 알아보려고 하는데용,,

 

Open AI에서 처음 Chat GPT를 출시했을 때 전세계는 충격에 빠졌었는데용,,

그 이후로 AI 발전이 여러 경쟁 속에서 진행되고 있으나,,

AI 버블이라는 이야기도 있고,, 성장이 정체되었다는 이야기도 있어서 앞으로 어떻게 될지는 계속 주시하는게 좋을 것 같은데용,,

 

최근 발표된 ChatGPT5의 성능과 기술 발전이 생각보다 더뎌서,,

많은 사람들의 AI 성장 속도에 대한 우려도 나오고 있는데용,,

​

일단 거두절미 하고 오늘은 휴먼 인 더 루프(Human In The Loop, HITL)에 대해 알아보도록 하겠습니당,,ㅎㅎ

​

​

#. 휴먼 인 더 루프(Human In The Loop, HITL)가 뭔데??

출처 : humanloop

휴먼 인 더 루프(Human In The Loop, HITL)는 인간의 지능과 인공지능을 모두 활용하여 머신러닝 모델을 생성하고 개선하는 인공지능의 한 분야라고 볼 수 있는데요,,

간단히 말해서 AI 시스템의 개발과 운영 과정에서 인간이 적극적으로 참여하여 피드백을 제공하고, 이를 통해 AI의 성능을 지속적으로 향상시키는 방법론 중 하나입니다,,

​

인터넷에 검색해도 다양한 방향과 설명을 알 수 있는데,,

결론적으로 하나만 이야기하자면 AI의 발전 과정 속에서 인간의 참여로 정확도와 신뢰성을 조금 더 높일 수 있는 방법이라고 생각해도 될 것 같습니다,,

​

아직 기계 학습 및 딥러닝으로 인해 도출된 결과를 Hallucination과 같은 오류로 인해 신뢰할 수 없거나,,

인간 세상의 다양하게 학습되지 않은 경우 아직은 인간의 판단에 의존해서 해결하는 방식이기도 합니다,,

빠르게 원하는 정보를 찾아주는 경우도 많지만,,

아직까지 없는 정보를 지어내는 경우도 많고,,

세세한 부분에서 거짓된 정보를 가져오면서 추가적인 검증 과정을 거쳐야하는 Loss가 존재하는데요,,

출처 : Shaip

 

이런 상황 속에서 휴먼 인 더 루프(Human In The Loop, HITL)는 AI의 추정 결론에 대해 인간의 판단으로 결정되는 방식을 말합니다,,

(AI는 조언 정도를 하고 사람이 조언들을 종합해서 최종 결정을 하는 방식)

​

기존의 완전 자동화된 AI 시스템과 달리 Human-In-The-Loop는 인간의 전문지식과 직관적 판단력을 AI의 데이터 처리능력과 결합하여 최적의 결과를 도출할 수 있다는 장점이 있습니다,,

AI가 스스로 완벽한 결과를 도출하기 어려운 현재의 기술 수준에서 매우 중요한 접근법이라고 할 수 있습니다,,

​

​

#. 휴먼 인 더 루프(Human In The Loop, HITL)의 작동원리가 뭘까요??

1. 데이터 라벨링

Human-in-the-loop의 첫 번째 단계는 인간이 데이터 라벨링 작업을 수행하는데 있습니다,,

작업자는 도메인 지식과 경험을 바탕으로 데이터를 분석하고 평가하여 가장 관련성이 높고 완전한 데이터를 선별할 수 있는데요,,

라벨링된 데이터는 AI 모델의 학습 데이터로 활용되며 머신러닝 알고리즘은 이 학습 데이터를 통해 라벨링 방법을 학습하게 됩니다,,

​

2. 모델 조정

인간은 과적합을 판단하기 위해 데이터에 점수를 매기고 AI 모델들에게 특정 사례와 새로운 범주를 교육할 수 있습니다,,

이 과정에서 인간의 전문적인 지식과 판단력이 학습과정에 통합되어 AI와 사람이 일종의 피드백 루프를 형성할 수 있습니다,,

​

3. 검증 및 피드백

인간은 머신러닝 알고리즘의 판단 결과를 검증하게 되는데요,,

AI가 판단에 대해 확신하지 못하거나 잘못된 결정을 지나치게 확신하는 경우, 그 결과에 점수를 매겨 AI 모델을 검증하고 개선 방향을 제시하게 됩니다,,

이렇게 학습과 조정, 검수가 포함된 선순환 루프를 통해 AI 모델이 보다 정확한 작업을 수행하게 합니다,,

​

​

#. Chat GPT에도 Human in the loop(HITL)이 적용됐어?

 

Chat GPT는 Human in the loop의 가장 대표적인 성공 사례라고 볼 수도 있는데요,,

Open AI는 ChatGPT 개발 과정에서 RLHF(Reinforcement Learning from Human Feedback) 방식을 활용했습니다,,

​

1. 사전 훈련

GPT 모델을 인터넷 데이터로 사전 훈련함

​

2. 지도학습 미세 조정

인간이 작성한 대화 데이터로 모델 을 미세 조정함

​

3. 보상 모델 훈련

인간의 평가를 바탕으로 응답의 품질을 판단하는 보상 모델을 훈련했음

​

4. 강화학습 최적화

보상 모델을 활용하여 인간의 선호도에 맞는 응답을 생성하도록 모델 최적화를 진행함

​

​

Chat GPT가 두 가지 응답 중에서 어떤 것이 나은지 사용자에게 묻는 것도 HITL의 한 형태라고 보는데요,,

이러한 피드백은 모델이 학습할 수 있는 새로운 데이터로 활용되기도 합니다,,

이런 선순환구조의 피드백이 지속되다보면 계속적인 학습을 통해 더 나은 답변을 내놓기도 합니다,,

​

​

#. 휴먼 인 더 루프(Human In The Loop, HITL)의 장점과 단점

출처 : Research Gate

장점

1. 정확도 향상

인간의 전문 지식과 직관을 AI 데이터 처리 능력과 결합하여 더 높은 정확도를 달성할 수 있습니다,,

특히 복잡하거나 모호한 상황에서 인간의 판단력이 AI의 한계를 보완하기도 합니다,,

​

2. 편향성 완화

AI 모델이 학습 데이터에 존재하는 편견을 반영하는 문제를 HITL을 통해 완화할 수 있습니다,,

인간이 이러한 문제를 식별하고 더 공정한 결과를 위해 모델을 조정하기도 합니다,,

​

3. 지속적 개선

실시간으로 인간의 피드백을 받아 모델을 지속적으로 개선할 수 있습니다,,

​

4. 신뢰성 증대

인간의 감독과 검증을 통해 AI 시스템의 신뢰성을 높일 수 있습니다,,

특히 의료나 금융, 법률 등 높은 신뢰성이 요구되는 분야에서 중요하게 사용됩니다,,

​

5. 윤리적 AI 구현

인간의 가치관과 윤리적 판단을 AI 시스템에 반영하여 더 윤리적으로 사회적으로 책임감있는 AI를 구현할 수 있습니다,,

​

단점

1. 확장성 문제

인간의 개입이 필요한 human-in-the-loop은 대규모 시스템으로 확장할 때 병목현상이 발생할 수도 있습니다,,

​

2. 비용 증가

지속적인 인간의 개입과 모니터링이 필요하므로 완전 자동화된 시스템에 비해 운영비용이 높아지게 되고,,

지속적으로 비용이 증가하게 됩니다,,

​

3. 일관성 문제

서로 다른 인간 작업자의 판단이 일치하지 않아 일관성있는 결과를 보장하기 어렵습니다,,

​

4. 속도 제한

인간의 개입이 필요한 과정은 완전 자동화된 시스템에 비해 처리속도가 느리게 됩니다,,

​

​

​

이상 휴먼 인 더 루프(Human In The Loop, HITL)의 의미와 뜻에 대해 알아보았는데요,,

현재 AI의 발전과 성장이 국가의 패권을 좌지우지할 정도로 많은 관심과,,

경쟁이 이뤄지고 있는데요,,

휴머노이드 로봇과 결합하게 되면 더더욱 높은 시너지를 내리라 기대하면서,,

각 국가별로 AI 패권 전쟁을 치르기 위해 많은 경쟁을 하고 있습니다,,

​

지금 당장은 Hallucination과 같은 부분적 오류로 인해 완전히 100% AI에게 맡기기는 어렵기 때문에,,

휴먼 인 더 루프(Human In The Loop, HITL)와 같은 방법론들이,,

AI의 발전 속도에 맞게 조화를 이루리라 생각합니다,,

​

당장 인터넷의 발전만 하더라도,,

한 번에 개발되어서 전세계에 보급되고 사용되지 않았습니다,,

첫 발전이후로 거품이라는 오명과 함께 사람들의 관심이 식었지만,,

시간이 지나면서 개발되었고 현재 전세계적으로 인터넷 없이 생활이 불가능할 정도로 우리 모두의 삶에 파고들었습니다,,

​

앞으로도 AI 발전과 성장 과정에 대해 주시하면서,,

각종 기술들이나 방법론들에 대해 주의깊게 공부하면서 지식을 쌓아둔다면,,

앞으로 다가올 기회들을 반드시 잡을 수 있으리라 생각합니다,,

​