(1편) AI 오해와 사실 - AI는 멍청하다.

 

최근 좋은 기회로 “AI 시대 인재는 어떠해야 하는가”를 주제로

현업 실무자들의 조언을 듣는 인터뷰에 다녀왔다.

 

나를 포함해 총 13명의 다양한 분야 종사자들이 참여해,

각자의 관점에서 AI 실무 활용에 대한 이야기를 나누었는데,

요약하면 다음과 같다. 

• 자동차부품 업계 -> 국가 핵심 산업으로 AI를 떠나 인터넷도 사용 불가한 환경
• 제조업, 물류, 의료기기 업계 -> TF 조직 단위로 엑셀 작업 자동화 시도 
• 수출업, 공공기관 -> ChatGPT, Gemini 같은 도구 적극 사용중
• 소프트웨어 회사 -> 전 직원이 AI를 사용중이며 모든 업무에 AI를 어떻게 사용했는지 보고하며 인사고과에 반영

결론부터 말하자면, 소프트웨어 기업과 피지컬 기업의 AI 활용도 격차는 생각 이상으로 크게 벌어져 있었다.  
왜..
나는 AI의 기본 원리와 한계점에 대한 교육 부재라고 생각한다. 

 

AI 자율성 활용 수준

 

먼저 살펴보고 가야할 것이 있다. 

작년 5월 쯤 등장한 AI 활용 수준을 나타내는 용어다. 

 

• AI in the Loop
  
  • 인간이 대부분의 일을 수행하며 AI는 보조자 역할 
• Human in the Loop 
  • AI가 대부분 일을 수행하며 인간은 판단(검토, 승인) 수행

개발자 대화방 - 사람이 직접 코드를 작성하지 않는 것은 일상이 되었다.

• Human on the Loop
  • AI가 완전 자율로 일하며 인간은 최종 결과물 승인

개발 쪽은 Ralph Loop라고 해서 잠자는 동안에도 AI가 24시간 작업하게 하는 도구도 나왔다. 어떻게 될지는 모르겠지만 코딩을 자동화하면 AI 발전이 급속도로 높아질 것라고 한다.

 

소프트웨어 기업은 AI in the Loop + Human in the Loop + Human on the Loop 로 AI를 활용하는 반면
피지컬 기업은 챗봇 활용 수준의 AI in the Loop 정도로 활용하는 것으로 보인다.

 

어떻게 하면 Human in the Loop, Human on the Loop 로 활용할 수 있을까?

다시 반복하지만 나는 AI의 기본 원리와 한계점에 대한 교육 부재라고 생각한다. 

 

AI 기본 원리를 살펴보기 위해 가장 빈번한 오해를 살펴보자

 

AI 오해 (1) - AI는 멍청하다.

대부분 사람들이 ChatGPT와 같은 AI Chabot을 쓰며 ‘멍청한 것 같아’, '자꾸 이상한 말을 한다' 라고 표현한다.

이는 오해다.

 

사실 AI는 반드시 이상한 말을 한다.

 

우리가 AI라고 말하는 기저에는 LLM이 있다.

LLM은 완성 문자열의 확률 분포를 학습 데이터 토대로 모델링 하는 것이다.

(이전 결과 바탕으로 다음 단어 예측 반복 하는 것)

 

과격하게 표현하면 "낱말 조합 글짓기 기계다."

"오늘의 날씨는" 뒤에 확률적으로 "맑다", "좋다", "흐리다" 같은 단어가 올 수 있다.

문제는 확률적으로 가장 높은 확률로 조합하는 것이 아니라 무작위로 조합한다.

"오늘의 날씨는 링가르디움레비오사!" 가 될 수도 있는 것이다.

 

멍청한 것이 아니다, 모델이 아무리 뛰어나도 확률적으로 반드시 잘못된 결과가 나온다.

 

좀 들어본 용어로 아래처럼 표현한다.

이런 잘못된 결과 -> 할루시네이션

요청할때 마다 확률적으로 다른 결과 -> 비결정성

 

 

AI 오해 (2) - AI는 무료다.

AI에게 질문은 공짜가 아니다.

데이터를 가져올때 질문은 token이라는 것으로 변환되며,

질문할때마다 token 만큼 비용이 발생한다. 

 

지금은 역사상 AI Model 사용료가 가장 낮은 시점이다.

무제한 요금제로 몇 천만원, 몇억씩 사용해봤다는 개발자들이 많았는데

최근에는 임계치를 넘으면 막고 있으며, 모델의 비용이 다각화 되고 있다. 

 

- 가벼운 작업 -> 저렴한 모델

- 추론, 분석 작업 -> 중간 모델 

- 복잡한 추론, 리서치 작업 -> 비싼 고급 모델 (월 구독료가 30만원을 넘어간다.)

 

 

AI 사실 - 내가 멍청하다.

LLM이 무작위 확률 낱말 글짓기라고 했다.

목표하는 답변이 나올 확률이 높은 질문을 하면, LLM이 올바른 답변을 줄 확률이 올라간다.

 

좋은 질문을 해야한다.

 

[좋은 질문이 필수 요소]

- 내가 달성하려는 목적

- 내가 목표를 위해 참고한 것

- 내 작업 환경

- 내가 한 시도들

- 내가 얻고 싶은 답

 

Prompt 템플릿, 페르소나, Context 다 좋은 질문을 위한 요소일 뿐이다.

 

그래도 질문하기 어렵다면

요즘은 Meta Prompting이라고 해서 좋은 질문(prompt)을 LLM을 통해 만들 수 있다. 

(ex. 이런 작업을 하려고 하는데 더 필요한 건 없을지 날 인터뷰 해줘.. 이런 작업을 하려고하는데 prompt를 생성해줘) 

 

 

AI 사실 - AI는 반드시 잘못된 결과를 준다.

잘못된 결과는 할루시네이션 뿐만 아니다.

AI가 학습한 데이터가 오염되면 확증 편향의 오류를 가질 수 있다.

학습한 데이터가 편향적으로 학습되어 사실이 아닌데 사실 처럼 줄 수 있다.

(인터넷에 잘못된 블로그 글, AI로 생성한 글, 잘못된 기사, 커뮤니티 글 등.. 얼마든지 학습 될 수 있다.)

Claude를 만든 엔트로픽은 양질의 데이터 학습을 위해 책 수백만권을 스캔하여 학습 시키고 버렸다. (프로젝트 파나마) https://www.aitimes.com/news/articleView.html?idxno=206046

 

 

LLM이 학습한 데이터는 최신의 데이터가 아니다. 

LLM은 학습시킨 시점의 고정된 정보만 가지고 있다. 구식의 정보를 줄 수 있다.

 

소프트웨어 회사의 AI  

AI가 주는 데이터가 반드시 잘못 되었다는 것을 알고

AI 작업 결과물 검증, 제어, 테스트 작업이 필요하다.

 

이를 '가드레일'을 만든다고 한다. 

(ChatGPT로 예로 들면, 결과물의 출처 링크를 주는 것도 가드레일이다.)

 

가드레일이 없는 AI는 업무에 사용해서는 안된다.

 

소프트웨어 회사는 이러한 가드레일을 자동화했다. 

 

(다음편에 계속. . .)

 

Reference

- LLM의 동작원리 https://www.youtube.com/watch?v=sTdz6PZoAnw

- 팀 하네스 구축 https://toss.tech/article/harness-for-team-productivity
- LUI의 시대 harness : https://toss.tech/article/software-3-0-era
- AI 거품 https://www.wheresyoured.at/the-haters-gui/
- AI 도구 생산성 하락 https://www.theregister.com/2025/07/11/ai_code_tools_slow_down/?ref=wheresyoured.at 
- 일자리는 AI가 대체하는게 아니라 소비하고 있는 것이다.  https://www.fastcompany.com/91435192/chatgpt-llm-openai-jobs-amazon 
- 전체 Ai agent 절반은 소프트웨어 https://garryslist.org/posts/half-the-ai-agent-market-is-one-category-the-rest-is-wide-open

AI 자율성 활용도 수준 - AI 스펙트럼

- https://martinfowler.com/articles/exploring-gen-ai/humans-and-agents.html

-  https://community.ibm.com/community/user/blogs/anuj-bahuguna/2025/05/25/ai-in-the-loop-vs-human-in-the-loop

- https://www.youtube.com/watch?v=mYMvFZDTC_M&t=1s