AI의 잘못된 정보, AI로 바로잡는다

#헤드라인

AI의 잘못된 정보, AI로 바로잡는다

https://n.news.naver.com/mnews/article/009/0005457727

AI의 잘못된 정보, AI로 바로잡는다

크라우드웍스·셀렉트스타 등

보안·신뢰성 검증 솔루션 봇물

정보 오류·편향 파악해 수정

기업 절반 "AI 신뢰성 우려"

금융권 중심 수요 급증세

---

#본문

 

 

인공지능(AI) 에이전트 등 AI 서비스 도입 수요가 급증하면서 사전에 AI 서비스의 신뢰성을 검증할 수 있는 솔루션이 잇달아 등장하고 있다. 결과물의 편향성이나 부작용에 대한 우려로 기업들이 AI 채택을 주저하자 이 지점을 공략하기 위해 국내 스타트업이 대거 나서는 것이다.

 

12일 정보기술(IT) 업계에 따르면 AI 데이터 기업인 크라우드웍스와 셀렉트스타는 지난달 각각 AI 신뢰성 검증 솔루션인 '알피 이밸류에이션'과 '다투모 이밸'을 출시했다.

 

두 서비스 모두 AI 모델의 신뢰성과 안전성을 사전에 평가해 기업들이 실제로 도입하기 전에 AI의 취약점을 찾아 보완할 수 있도록 하는 것이 특징이다.

 

검증 과정은 크게 AI 기술을 활용해 평가 대상인 모델의 데이터세트를 분석하고 해당 AI의 취약점을 이끌어낼 수 있는 질문을 생성해 답변을 분석하는 방식으로 진행된다. 또 부족한 점이 있다면 개선을 위해 AI가 필요한 데이터를 가져와 평가 모델을 보완한다.

 

AI가 정치적으로 편향된 답변을 제공하거나 부정확한 결과를 도출하는 사례를 잡아내는 것은 물론 서비스 제공 범위를 벗어나는 내용을 이용자에게 제시하지 않도록 하는 것도 신뢰성 검증 솔루션의 역할이다.

 

AI를 실제 업무에 활용하고자 하는 기업들의 관심은 그 어느 때보다 뜨겁다. 대한상공회의소가 최근 조사한 결과에 따르면 국내 기업의 78.4%가 AI 도입의 필요성을 인식하고 있는 것으로 나타났다.시장조사기관 CB인사이츠 조사에서는 글로벌 기업 중 63%가 향후 1년간 AI 에이전트 채택을 매우 중요하게 고려하고 있다고 답했다.

 

다만 기업들은 신뢰성과 보안 관련 우려를 AI 에이전트 도입의 장애 요소로 꼽고 있다. CB인사이츠에 따르면 조사 대상 기업 중 47%가 신뢰성과 보안 문제를 염려하고 있다고 응답했다. 이는 AI를 적용하고자 하는 기업들의 수요를 확실히 잡기 위해서는 신뢰성 문제 해결이 선행돼야 한다는 의미다.

 

크라우드웍스는 AI 모델의 신뢰성 평가와 안전성 평가를 지원한다. 자동화된 솔루션을 통한 검증과 함께 인간 전문가 평가도 수행함으로써 교차 검증하는 것이 핵심이다.

 

셀렉트스타는 AI 서비스 유형과 사용 목적에 따라 질문을 자동으로 생성해 평가하고, 여러 AI 모델의 성능을 비교하는 기능도 제공한다.

 

신뢰성 검증 솔루션을 도입하고 있는 곳은 최근 고객 대상 AI 서비스를 선보인 금융기업들이다. 유안타증권이 최근 채택한 주식 종목 분석 AI 에이전트에 크라우드웍스의 솔루션이 활용됐으며 셀렉트스타의 솔루션 또한 일부 금융권 기업이 도입을 확정 지었다.

 

SK텔레콤은 독거 어르신 돌봄 서비스에 활용되는 'AI 케어'의 대규모언어모델(LLM)을 개발하는 과정에서 AI 보안 스타트업 에임인텔리전스와 손잡고 안전성 검증 절차를 거쳤다. SK텔레콤 AI 케어는 AI가 어르신을 대상으로 먼저 전화를 걸어 대화를 나누는 서비스다.

 

어르신과 대화할 때 AI가 혐오 발언 등을 해서는 안 되기에 에임인텔리전스는 가장 빈번히 발생할 수 있는 대화 시나리오부터 최악의 대화 결과까지 시뮬레이션을 돌리면서 정치적 답변이나 혐오 표현 등 위험 항목을 식별해 이를 보완했다.

 

최근 앤스로픽의 AI 모델 정밀진단에도 참여한 바 있는 에임인텔리전스는 신뢰성을 검증하는 자체 솔루션 '에임 레드'를 통해 해외 진출도 타진하고 있다.

 

오픈AI나 구글, 메타, 앤스로픽처럼 AI 원천 모델을 만드는 기업은 자체 레드팀을 사내에 두고 자사 모델의 안전성을 평가하고 있다. 레드팀은 해당 모델이나 서비스를 공격해 취약점을 찾고 이에 대응하는 방법을 연구하는 조직을 말한다.

 

기업들이 범용 모델 사용에서 나아가 자사 서비스에 특화된 AI 기능과 에이전트 기술 도입에 속도를 내면서 각 회사 상황에 맞게 AI 안전성을 강화하려는 수요도 커지고 있다. 김우승 크라우드웍스 대표는 신뢰성 검증의 역할을 강조하며 "AI 도입이 활발해질수록 AI가 안전하고 책임감 있게 활용되도록 검증하는 것이 앞으로 중요한 과제가 될 것"이라고 설명했다.

 

[안선제 기자 / 정호준 기자]

 

안선제 기자(ahn.sunje@mk.co.kr), 정호준 기자(jeong.hojun@mk.co.kr)

---

#추가 조사할 내용

[AI 신뢰성 검증 솔루션]

• AI가 내포한 위험과 기술적 한계를 해결하고 활용 및 확산 과정에서 발생할 수 있는 위험과 부작용을 방지하기 위한 가치 기준
• AI 서비스 운영 중 발생할 수 있는 다양한 오류와 위험성을 사전에 식별하고 대응할 수 있도록 지원
• AI 신뢰성 검증은 AI 시스템의 신뢰성을 높이고, AI 기술이 사회적으로 긍정적인 방향으로 발전하도록 유도하는 데 필수적인 요소

 

[국내 주요 AI 신뢰성 검증 솔루션 제품]

• 셀렉트스타 '다투모 이밸(DATUMO Eval)': 생성형 AI 서비스의 신뢰성 검증을 자동화하는 솔루션으로, AI 서비스의 오류와 위험성을 사전에 식별하고 대응할 수 있도록 지원합니다. 이 솔루션은 기업의 AI 서비스 유형과 사용 목적에 따른 평가 기준 설정, 맞춤형 평가용 질문 자동 생성, AI 서비스의 답변 자동 평가 및 결과 분석, AI 서비스 취약점을 이끌어내는 레드티밍 기능 등을 제공합니다.
• 마크애니 '스마트아이 (실종자검색) v1.0': AI 신뢰성 인증을 획득한 솔루션 중 하나로, 실종자 검색 기능을 제공합니다.
• 엔플럭스 '인공지능 융합 지뢰탐지 모듈 v1.0': 지표투과레이더(GPR) 이미지를 판독하여 지뢰 여부와 지뢰 종류를 판단하는 분석 기능을 제공하는 시스템입니다.
• 제네시스랩 '뷰인터 HR v2.0': 기업 채용 시 면접 전형을 목적으로 개발된 영상 평가 플랫폼입니다.
• 단감소프트 '커리어레커멘더 v1.0': 맞춤형 교육 콘텐츠 추천 서비스를 제공합니다.
• 포티투마루 'LLM42 v1.1': 거대언어모델(LLM)로, AI 신뢰성 인증을 획득했습니다.
• 씨피엑스시스템즈 '싸이파이(CyPHAI) v1.0': 에너지 및 발전 분야에 특화된 AI 신뢰성 검증 솔루션입니다.
• 씽크포비엘 AI 신뢰성 검증 제품: 씽크포비엘이 자체 개발한 AI 신뢰성 검증 제품으로, 데이터 밸런스 기술을 통해 AI 신뢰성 검증을 이끌고 있습니다.

---

#적용할 점

1. 제품, 기술, 사업 특징 요약
제품 특징
- AI 모델 신뢰성 및 안전성 평가: AI 모델이 실제 서비스를 제공하기 전에, 그 결과에 편향이나 부작용이 있는지 사전에 검증
예시: 주식 종목 분석 AI나 어르신 돌봄 AI가 부적절한 답변을 내지 않도록 미리 체크

- 자동화와 전문가 평가의 결합: AI를 활용해 데이터셋을 분석하고, AI의 취약점을 드러낼 수 있는 질문을 자동 생성 후 답변을 평가. 여기에 인간 전문가의 검토가 더해져 교차 검증

기술 특징
- AI 기술 기반 데이터 분석 및 질문 생성: 평가 대상 AI 모델의 데이터셋을 분석하고, 그 모델이 가진 약점을 찾아낼 수 있는 질문을 자동으로 생성

- 보완 데이터 수집: 평가 중 부족한 부분이 있으면 필요한 데이터를 추가로 가져와 평가 모델을 보완

사업 및 산업 현황
시장 수요 증가: AI 에이전트와 같은 AI 서비스 도입이 늘어나면서, 결과물의 편향성이나 부작용에 대한 우려로 기업들이 도입 전 신뢰성을 검증하려는 움직임 증가

다양한 산업 적용: 금융, 고객 서비스 등 다양한 분야에서 AI의 안전성과 신뢰성을 검증하기 위한 솔루션 도입 확대
예시: 유안타증권의 주식 분석 AI, SK텔레콤의 어르신 돌봄 서비스 ‘AI 케어’ 등.

스타트업과 대기업 모두 관심: 국내 스타트업(크라우드웍스, 셀렉트스타 등)은 신뢰성 검증 솔루션을 출시, 오픈AI, 구글 등 글로벌 대기업도 내부 레드팀을 운영하며 자사 모델의 취약점 점검

2. 프론트엔드 개발자에게 물어볼 만한 질문
1. AI 평가 결과를 사용자에게 보여줄 때, 어떤 데이터와 지표를 중점적으로 노출하며 그 이유는 무엇인가요? (결과 그래프, 취약점 리스트, 개선 제안 등)

2. AI 평가 결과가 복잡할 수 있는데, 이를 사용자 친화적으로 보여주기 위해 어떤 UI/UX 전략이나 디자인 패턴을 사용하고 계신가요? (대시보드 형태, 단계별 리포트 제공 등) 

3. AI 평가 결과나 관련 데이터를 프론트엔드에서 처리할 때, 보안 및 개인정보 보호 측면에서 특별히 고려하는 부분이 있다면 무엇인가요? (데이터 암호화, 사용자 인증 등)