모델의 성능을 업무의 성과로 연결하려면 데이터의 기준부터 세워야 한다
AI 도입 소식에서 먼저 눈에 들어오는 것은 모델의 성능과 시스템 규모다. 그런데 이번 기사에서 내가 주목한 부분은 그 뒤에 있는 자료 정비였다. 회사의 기록이 무엇을 뜻하는지 설명하고 계산 기준을 맞추는 일이 AI 활용의 중요한 토대가 되고 있다.
이 글에서 전하고 싶은 생각은 AI의 성능과 함께 데이터의 설명 가능성을 살펴야 한다는 것이다.
사례의 규모나 개선 수치를 그대로 기대하기보다, 어떤 준비와 검증이 그 결과를 만들었는지 읽어보려 한다.
1. 데이터가 많아도 AI가 쓸 자료를 찾기 어려운 이유
데이터의 양과 활용 가능성은 같은 의미가 아니다. 자료가 많으면 AI가 더 많은 사실을 참고할 수 있을 것 같지만, 비슷한 표가 여러 개 있고 각 표의 목적을 알 수 없다면 어느 자료를 선택해야 할지부터 어려워진다. 데이터를 보유한 규모와 업무에 맞는 답을 얻는 능력은 구분해볼 필요가 있다.
오픈AI는 2026년 1월 공개한 내부 데이터 에이전트 사례에서 7만 개 데이터 세트와 600PB가 넘는 데이터 환경을 소개했다. 중요한 부분은 규모를 자랑하는 숫자보다 그 안에서 필요한 표와 맥락을 찾는 방식이다. 회사는 표·열의 설명과 코드에서 얻은 정보, 조직의 지식 등을 결합해 분석을 지원한다고 설명했다.
AI 레디 데이터는 이런 문제를 해결하기 위한 준비로 이해할 수 있다. 파일을 AI가 열 수 있게 바꾸는 작업에 더해, 그 자료가 무엇을 뜻하고 다른 자료와 어떻게 연결되는지 설명하는 것이다. 사람이 관행으로 알고 있던 내용을 AI가 참고할 수 있는 기준과 문서로 드러내는 과정이다.
예를 들어 고객이라는 열이 있어도 구매한 사람인지 가입만 한 사람인지 알 수 없다면 고객 수 계산이 달라질 수 있다. 이는 특정 회사의 실제 집계 오류를 말하는 사례가 아니라 정의가 필요한 이유를 보여주는 가정이다. 같은 단어를 쓰더라도 포함하는 범위가 다르면 답 역시 달라진다.
나는 여기서 조직의 설명 능력을 생각하게 됐다. 사람이 바뀔 때마다 누가 어떤 자료를 쓰는지 다시 묻는 상황이라면 AI를 도입해도 그 질문이 사라지기는 어려울 것이다. 기존 자료의 목적과 기준을 정리하는 작업은 AI뿐 아니라 새로 업무를 맡은 사람에게도 도움이 될 수 있다.
다만 자료를 정리했다고 AI의 오류가 모두 없어지는 것은 아니다. 필요한 데이터를 선택하고 계산한 뒤 결과를 확인하는 과정도 있어야 한다. 오픈AI 역시 내부 도구가 실수할 수 있다고 설명하며 결과를 확인할 수 있는 방식을 소개했다. 데이터 준비는 검증을 대신하기보다 검증할 기반을 마련하는 일이다.
좋은 모델을 선택하는 일과 좋은 맥락을 제공하는 일은 함께 필요하다.
나는 기업의 AI 활용을 평가할 때 도입한 모델 이름뿐 아니라 자료의 정의와 관리 상태도 보고 싶다. 데이터가 얼마나 많은가라는 질문 다음에는 그 데이터를 얼마나 설명할 수 있는가라는 질문이 따라야 한다.
2. 같은 매출을 묻는데 답이 다른 이유, 계산 기준에 있다
같은 질문에 같은 기준을 적용하는 일은 업무용 AI의 중요한 조건이다. “지난달 매출은 얼마인가”라는 질문은 짧지만, 주문일과 결제일 중 무엇을 기준으로 할지, 취소와 환불을 어떻게 반영할지에 따라 다른 숫자가 나올 수 있다. 먼저 정해야 할 것은 답변의 말투보다 계산의 의미다.
이때 필요한 것이 지표의 정의다. 단위와 기간, 포함·제외 항목, 사용하는 자료를 정리하면 AI가 참고할 기준이 생긴다. 기준 자체가 업무 목적에 맞는지는 사람이 논의해야 한다. 회사가 정한 규칙을 정확히 적용하는 일과 그 규칙이 적절한지 판단하는 일은 서로 연결되지만 구분되는 작업이다.
메르세데스-벤츠 코리아와 데이터브릭스의 공개 사례에서는 500개가 넘는 경영지표 정의를 AI가 활용할 수 있는 구조로 제공한 시범 사업을 소개했다. 기존 보고서의 계산 논리를 새로운 분석 환경에서도 활용하려는 취지다. 이 사례는 AI에 자유롭게 계산을 맡기기보다 공통 기준을 전달하는 방식에 가깝다.
여기서 기존 보고서와의 일치는 검증의 기준이었다. 사례에 나온 100% 일치 목표를 모든 질문에서 정확도가 100%라는 보장으로 읽어서는 안 된다. 공개 내용은 지표별로 확인하고 질문을 바꾸어 테스트하며 수정 후에도 다시 검증하는 과정을 설명한다. 목표와 실제 운영 결과를 구분해야 한다.
나는 이런 접근이 사람 사이의 협업에도 의미가 있다고 생각한다. 같은 매출을 보고도 부서마다 다른 숫자를 말한다면 먼저 서로의 정의를 확인해야 한다. AI가 한 숫자를 자신 있게 제시한다고 해서 조직 안의 기준 차이가 자동으로 해결되는 것은 아니다.
정의의 변경 이력도 남겼으면 한다.
계산 규칙이 바뀌었다면 어느 시점부터 적용됐는지, 이전 결과와 비교할 때 무엇을 고려해야 하는지 알 수 있어야 한다. 표준화는 한 번 정한 규칙을 영원히 유지하는 일이 아니라, 변화가 있을 때도 혼동 없이 이해할 수 있게 관리하는 일이라고 생각한다.
내가 기대하는 업무용 AI는 단순히 빠르게 숫자를 말하는 도구가 아니다. 어떤 자료를 어떤 기준으로 계산했는지 확인할 수 있는 도구다. 결과의 일관성을 높이려면 모델을 다듬는 일과 함께 조직의 언어를 정리해야 한다.
AI가 이해할 기준을 만드는 과정에서 사람도 업무를 더 명확히 이해할 수 있다.
3. 토큰 76% 감소, 효과보다 먼저 확인할 실험 조건
데이터 준비와 운영 효율의 관계는 델의 실험에서 살펴볼 수 있다. 델은 2026년 10월 공개한 자료에서 가상 고속도로 요금소 자료와 질문 20개를 이용한 내부 실험을 소개했다.
같은 모델과 질문을 사용하되 데이터를 검색하고 제공하는 처리 구성을 바꾸어 비교했다.
발표 결과는 전체 토큰 사용량 최대 76% 감소, 정보검색 관련 답변 정확도 60%에서 94%로 향상이었다. 토큰은 모델이 처리하는 텍스트 등을 나누는 기본 단위다. 다만 이 수치를 일반적인 업무 전체의 비용 절감률이나 모든 답변의 정확도로 바꾸어 설명하면 실험의 의미를 벗어난다.
비교한 구성의 차이가 중요하다. 델의 설명은 단순히 문서의 이름을 바꾸거나 중복을 지운 효과만을 측정한 것이 아니다. 검색과 구조 확인, 계산을 데이터 플랫폼에서 처리해 모델에 필요한 내용을 전달하는 방식도 포함됐다. 따라서 데이터 정리 하나만으로 동일한 결과가 나온다고 해석할 수 없다.
이 결과에서 내가 읽는 메시지는 불필요한 탐색을 줄일 여지다.
모델이 자료의 위치와 구조를 계속 추측하거나 필요 없는 문서를 많이 처리한다면 답을 얻는 과정이 길어질 수 있다. 필요한 자료를 찾아 제공하고 일부 계산을 적절한 시스템에서 수행하도록 구성하는 일에도 관심을 가질 이유가 있다.
그렇다고 토큰을 적게 쓰는 것 자체가 최종 목적은 아니다. 중요한 설명과 근거까지 덜어내면 짧은 답이 오히려 검증을 어렵게 할 수 있다.
나는 사용량과 함께 정확성, 응답 시간, 사람이 수정하는 시간도 살펴보아야 실제 효율을 판단할 수 있다고 생각한다.
전체 운영 비용에는 다른 요소도 있다. 데이터 정비와 시스템 구성, 업데이트와 검증에 투입되는 자원은 모델 토큰 수와 별개다. 토큰 감소가 모델 이용 비용에 도움이 될 수 있더라도, 전체 비용이 같은 비율로 줄었다고 말하려면 추가 계산이 필요하다.
기업이 이런 실험을 참고한다면 자신의 자료와 질문으로 효과를 확인하는 과정이 좋겠다. 잘 정리된 데이터가 도움이 될 가능성과 특정 실험 수치가 그대로 재현된다는 주장은 다르다.
유용한 사례일수록 조건과 한계를 함께 읽어야 실제 업무에 맞는 판단으로 이어진다.
4. 출처·권한·갱신, 정리된 데이터를 유지하는 책임
데이터의 출처와 관리는 준비 작업의 마지막에 덧붙이는 항목으로 보기 어렵다. AI가 어떤 자료를 참고했는지 알 수 없다면 결과를 확인하기 힘들고, 오래된 자료를 사용했다면 답이 현재 상황을 설명하지 못할 수 있다. 자료의 내용과 함께 만들어진 경로와 적용 시점을 관리할 필요가 있다.
유엔은 2026년 9월 UN System Data Commons를 공개해 여러 산하 기관의 공공 통계를 연결하는 접근점을 마련했다. 세계은행의 Data360 관련 도구도 지표와 구조화된 설명에 접근하는 방법을 제공한다. 공통적으로 참고할 지점은 숫자를 찾는 일과 그 숫자의 의미·출처를 확인하는 일을 연결한다는 것이다.
다만 플랫폼의 제공과 해석의 적절성은 구분해야 한다.
공식 통계라고 해도 단위와 대상, 조사 방식이 다르면 단순 비교가 적절하지 않을 수 있다. AI가 수치를 가져왔다는 사실만으로 비교의 의미까지 확인된 것은 아니다. 무엇을 비교하는지 검토하는 역할은 계속 필요하다.
또한 접근권한은 AI가 자료를 활용하기 쉽게 만든다는 이유로 넓어져서는 안 된다. 오픈AI의 내부 사례는 사용자가 원래 접근할 수 있는 자료에 한해 조회하도록 권한을 적용한다고 설명했다. 자료를 잘 찾는 기능과 아무 자료나 볼 수 있는 기능은 다르다.
나는 기업이 데이터 정비를 시작할 때 누가 정의를 관리하고 변경을 확인할지도 정했으면 한다.
거래처와 상품 이름이 바뀌거나 새 항목이 생기면 기존 설명도 달라질 수 있다. 처음에는 정확했던 자료가 시간이 지나도 같은 의미를 유지하는지 확인할 책임이 필요하다.
검증 가능한 답변을 위해서는 질문과 계산 기준, 사용한 자료를 남기는 방식도 생각해볼 수 있다. 업무 담당자가 결과를 다시 확인하고, 수정이 필요할 때 어디부터 살펴볼지 알 수 있다면 활용의 신뢰도는 높아질 것이다. 이것은 AI를 의심하는 태도라기보다 업무 결과를 책임 있게 다루는 방법이다.
결국 AI 레디 데이터는 한 번 완성한 파일 묶음으로 끝나기 어렵다. 새로운 자료와 업무 기준의 변화를 반영하는 관리가 이어져야 한다. 찾을 수 있고, 의미를 이해할 수 있고, 권한 안에서 쓰고, 결과를 확인할 수 있는 데이터를 만드는 방향이 중요하다고 생각한다.
.
.
.
.
.
마무리하며, 나의 생각 :
AI를 도입하는 일과 데이터를 책임지는 일
이번 기사를 읽으며 나는 AI 도입의 순서를 다시 생각하게 됐다. 어떤 모델을 사용할지 정하는 일은 중요하다. 그러나 우리 조직의 매출과 고객, 재고가 어떤 기준으로 기록되는지 설명하지 못한다면 좋은 모델을 선택한 뒤에도 비슷한 혼란이 남을 수 있다.
AI 레디 데이터의 가치는 자료를 정리하는 과정에서 숨겨져 있던 기준을 드러내는 데 있다고 느꼈다. 누군가의 기억에만 남아 있던 계산 규칙과 예외를 문서로 남기면, AI를 넘어 사람 사이의 협업도 더 명확해질 수 있다.
기업 사례와 실험 수치는 이런 준비의 가능성을 보여준다. 다만 성과를 소개할 때는 사용한 자료와 질문, 시스템의 조건도 함께 읽어야 한다. 토큰 감소를 전체 비용 절감으로 바꾸거나 검증 목표를 달성된 정확도로 설명하지 않는 태도가 필요하다.
기술의 가능성과 결과의 적용 범위를 함께 살펴보고 싶다.
내가 앞으로 관심을 두고 싶은 것은 운영의 지속성이다. 정의를 관리하는 사람이 있는지, 출처와 갱신 시점을 확인할 수 있는지, 권한과 검증 절차가 실제로 유지되는지 궁금하다. 한 번의 정비보다 변화가 생겼을 때도 기준을 이해할 수 있는 체계가 중요하다고 생각한다.
AI가 업무에서 더 많은 역할을 맡을수록 데이터에 관한 사람의 판단도 더 선명해져야 할 것이다. 무엇을 계산하고 어떤 결과를 사용할지 정하는 과정에는 책임이 따른다. 자동화가 늘어난다는 이유로 그 책임까지 흐려지지 않았으면 한다.
신뢰할 수 있는 AI 활용은 설명할 수 있는 데이터에서 시작된다.
속도와 편리함이 확인 가능한 근거 위에 쌓일 때, AI가 실제 업무에 주는 도움도 오래 이어질 것이라고 기대한다.
