专栏文章丨智能与大模型在政务热线应用的心得分享
发表时间:2024/05/23 作者:许乃威

我家老大去年刚考上大学,因为从小喜欢玩计算机,也对人工智能感兴趣,就选了应用数学系,大一最重的课程就是微积分。

我是理工科背景,当年大一的微积分就是60分低空爬过,真的是一个难。

我问老大说:微积分学的怎样啦,是不是快要期中考了?

他说:我还没开始念。

我听了火气就上来,这小子只有小学成绩好,上了初中,热衷上了追女孩子,关键是还一个没追到,后来追上了,没多久又分手了,搞的成绩一塌糊涂。

成绩不怎样,唯独就是数学一直都还可以。

现在刚考上大学,怎么连数学也不念了?

我没好气的说:微积分对你将来很重要,这门课很有用,要好好学。

他说:我有要念啊,只是我还没有扫描完。

扫描?

我一下被说蒙了,我说:你念个微积分,要扫描什么?

他说:扫描微积分的教科书啊,我又没电子档,没扫描完,怎么念?

我说,念书就念书,干嘛一定要念电子档。

他疑惑的看着我,说:你们念这么厚的书,都不需要用GPT的吗?

难道你们一页一页的念?

我很想说,是啊,我们就是这样念的啊。

但当爸爸的,总要维护父亲的尊严,我用那种指导小孩念书的口吻说:你给我看看你怎么念的。

我当然知道GPT的功能,自己还做不少GPT智能项目的顾问。

但听到一个18岁的小男生讲述如何使用智能来念书,还是挺震撼的。

 

时代变了,彻头彻尾的变了。

我到美国留学的时候,第一个遇到的老师,教我们电子工程,是一个希腊人,他的希腊英文我没有一个字听懂的,整本电子工程我就是靠自己一个字一个字念出来的。

有问题,没人问,老师作业不会写,也没人教,更不要说给予针对性的手把手指导。

考试能不能过,就是靠我个人的智力和努力。

现在,时代变了,彻头彻尾的变了。

现在想知道《甄嬛传》里,甄嬛和果郡王的秘密是什么,只要把整本《甄嬛传》丢进KIMI就好了,怎么问,怎么答。

 

刘润对智能和大模型的发展,做了这样的总结:

水力的普及,让人类文明走入农业时代。

电力的普及,让文明走入了工业时代。

而人工智能让智力随处可得,将让文明大踏步的走入智能时代。

如果我当年在美国念书,有GPT当作我的私人家教,对于我这个新人来说,在学习的路上至少能够更快一些。

 

讲到这里,我不禁想到,我们政务热线的新员工呢?

我在客服行业做讲师和顾问,有10多年,感觉行业当中难度较高的,政务热线绝对是排名在前的。

政务相关的业务知识多且杂,而且还不好懂。

政务热线的客服同事,要学习的政务知识,整本书的厚度也不少于一本微积分。

我们有没有可能利用现在的大模型技术,来帮助新员工学习呢?

我上课老跟学生说,我已经快60了,在客服行业工作了这么久,各式各样的管理难题和挑战都见过了,能解的都解了,不能解的,也很难想到更好的办法。

阳光之下无新鲜事,自己做着做着也累了,有了退休的想法。

但去年大模型横空出世,突然发现整个时代要变了。

而且是彻头彻尾的变了。

以前让新员工学习政务热线知识,最难的地方就是业务知识太多太杂,而且非常枯燥。

学习难就算了,练习更难,很难提供员工练习的环境。

往往员工就只能跟客户进行练习,讲错了,就等着被客户骂,或者投诉。

还不用骂很多次,只要一两次骂狠了,新员工就走人。

流失率一直是客服行业深深的痛,而新人是流失率的大头。

 

抱着这样的想法,我对客服行业又燃起了巨大的兴趣和热情。

这次换了一个角度,打算借着科技的力量,希望一举解决过去10多年难以解决的难题和挑战。

然后,一开始动手,就发现理想和现实很遥远。

理想,或该说是梦想,的确是非常有希望的,大模型的能力让我惊艳,特别是在对话分析上,大模型展现出强大的总结和分类能力,我觉得对于业务知识的整理、常见问题的整理、投诉案件的分析,帮助都很大。

我们可以把一整个话务员跟市民的对话,丢进大模型,大模型就能提炼市民的问题是什么,话务员的回答是什么,回答的步骤流程都能列出来。

大模型也可以把市民的问题进行分类,一旦做好分类,就可以整理出市民常见问题,也可以在热线有突发话务时,知道来电问题主要集中在哪里,及时调整应答口径。

我们第一个想到对于政务热线的应用,是在工单派单上面,因为这是热线中心的巨大痛点。

热线中心经常需要派发工单,派到相对应的单位进行处理,派单逻辑靠的就是工单类型,不同工单的分类,决定派发到哪个单位。

但因为政务热线的业务类型很多,话务员要能准确的将工单进行分类,在众多选项当中,能选中正确的类型,对于业务知识的掌握要相当熟练,否则很容易出错。

这对于新员工而言,就是巨大的挑战。

而这刚好就是大模型的强项。

大模型天生有两特别强大的能力:总结和分类。

而工单类型的选择,不就是分类问题嘛!

但理想和现实总是有差距的。

1989年互联网诞生,经过5年之后,互联网开始走上商业化的道路。

大模型在22年诞生,一年内,就开始进入商业化。

这一切都太快了,快到人们也很难分辨什么是理想,什么是现实。

我们的确可以将工单进行分类,但马上遇到第一个问题:

钱!

每天的工单这么多,每张工单都让大模型来分类,成本根本包不住,特别是用GPT这类超大尺寸的闭源大模型。

也就是这个时候才学到,原来大模型还有分成闭源和开源。

闭源就象是在网上装了一个巨大的水龙头,供水能力超强,但每打开一次水龙头,就收一次钱。

开源就象是自己家凿了口井,爱怎么用怎么用,但自己家要凿井,要能供水上来,非常考验自家的工程能力,特别是要造一口巨大的井,要花的金钱成本很高。

我们先试了网路上的闭源模型,先不说信息安全问题,每跑一次就收一次钱的模式,在财务控管这里就过不去,因为不知道每个月有多少工单,连每月的预算都无法编列。

后来转头开始尝试开源模型,也就是把大模型下载到我们当地,在当地运行。

这时遇到另外一个问题:

算力!

网上的闭源模型,背后有提供算力,我们不必考虑大模型需要的GPU,也就是显卡算力,但落地模式,需要在我们当地环境部署自己的显卡,如果大模型用的尺寸比较大,需要的显卡资源就会大幅增加。

也就是在这个时候,我们才学习到大模型有尺寸的区别。

就好像是拳击选手,有分重量级和轻量级,尺寸越大,能力越强。

GPT的尺寸,也就是参数量,达到了1750亿(175B,一个B等于10亿),这种大尺寸的模型,对于显卡资源的要求不是一般企业或组织能够负担的。

于是一条漫长的寻找开源模型的路就开始了。

我们一开始就估计,手中有的算力,最多能支撑的大模型也就是14B左右,更大的模型当然能力更强,但我们手中没有那么强的卡啊!

找啊找啊,试啊试啊,虽然号称行业有大模大战,那么多的大模型,我们先试了7B的,基本不行,浪费了很多时间,后来终于找到一款14B的模型,在工单分类的效果上能满足我们要求。

高兴没两天,很快发现新的问题又来了。

工单分类必须要即时运算,对时间的要求很高,因为话务员处理完电话,就需要即时填写工单,也就是几分钟内工单必须填写完成,我们手中的显卡,支撑一两个话务员都很费力,更不要说一两百个话务员。

要做工单分类,说起来简单,其实对大模型而言,要做的工作是很多的。

首先要先把语音转成文字,然后要提炼文字里面的客户问题,然后把客户问题进行分类,这当中每个步骤对于资源的消耗都不小。

经过各种各样的尝试,终于下了一个惨痛的结论:

现在的大模型应用,比较现实的,可能还局限在对时间要求没那么高的,使用者没那么多的,也就是分析型的应用,因为分析对于即时性要求没那么高。

至于直接面向客户服务,或做为一线话务员的辅助,只要对即时性要求高、使用者多,可能都还不是很现实。

 

讲到这,感觉对于大模型发展是比较悲观的,但恰恰相反:

1989年互联网诞生,经过5年之后,互联网开始走上商业化的道路。

大模型在22年诞生,一年内,就开始进入商业化。

这一切都太快了,快到人们也很难分辨什么是理想,什么是现实。

而在这过去的一年中,经过无数的尝试,开始学会分辨什么是理想,什么是现实,知道了许多目前还没法做的事。

同时也知道了有哪些应用能做。

特别是在重复投诉的分析上面。

这个绝佳场景,对于受理投诉的话务员的帮助,真是太大了,话务员在处理重复投诉案件时,不太可能复盘之前的历史对话录音,主要仰赖的就是工单的历史记录,但往往这些记录是有缺失的,才会导致一再的重复投诉。

把历史对话录音重新做总结,能够更准确地判断到底这个重复投诉的关键点是什么。

重复投诉分析也恰恰符合上面关于落地的两大要求:

对时间要求没那么高,使用者没那么多。

 

大模型的发展,也仅仅就是一年左右的时间,我们已经知道了很多。

但更让人好奇和兴奋的,是:

还有哪些事情是我们不知道的?

我们一起共同期待。

 

文章作者丨许乃威 《政务热线周刊》专家编委、才博智慧治理研究院首席咨询顾问

文章来源丨《政务热线周刊》2024/05上半月

原文标题丨智能与大模型在政务热线应用的心得分享

期刊投稿cisg@caibocmi.com

 

更多精彩文章,欢迎关注《政务热线周刊》!

声明:本文为作者原创,任何单位或个人转载务必标明来源及作者。