热线管理丨智能质检:如何从质检到质控
发表时间:2024/09/06 作者:《客户观察》编辑团队


前言

智能质检是AI人工智能技术落地应用的首批产品之一,至今已有近10年的发展史。2015年,以关键词搜索、正则匹配为主的第一代智能质检系统开始落地,以自动化的方式替代了一部分质检工作,提高了质检效率,但受限于技术方案的不足,导致模型缺乏泛化能力,召回率偏低,维护成本高。2016年以后,随着人工智能技术的发展,出现以语义理解为核心的智能质检系统,在复杂场景的识别、泛化能力的提升、召回率增高的同时,减少模型维护成本,也为情绪识别带来一定的可能。从2020年开始,人工智能技术和运营更加成熟,各智能服务提供商都将智能质检作为智能服务TOB的重要组件,此时智能质检以覆盖率广、实效快、能力强为核心竞争力开启大规模应用阶段。但随着智能质检的应用,在与业务的深度结合过程中仍然存在一些问题,导致无法实现真正的价值输出。

一、智能质检在质检模式中的困难

这里笔者将标题中的“质检模式”定义为以纯人工抽检的工作模式为基础构建的质量体系,其中会话抽检、案例判罚是主要的质量管理方法。在这种模式下,智能质检被期望搭建更精准的模型,更大程度地替代和节省人力。但在实际应用中,可能会遇到如下情况:

1.准确率难提升:因ASR(语音识别技术)转译出错、来电市民行为干扰(主动挂机、打断流程、意图交叉等)、上下文理解不足等应用细节问题,导致很多场景的模型准确率难以达到人工标准。

2.产品能力难补足:由于热线运营单位采购的是供应商提供的标品,还需要根据政务热线的需求进行改造后才能投入使用,但因为改造费用昂贵,或供应商技术能力有限,无法承接太多个性化需求,或产品开发进度慢等因素,往往无法实现期望的模型效果。

3.质检价值难落地:大部分智能质检产品都是组件式提供,跟政务热线的运营系统并未完全打通,因而在实际应用中需要反复切换系统,致使操作复杂度提升,且全量质检结果仍然需要人工复核,导致价值难以落地。

总而言之,基于以上现实因素,智能质检的实际应用效果可能很难达到政务热线最初对它的期望。

二、智能质检在质控与质检中的区别

质检和质控都是为了保证热线服务的质量,但二者关注的焦点和处理问题的方式有所不同。

质检,即质量检验,是对服务的质量进行检查和评估的过程。质检主要关注的是已经发生的问题,通过对产品或服务的检查来发现问题并进行改进,确保服务满足规定的质量标准。

质控,即质量控制,是在服务的生产过程中,通过各种方法和技术,对产品或服务的质量进行控制和管理的过程。质控的目标是预防问题的发生,而不是发现问题后再进行解决。

智能质检工具在以上两种模式中应用的区别,可以大概总结为以下三点:

1.质检专注个案的判定,质控在于全盘的把握

质检要求精准,质控注重规模。质检对于智能工具的要求是模型足够精准,如果由于客观原因导致模型无法精准到位或者操作之后召回率偏低,则无法实现智能质检的预期效果。而质控考虑的是规模化管理,因此即使质检模型不够精准,也可在全局规模下产出效果。

2.质检在于事后管理,质控追求事前管控

质检关注已发生的问题,质控预测问题潜在风险。智能质检关注的是某个案例出现了几个错误点;而质控的目的是提前识别问题,比如市民提及要投诉,此时就要通过智能工具预先把握风险,快速进行干预,保障服务质量稳定。

3.质检往往形成对立,质控旨在创造协同

质检制造紧张气氛,质控创造协同环境。质检员在质检过程中往往会和话务员争论扣分原因,话务员可能会认为这些问题是由于质检人员的评价标准过高,或者质检模型的规则设置过于严格,无形之中就将两者置于对立面。而质控重在预防问题发生,需要协同各方实现问题的响应和闭环,相较质检而言,质控可以创造一种更和谐的内部环境。

三、智能质检如何实现从质检到质控

从质检到质控,其目的在于用智能质检工具解决质控的痛点,如:

在流程管理上:由于人工抽检覆盖量有限,质检流程的整体落地效果如何,很难有量化的判定。而智能质检可以通过搭建流程模型,达到100%质检,实现快速管理。

在风险管理上:话务员对风险事件的敏感度不够高、未按流程执行等情况可能造成风险升级,因为人工质检具有滞后性,缺少识别手段,难以提前进行干预。智能质检可以搭建风险预警模型,根据以往的风险类别识别潜在风险,提前预警管控。

在口碑管理上:政务热线是政府对外展示的重要窗口,在市民眼中,政务热线代表政府,市民对政务热线的不满直接影响到对政府的评价,导致政府形象受损,公信力降低。智能质检可以通过搭建客户情绪模型,识别潜在不满,及时修复。

在以上思路的基础上,智能质检想要实现从质检到质控的转变,可以从以下三个方面着手:

1.从质检模型到质检体系

在质控中,应当先完善质检体系,然后搭建质检模型。运营单位需要结合自身业务情况,首先明确通过什么质检策略解决质量管理痛点,比如想要识别市民不满以进行口碑挽留,需有“来电市民情绪预警”模块,对市民的负面情绪新建模型。由此可以完成基于质控管理的质检体系和模型搭建。

2.从需求主导到计划主导

有些运营单位智能质检与人工质检分为两个团队,人工质检作为智能质检的业务方,主导了模型搭建工作,他们有需求了智能团队才搭模型,没有需求智能团队就做常规维护。其实在质检模型和体系搭建完成后,可提前根据不同时期采用不同的质控策略专项计划,比如在旅游旺季、特殊天气等时期对相关业务进行专项监控。以计划牵引,从单纯支持业务提升到主导业务专项,提升质控价值。

3.从工具型到中台型

完成模型搭建、各项计划流程固化后,运营单位应逐步将智能质检从一项质检工具,升级为质量管理的中台。除了质检岗外的业务方也可能会提出诉求,比如联动培训岗来抓取问题会话,联动承办单位来抓取某项业务的反馈等,以此实现智能质检的角色转变。

四、当前困难与未来挑战

智能质检对质控的助力是一个很好的探索方向,但想要真正实现质控中台的目标,还存在很多困难与挑战:

1.应用思路需转变

应用思路从追求模型准确率转变为拓展模型应用领域。通过智能质检工具批量化、自动化的特点,实现更全面、更快速的质量管理,所以本质上需要在质控思维上进行调整,这里需要根据政务热线的质量诉求、业务模式进行具体分析。笔者认为不用一味追求准确率,更要看模型的价值、必要性以及准确率的稳定性,避免长时间陷入某项单个的模型调优,或某个模型即使具有必要价值却因准确率低而被弃用。

2.产品能力缺支撑

智能质检工具的个性化定制程度和产品规划水平都需要提高。现在大部分供应商的技术能力其实都已经到位,但在产品的易用性、自主性上还需要投入比较大的精力。在系统模块的耦合度层面,智能质检要和其他系统完全打通,如工单、报表系统等等;在产品层面,质检和培训也需要进一步结合。

3.质控协同需加强

上文提到,质控工作需要协同各方实现问题的响应和闭环。需要注意的是,团队协同过程中由于各个团队有不同的需求和目标,如何协调资源、统一目标是比较有难度的。各方如何配合,怎么搜集分析运营数据,怎么推动改善等可以通过管理会议等方式达成共识。质控工作落地过程中团队的配合程度、协调能力是最终效果好坏的重要影响因素。

最后,智能质检从质检走向质控是一条长远的道路,虽然目前存在许多困难和阻碍,相信未来会有更多的政务热线向这个方向迈进。未来已来,让科技助力政务热线服务升级。

文章作者丨《客户观察》编辑团队

文章来源丨《政务热线周刊》2024年8月下

原文标题丨智能质检:如何从质检到质控

周刊投稿丨cisg@caibocmi.com


更多精彩文章,欢迎关注《政务热线周刊》!


声明:本文为作者原创,任何单位或个人转载务必标明来源及作者。