作者：王树娟 才博智慧治理研究院

来源：《政务热线周刊》2024年4月下半月P84-91

原标题：“智能-人工”质检的应用路径探索

感谢对《政务热线周刊》文章的关注和支持！本文为作者原创，如需转载或引用，请注明出处和作者信息。

随着政务热线的快速发展和便捷服务带来的来电量的快速增长，公众对于热线的服务效率、质量、体验等也提出较高的要求。政务热线的质检作为生命线和燃料推动器，更加注重市民体验下的服务标准和流程，在大数据驱动和服务工具的智能应用场景下，要适应时代的变迁、技术的革新、作业模式的转变，需从当下开始积极探索新路径。

一、质检工作的价值认知

质检工作的最终目的不是仅仅为了评分或是绩效判定，最重要的是为了帮助话务员及时地发现工作中需要改进的点，更好地改善服务质量。所以质检人员在进行质检后，也要有一个后续的反馈，通过数据的收集和分析，了解话务员的特性和能力状况，是存在理解能力、倾听能力、解决问题能力、细节把握能力等单项能力的缺失，还是多项能力的缺失，且在后期的培训中需加以重视。同时通过个人、小组、总体质量监控分析报告等将个性、共性问题反馈出来。

有效地完成质检工作，并进行适时地评估，也能够对整个热线运营方进行有效评估，从而带动整个热线运营水平的提升。服务质量与工作效率是评价话务员的重要指标，对话务员的服务工作做出科学、准确的评价，一方面是对话务员工作的考核，另一方面也推动话务员的服务质量和工作效率的提升。

二、传统人工质检的痛点

（一）质检覆盖率不足

在政务热线领域，质检工作主要是通过人工抽检录音的方式来实现质量检查、风险防控，但随机抽检的覆盖率有限，由于质检人力配比和话务的复杂程度，抽检比例通常较低，人工抽检一通录音至少需要数分钟，还不包括反复重听的时间。而且因抽检录音量较少，无法获取充足的有效价值信息，一些潜在的风险和问题无法及时发现、提醒和补救，这也会导致话务员存在侥幸心理，认为被抽检录音无误就够了，忽略其他未被抽检的电话录音中是否存在业务差错、潜在风险等问题。

（二）质检时效性不足

人工质检发现问题需要一个周期，少则两三天、多则一两周，甚至更长时间。质检人员主要是事后抽检录音，因此对于紧急业务、异常指标及风险点无法在第一时间发现，导致服务风险管控的时效相对滞后。

（三）质检评判主观性强

质检标准在具体执行过程中会存在一定的差异性，每个质检员对标准有不同的理解，导致人工质检结果会存在一定的主观性，此外，质检员对质检尺度的拿捏或多或少会出现偏差，从而影响质检结果的一致性，不能客观有效地对整体服务质量进行合理评价。

（四）对质检员业务能力要求较高

质检岗人员需具备较强的业务能力和敏感度，熟悉业务全流程以及对不同话务场景做出清晰、准确、敏捷的判断。

三、智能质检系统的优势

互联网时代下的政务热线质检，要保证质效并行，需熟练掌握智能质检系统的使用，将智能与人工紧紧结合、充分发挥智能质检功能，使质检人员成为机器的主人。

利用智能质检能够对海量数据进行全量质检，监控量和质检速度大大提高，有效降低人工质检时间的投入，主要源于智能质检系统的以下四个特点：

（1）识别市民情绪：可根据通话中市民音调的高低起伏进行锁定、分析，从市民角度可以进一步分析影响体验的原因，从市民角度能够核查服务是否规范；

（2）定位关键信息：通过语音识别能够对关键词或者敏感词进行及时定位，比如投诉、服务态度差、不文明用语等语音信息聚焦，能够起到预防为主，监控提升为辅的作用；

（3）推送超长录音：服务时长超长的预警信息快速推送至当班管理人员，判断是否需要介入跟进帮扶；

（4）系统自动功能：质检系统可以根据作业需求实现自动评分、按系统导入信息自动匹配一键生成报表、分析推送质检结果。

相较于人工质检，智能质检还有四个明显优势。一是全量质检，智能质检可以对所有服务样本进行全量的质检，扫除质检盲区；二是自主配置质检模型与规则，按需设置和调整质检模型，实现对录音的多条件筛选；三是具有数据分析和应用价值，智能质检可以从热线分析、聚类分析、分类分析等多维度挖掘数据价值；四是可以基于质检规则，及时发现热线问题和风险问题，便于风险管理和发现城市治理弱信号。

四、“智能-人工”质检的应用探索

（一）智能质检系统的模型设计

智能质检系统的主要原理是将录音翻译成文字，再根据热线行业的服务场景创建质检模型，通过文本关键字和模型的匹配，对录音中的服务礼仪、服务规范、业务能力、沟通技巧及情绪感知等场景进行质检。因此，质检模型的优劣对智能质检的效果有重要的影响，且质检模型的创建要匹配实际应用场景，并根据质检规则的需要，确保模型创建后得到的结果是有用的，这个过程需要前期大量的模拟和验证，以及后期不断的更新、迭代和维护。

从热线运营的角度来讲，智能质检系统模型的设计与实现主要包括以下几部分：建立质检业务场景、数据处理、质检规则模型设计等。

1.构建质检业务场景

智能质检系统主要检查热线服务中座席的服务礼仪、服务规范、业务能力、技能技巧等问题。面对市民不同业务需求，主要从以下几个方面入手，建立一套符合业务需求的质检场景。

（1）确定质检业务场景。质检业务场景可分为呼入/呼出场景，不同场景考察侧重点不一样，比如呼入场景中重点关注业务解答规范及技能技巧，呼出场景中主要为工单处办跟进、满意度回访等场景，重点关注座席回访的问题是否全面且符合业务规范。

（2）明确业务场景对应的质检项，即机器质检过程中需要抓取的质检规则。例如，呼出场景质检项集中在回访话术是否严谨、服务态度是否规范，当市民对个人提出表扬、质疑时，是否合理回应等；呼入场景质检项则主要集中在业务流程办理是否合规，是否有威胁恐吓、夸大事实、推诿行为等。

（3）判断质检项类型及质检条件。在明确话务场景及场景对应质检项的同时，需要快速判断质检项属于常规质检或专项质检。常规质检主要质检通话过程中座席服务礼仪、服务规范、市民感受等服务类规则；专项质检则是根据服务类型要求质检业务流程、业务技能等业务规则。一般情况下，专项质检需要进行质检条件的判断，比如政策咨询类场景需要质检座席是否能够准确解答，或是转至相关部门解答。我们就需要根据质检项类型来明确哪些录音需要设置质检条件。

（4）设计符合业务考核标准的评分逻辑。因为业务特殊性，单一的质检评分逻辑无法满足多样化的业务考核标准，我们需要运用多元化的评分规则逻辑，目前常用到的评分逻辑有违规扣分、合规加分、阶梯评分等。比如话务员在接电过程中未使用欢迎语、称呼语等内容属于违规，违规就扣分。通话过程中市民主动表扬座席时，可以设置“合规加分”。在话务服务过程中，还会遇到“错了不全扣分，对了只取逻辑中最高分”的情况，此时即可设置阶梯打分的方式。

2.数据处理

底层数据的处理是建立质检规则的基础。数据来源主要是当前的话务员语音数据。数据的预处理主要包括两部分：第一，通过语音转译引擎将获取的录音音频数据转化为结构化的文本格式数据；第二，对获取到的原始文本、音频数据进行二次加工处理，找出搭建质检规则需要的重要数据。

3.质检规则设计

规则设计是智能质检模型设计的核心部分。智能质检系统中录音定位、问题检出，报表输出等功能都是通过对质检规则的学习得以实现的。一般业务场景会建立“一套常规质检+多套专项质检”规则，在实际应用中质检规则需灵活配置以满足多种业务场景需求。下面是几种通用质检规则模式：

质检规则模式一：“语义”。针对某些场景市民发散式的提问，单纯的通过关键词或者正则表达式规则模式，会出现违规点“找不全”的情况，从而影响机器质检效果。而语义可以通过对句子上下文的理解，判断市民真实意图之后，再确定座席业务解答是否规范。比如市民咨询社保相关业务办理流程等，需要针对市民具体问题进行解答，这类业务选择此模式可大大提高机器质检正确率及人工复检效率。

质检规则模式二：“语义+关键词”。“语义+关键词”规则是语义规则的一种补充，例如某些场景中需判断座席是否按照知识库中已有明确答案进行解答，解答话术较长且需要涉及专业名词，这种情况仅仅配置语义规则进行质检不够精细化，可以通过设置语义+多个关键词信息来辅助机器质检座席的业务规范。

质检规则模式三：“关键词或正则表达式”。绝大多数的业务场景需求都需要质检座席是否使用规范的礼貌服务用语，录音中是否出现违禁语。比如当市民配合操作或提供信息时，是否正确使用“请”“您好”“谢谢”“不客气”等礼貌用语。可以通过关键字+正则表达式规则设置例外情况，降低机器误判率，从而提高机器质检正确率。

无论是关键词、正则、语义哪一种质检规则设计模式，都有它的可取之处，但语言的表达方式多种多样，多种质检规则组合以提升质检效果是必然趋势。另外，尽管可以通过多种规则设计模式来满足业务质检需求，但是随着热线在质检效果和效率上的精细化需求，针对一些紧急业务还需要增加人工再次复核环节，以免给群众造成损失。

（二）“智能-人工”质检模式选择

推动人工质检与智能质检结合，成为目前较为可行的一种转型创新思路，常见的应用模式主要有以下四种。

第一种模式，主要借助智能质检系统初步筛查疑似问题录音，并在此基础上继续采用人工抽检的方式进行质检。这种思路的优点体现在能够有效提升问题录音的命中率，但是具体考核的录音数量仍然十分有限。

第二种模式，通过对智能质检每日检出问题录音进行全量人工复核，进而依据问题录音的数量、类型、扣分结果开展质检考核。这种思路的优点主要体现在能够尽可能覆盖问题录音，有效提升考核覆盖率，但是进行全量问题录音复核仍然需要配置大量的人力。

第三种模式，直接应用智能质检结果，同时向员工实时展示近期所有服务录音打分，接受员工申诉复核。这种形式在智能质检打分准确率较高的情况下，确实是最佳的应用方案，但是如果错误打分结果过多，不仅无法减少工作量，还会在管理方面产生其他不利的影响。

第四种模式，类似于以上三种形式的随机结合。例如将前两种形式进行结合，一方面针对重点关注的服务问题，应用智能质检系统，每日开展全量监听复核；另一方面再辅助一定数量的随机抽检。

以上“智能-人工”质检模式均有各自的优缺点，但是在现有的技术条件下，只有从实际情况出发，探索构建最符合质量管理需要的模式，才能达到事半功倍的效果。

良好的体验不是一蹴而就的，智能系统也存在很多问题需要完善，比如系统不稳定、质检结果不正确等，所以在投入初期需要大量的人工质检，对系统进行关键词增添和模拟训练，尤其在质检标准定义和优化、市民声音数据分析、质检全流程等方面。同时，人工借助智能系统的预警风险聚焦深入分析，快速排查风险、锁定风险，对问题人员纠偏。人机结合才能将双方优势发挥至最大，输出更兼具理性与感性的服务语言，提高运营效率和服务水平。