你已经成功订阅主题
太棒了!接下来,完成对主题的完全访问结帐
欢迎回来!你已经成功登录了。
成功!您的帐户已完全激活,您现在可以访问所有内容。
成功!您的结算信息已更新。
结算信息更新失败。

分析客户反馈时主题的准确性如何?

在与潜在客户的讨论中,我们总是听到这样的问题:“主题到底有多准确?”

这个问题通常出现了两个原因:

“我一直在做分析。将此任务交给自动化解决方案时,我不希望损害准确性。“

“我意识到手动做事并不是最好的方法。我尝试了不同的解决方案。它们都产生了无用的常规结果。是否存在足够准确的解决方案即使存在?“

这两个都是正当的理由,我们渴望提供一个答案。

但让我们回过头来看,在分析反馈时,什么能起到作用?”准确的”的真正意思是什么呢?

为什么单独准确性毫无意义?

我已经发表了几十份评估准确性的学术出版物,我可以在这个话题上花上几个小时。但是,在客户反馈的背景下,这三个关键点最重要:

100%的准确性是一个神话 - 无论如何都是主观

甚至人们在决定如何编写反馈时也会产生分歧。

人们之间的协议水平被称为一致性,它通常根据任务的不同,范围在40%到70%之间

所以,不要指望通用数字作为答案。

有用性胜过胜过准确性

想象一下这种情况:所有的反馈理论上都属于这种情况结算价格, 或者客户服务

因为只有3个选择,所以要做到高度准确相对容易。

但这种分析有用吗?

不太可能,特别是因为你已经提前了解这些类别。

一个100%准确的解决方案,不会比结算实际上,它比准确度为85%的解决方案更糟糕,但它告诉您哪些评论说“计费日期不方便”、“计费条款有所改善”、“计费不准确”。

最终,更重要的是获得具体和可操作的主题,而不是追逐一个准确的数字。稍后再详细介绍。

简化和改进的速度也很重要

改进是许多人也会忽略的一步。

无论如何“准确”一种方法,都有人类的观点和默认的商业知识,需要纳入,以便使产出可操作。

在审查第一个结果后,这种知识和透视才会变得明显。

假设我们评估了两个解决方案:

解决方案A在寻找主题方面是80%。其决定是透明的,任何人都可以轻松地改善它们使结果更加可操作和相关。在几个小时内,您可以获得几乎完美的准确性。

B方案有90%的准确率,但它是一个黑匣子。需要数周的数据科学工作来完善产出。

我知道我要选哪个了……

主题有多准确?

在Thematic,我们设计了一个界面,可以很容易地快速细化主题,并建立了从这个过程中学习的算法,在未来的项目中提供了改进的结果。

其他的解决方案需要大量的手动配置,并且使用手动反馈分析(有些人可能认为这是所有方法中最精确的方法)来细化主题可能意味着从头开始。

以前,我们已发布指南如何评估客户反馈的分析,以及一份关于高级评估专题

在白皮书中,我们使用了两个不同的客户反馈数据集。每一个都有来自4个人的主题。

我们计算了人们彼此的一致性,并将主题与他们的平均一致性相比。

我们的研究表明,主题很容易比人更准确,他们的分析可能遭受个人偏见或疲倦。

请注意,主题提供了一个编辑主题的简单方法确保可能的最高精度。这个过程需要30分钟和2小时。

尝试快速眼球,主题在其中一个数据集中找到的主题:“我们如何改善商学院的东西?”

高级评估结果如下:

  • 预先编辑,专题略低于人。后编辑,专题优于4人中的2个。
  • 主题的结果更具体,因为不仅它发现了主题,还要是子主题。人们刚刚提供一般类别的地方,专题找到了主题和次节。

与NLP api相比,Thematic有多准确?

在早期的帖子上,如何在内部建立客户反馈解决方案,我们已经测试了在线航空公司评论的主要播放器,IBM Watson,谷歌云,亚马逊理解。

结果令人失望:

  • 关键字是通用的,没有用。
  • 实际上只标记了一小部分:最好的情况下是32%。
  • 即使是非常简单的变化,如大写和复数/单数,也不被视为同一件事。
左:IBM沃森-右:谷歌云
亚马逊理解

将《Thematic》的准确性与这些主要玩家进行比较是没有意义的。

毕竟,这些解决方案是在非常不同类型的文本上开发出来的:报纸文章、网页、研究论文。

因此,虽然它们可能会在这些类型的文本中擅长,但他们对客户反馈失败。

与其他解决方案相比,主题有多准确?

Maurice Fitzgerald评估了其他具有本文中使用的同一数据集的其他公开的解决方案: DataCracker, WordyUp, Wordclouds.com, Sift Keatext, SurveyTagger, SPSS, Lexalytics,意义云,Text2Data和惠普的HavenOnDemand。他的发现:

  • 大多数系统表现很差,因为它们只能提取最相关的单个单词,而人比任何工具都要好得多。
  • 性能最好的系统是Lexalytics和HavenOnDemand。然而,他们都错过了更早的考试日期,这是最重要的改进建议之一(在没有人工干预的情况下,这一主题确实发现了)。

为什么主题如此准确?

Thematic的专有解决方案是专门为该领域的世界领先专家分析客户反馈而设计的。

该研究是由专题的联合创始人和首席执行官博士博士领先地位,他们在关键词提取和超过的博士学位2500篇自然语言处理学术论文

通过允许用户对主题的选择进行优化,还可以确保准确性:主题可以重新分组、重命名和删除。

这种改进是可选的,因为即使没有帮助,主题也会有80-90%的效果。

专题还有其他优势:它学会了不仅仅是从数百万个反馈中收集的语言,还可以从过去5年中捕获的所有人类改进。

最好的一点是:它不需要预定义的类别或注释数据。

外带

  • 当人们存在时,解决方案是准确的(如果没有更准确)!
  • 当自动化这个任务时,您不需要降低分析的质量。
  • 仅限有用性(特殊性和可行性)比单独的准确性更重要。
  • 简化和改进的速度也很重要
  • 不要只是要求准确性,眼球的结果,了解主题是如何有用和可行的感觉。

在专题我们关心准确性大不了!我们保证人类竞争结果。毕竟,首席执行官有博士学位人类极少专题分析!!

继续阅读

我们如何使用我们自己的平台和Chrome扩展来集中和分析反馈

我们如何使用我们自己的平台和Chrome扩展来集中和分析反馈

客户反馈没有所有答案。但它对战略和优先级有关具有重要洞察力。专题是B2B SaaS公司。我们不是在反馈中游泳。每一块反馈计数。收集和分析此反馈需要不同的方法。我们收到许多地方的反馈:我们的产品内部NPS

Alyona Medelyan博士
Alyona Medelyan博士
反馈分析
manbet备用网址文本分析软件-如何解锁驱动背后的性能

manbet备用网址文本分析软件-如何解锁驱动背后的性能

许多组织,大或小,收集客户的反馈,以提高其CX努力,最终是他们的底线。但是单独收集反馈不能产生大大差异。我们需要分析我们的反馈,以发现激励我们在组织中推动我们的行动的洞察力。进入;文本

梅勒妮Disse
梅勒妮Disse
AI&NLP.
主题分析软件:它是如何工作的&为什么你需要它(2020)

主题分析软件:它是如何工作的&为什么你需要它(2020)

最有可能,您降落在此博客中,因为您有太多的反馈来分析。您发出了调查或收集的评论或其他形式的免费文本反馈。现在你有这个反馈,你用它做什么?您如何在响应中识别共同主题?

Alyona Medelyan博士
Alyona Medelyan博士
AI&NLP.