导航↓ 相册|收藏博客|加入友情链接|给博主留言
畅享博客 > 博文的天空 > [原创]用“测试”取代拍脑袋及领导英明
2016/9/28 17:01:28

[原创]用“测试”取代拍脑袋及领导英明

过去企业的运营常常靠着管理者的聪明才智,或是过去累积的经验来行事,到了大数据时代人们已经认知到这是不足的。大数据时代虽然在技术面上提供了比以往更好的工具及分析能力,让企业在搜集数据、汇整数据、分析数据等方面,能够更大量、更多元、更快速的进行。但是大数据反映的是顾客过去的行为、习惯,不能“判断”顾客对未来变化的反应,数据只能“呈现”某些倾向或新发现。

 

“判断”是企业管理者做决策的过程,它是“人”做的事,而不是“数据”,数据分析只是提供管理者决策时的辅助或佐证。过去公司大大小小的决策常常依靠管理者的经验或直觉,只是说到了大数据时代,有海量数据可以做后盾。但是管理阶层若无足够的训练,或是企业的数据分析师不懂公司的业务,那么数据越大,数据产生的“噪音”也越大,很容易出现一个分析结果、不同人各自表述。为了避免人们太过经验导向,因而忽略了数据分析所带来的“信息”,管理者最好的方法之一就是采用测试,来检验新商品或是新的业务模式将来全面铺开后是否能成功。

 

互联网公司进行A/B对照测试要比线下企业容易多了;比如什么样的网页风格比较吸引网友的注意力,销售信息放在网页什么位置更能促进点击与转化等等。大型电商可以较容易的随机挑选几万名用户,得到他们对某种实验中的产品或是图片、文案表现方式的反馈,做为未来正式上线面对千万级别目标客户时采用。

 

但是对线下零售商来说就非常困难了;规模庞大拥有几千家的连锁店,要判断即将投入巨资的重要促销活动或是新商品适不适合全线推广或采用,受限于“时间”、“地理位置”及“成本”,只能小规模的抽取几家店来测试(了不起上百家),很难扩张到几千家去实验,如果真的这样做,那就不是测试,而是正式“上架”了。既然A/B对照测试没有线上公司方便、容易、精准,那么对线下零售商来说,测试的技术,取样的方法就变得非常重要。

 

为了充分运用商业测试,达到降低成本、提高效率、增加收益的目的,企业必须先自问:1. 测试目的是否明确?2. 公司是否能保证按试验结果行事?3. 测试的可操作性如何?4. 如何确保测试结果的可靠?

 

1. 测试目的是否明确?

美国知名的连锁百货公司Kohl’s百货,在2013年想要找出降低经营成本的方法,有高管提出,将周一到周六的开门时间往后推迟一小时。这个提议在内部引起了销量会不会受影响的争议,于是公司在100家门店进行测试,最后试验证明延后一个小时开门营业不会造成营业额下滑。这个案例的试验目的很明确。

 

2. 公司是否能保证按试验结果行事?

假设测试的过程是严谨的,那么公司必须尊重结果,按结果行事,不能片面选择领导可能喜欢的某部分数据来解读,或对事实视而不见。还是以Kohl’s百货为例;该百货曾想增加家具类的商品,公司大多数的高管都很看好,认为是一个新的利润增长点。但是经过70家门店为期6个月的测试,公司整体净收入反而下滑了。原因是为了给家具腾出展示的空间,其他商品的展示空间相应变小了,以致整体收入减少。

 

这个项目最终被否决了。Kohl’s百货的案例强调了一点:必须尊重测试结果,即便这个项目曾经获得许多高管看好。

 

3. 测试的可操作性如何?

有人说商场如战场,这是说商业环境瞬息万变,跟战场一样充满了变数。企业想从测试中归纳出有效信息,帮助决策,其实难度挺大的,因为要先找到对的假设,或是说会影响结果的变量。我们看看下面这个例子;假设有某个连锁便利店有10,000家门店,其中有80,00家名字叫做“你家”,20,00家名字叫做“我家”。

 

“你家”门店每年营业额有180万元,“我家”门店每年的营业额为150万元。若有某位高管说,如果把“我家”门店的名字改成“你家”,那么公司业绩每年是否会增加6亿元?(180-150万)x2000

 

这似乎是个“合理”的假设,但是它的可操作性呢?消费者会因名字改变,就提高上门的次数,或是平均购买金额吗?以便利店来说,影响收入的因素很多,比如附近人口数量、区域特性(在商业区或住宅区),店面大小、店长管理能力、有无竞争对手等。那么进行测试吧!看看改名是否真的会增加营业额?问题来了,名字只是影响业绩的诸多变量之一,企业控制了“名字”这一项,但是能控制住其他变量对业绩的影响,而真实反映“名字”这一变量的影响力吗?

 

要抵消其它变量的影响,测试的样本数量要很大,但是这种测试成本太高。例如该企业拿出1000间原本名字叫“我家”的便利店改名叫“你家”。消费者怎这么想?名字改了,门店的装修风格要不要改成“你家”的风格?万一测试的结果发现改名对业绩的提升一点关系都没有,企业要不要改回原名,且恢复原来“我家”的门店风格?这些问题牵涉到改名后顾客流失的风险,还有更换招牌与装修的资金投入。

 

这个案例在说明“试验的可操作性”,如果企业对于会不会影响结果的变量假设是错误的,或考虑不周延,造成测试成本太高,分析起来更为复杂,那么这个测试就是“可操作性低”。

 

4. 如何确保测试结果的可靠?

统计学上为了让测试结果可靠,“随机”是一个很重要的操作观念,随机不是随便选,牵涉到抽样的技术与能力。随机的重要性在于,它能预防有意或无意间产生的系统偏差对测试结果带来影响,还能将未知的影响测试的因素平均分配给实验组及对照组,避免偏颇。

 

随机的操作最好交给专业人士来执行,而不是让公司管理者拍脑袋决定,因为管理者可能会因为专业不够而犯错误。美国最大的宠物零售店Petco,曾经有高管钦点30家业绩最好的门店做为实验组,另外选出业绩最差的30家门店做为对照组,来测试某个打算推行的新项目。测试结果很成功,但是实际全面实施后,却以失败收场。失败的原因在于管理者没有考虑到其它变量,例如门店大小、商圈特性、顾客特性、门店附近竞争对手情况等,因此,让实验结果变得不可靠。

 

第二个会影响测试结果可靠性的因素是实验过程可能产生的“霍桑效应”。霍桑是美国西部电器公司一间工厂的名字,在1924~1933年期间,学者想从这间工厂研究工作条件与生产效率之间的关系。结果研究人员发现参加实验的受试工人,当了解到自己在参与试验,反而有改变行为的倾向。这对实验结果的可靠性影响很大,于是被称为“霍桑效应”。企业在进行测试时,对于获选为测试的人员,要注意排除“霍桑效应”的影响。最好的做法就是不要让他们知道自己是测试计划的参与者。

 

一个可靠的测试结果,必需具备可重复操作性;换其他人来做或是换一批有效样本,也能得出相近的结果。

 

测试的目的是在降低企业有影响力的人(或群体),因为个人主观因素所造成的决策盲点或偏差,因而给公司带来的可能损失。透过关注样本大小、随机性、A/B测试及掌控其它因素,确保测试结果有效。实验结果可重复性越强,越能说服企业内部反对的声音。测试能帮助公司调整项目中考虑不周之处,避免全面执行时失败的风险。测试也是让企业有限的资源能聚焦于最佳的商业机会上,为企业带来更好的投资报酬率。



评论

您还未登录,不能对文章发表评论!请先登录