首页>>技术前沿>>网站/软件行业动态学习大数据的童鞋都知道大数据挖掘是发现规律的一种手段，但在很多企业里数据挖掘有点像奢侈品，因为大数据挖掘的过程一般较长，总体来讲性价比不是那么高，规则取数往往成为了企业数据驱动业务的主流。笔者一直在思考传统企业敏捷数据挖掘的可能性，这里主要从挖掘引擎、数据准备、训练方法、迭代方式、产品思维等方面进行阐述。
1、打造全流程大数据挖掘引擎
机器学习引擎一般是跟企业的整个大数据环境无缝集成的，无论是在数据准备、数据输入、算法选择、模型训练、模型输出或是生产部署等各个阶段。商用的数据挖掘引擎则一般只能做点的事情，强调的是算法的多样选择及模型训练的可视化体验，在数据准备、数据输入、模型输出、生产发布等数据挖掘的其它阶段是游离在之外的，需要跟企业的数据环境进行交互才能完成一个数据挖掘过程，而这些交互一般不是自动的，也不具备可视化能力，这造成了整个数据挖掘流程的割裂，而企业在这些阶段花费的代价是很大的。随着一般算法使用门槛的降低，当前商用挖掘引擎都在朝着人工智能算法+海量计算平台化方向转变，但其并不会变得更敏捷，因为整个流程仍然是割裂的。
2、降低变量准备时间
大数据挖掘中数据准备时间过长，企业除了考虑数据仓库建模，还需要考虑是否在此基础上建立一个数据挖掘的数据中台，数据挖掘中台属于数据中台的一部分，行业特性会比较明显，比如电商有电商的数据挖掘中台，运营商则有运营商的数据挖掘中台，只要你在某个行业数据挖掘做多了，变量准备做多了，你自然会找到一些共性的东西，如果能把它们沉淀下来，就能降低变量准备时间，建立数据挖掘中台涉及IT战略问题，对于传统被动型的数据管理机制流程都是挑战，比如要建立一支中台团队就不容易。
3、选对模型提升的方法
一般来讲如果数据不变，大数据挖掘训练的边际效益并不高，同样的一份数据用不同的算法反复训练，如果要尽快的提升模型的效果，要讲究点方法，尽量遵循以下优先级：业务>数据>算法。没有深刻的业务理解去做数据挖掘往往是事倍功半，行业的业务理解越透彻，就越能抓住数据中本质的特征，诸如图像识别等场景已经可以靠神经网络来自动查找特征了，但大多数行业领域不行，还是要靠业务专家，多组织一次讨论获取的灵感可能远远好过于在算法上折腾一个月。没有更多更好的数据去训练模型，巧妇也难为无米之炊，一定要相信数据的重要性远远超过算法，很多初级的建模师算法能力很强，但就是做不成事，往往是因为其对于自身企业的数据理解太浅所致，外来的和尚念不好经也是这个道理。一般企业的数据挖掘师都需要通过长时间的取数训练，如果能做过数据仓库的更好，这样对于企业的数据体系有个全局的认识，在特征选择时有更多的发挥空间，大数据中最强调的一个特征是维度多，也一定程度说明了数据多样的重要性。
4、快速迭代及时止损
大家都知道建模需要快速迭代，但传统企业中数据挖掘的快速迭代总是起不来，原因当然很多，包括渠道问题、沟通问题，流程问题，外包问题，机制问题等等，这里笔者提一个数据挖掘“四个一”原则，即要为数据挖掘设置一些时间底线。
一线沟通，就是业务理解要跟生产人员沟通，而不要只跟管理者沟通，确保能够听到一线真实的炮声。
一周训练，整个模型的训练需要控制在一周完成（注意不是算法研发），如果训练倒腾超过一个月，性价比一般很低。
一周验证，训练的结果要在一周内让一线反馈结果，传统企业模型做不好往往是第一时间拿不到反馈数据所致，这牵涉到企业复杂的线下执行流程，需要在管理层面进行控制。
一周优化，确保能用反馈的数据进行模型的快速优化，第三和第四反复迭代。
当然这里的一周更多是象征意义，企业可以基于自身的实际进行周期的调整，关键是要有成本意识，及时止损，时间拖的越长风险越高，因为市场变化很快，业务人员的耐心有限。
5、通过运营保有挖掘资产
据统计离网模型在某些企业做的次数会超过几十次，重做有很多理由，比如市场环境变了，原来模型不好用了等等，但重做意味着对原有投入资源的极大浪费，是最大的不敏捷。“重建设，轻运营”是企业IT建设常见的毛病，由于数据挖掘的模型受业务和数据变化的影响很大，随着时间推移效果下降是必然的事情，而且这个折损跟固定资产折损还不一样，人家折损好歹还能正常用，但模型效果变差就意味着效益变差，模型更要拼运营能力。从这个角度看，如果你觉得一个模型重要，就要把它当成一个产品，用产品化的思维去运营它，比如设置独立的模型经理，从用户、流量和效果等角度去持续的做提升，很多企业模型建完推广完了就成鸟兽散，这注定了模型的悲剧。模型运营投入的代价是巨大的，如果很轻松，基本也就是些僵尸模型了。
【全文完】
版权声明:
1、弈聪软件网站内容中凡注明“来源：XXX（非陕西弈聪网站）”的作品，转载自其它媒体，转载目的在于传递更多信息，其中涉及的网站建设，网站优化，APP开发，微信小程序开发，大数据平台开发，区块链技术开发等软件开发技术细节并不代表本站赞同支持其观点，并不对其真实性负责。对于署名“陕西弈聪”的作品系本站版权所有，任何人转载请署名来源，否则陕西弈聪将追究其相关法律责任。
2、本站内容中未声明为“原创”的内容可能源自其它网站，但并不代表本站支持其观点，对此带来的法律纠纷及其它责任与我方无关。如果此内容侵犯了您的权益，请联系我方进行删除。
企业动态
