AdTiming首席科学家张文涛
2月阿里妈妈联合国际人工智能联合会议（IJCAI-18），以及阿里云天池平台启动了“IJCAI
2018阿里妈妈国际广告算法大赛”。据了解，比赛直指数字广告中的核心问题——转化率预估。
无独有偶，2017年腾讯也曾举办高校算法大赛，大赛的命题是“移动APP广告转化率预估”，也一样落在了非常实际的问题上：转化率优化。
他们一致的将算法大赛指向“转化率”！
近两年，“广告”成为互联网平台、开发者越来越重要的变现方式。他们对于在效率、效果、系统化和精细化程度的要求越来越高。
而其中决定广告变现效率很重要的方面，就是“广告平台的技术底层架构和应用方式”，“算法”则是其中关键，这也是巨头们纷纷开启各种算法大赛最本质的原因。
然而，相对于巨头来讲，第三方广告变现平台更加灵活和快速，他们不断进行算法模型的创新，以及探索一些实际应用的可能性。
移动营销行业公司AdTiming专为出海开发者服务，他们认为：当进入全球移动互联网爆发期，在讨论出海产品形态，全球化趋势以及渠道资源的同时，有关增量、获取优质用户和出海变现等话题备受关注。
而如何高效实现流量变现成为了移动开发者亟待解决的问题。
AdTiming首席科学家张文涛，进入ICT（Information and Communication Technology
信息和通信技术）行业多年，一直都有自己的想法。或是对成熟模型优化创新，以技术带来增长点；或是前沿模型探索，寻找到实际应用的可能性。
在接受Morketing的专访过程中，张文涛以科学实用的原则，分享了AdTiming在广告产品模型的优化心得，由此也能窥见他们和巨头们一样的效率追求。
“他是一个很自信的人！”
这是初次见面时，张文涛给我们的第一印象。他态度和善，举止沉毅。语速有些略快，带有技术人员一贯的严谨作风。音调虽然不高，却能让人听得分外清楚。或许同为理工男的原因，谈话时有种踏实的亲切感。
张文涛坦然告诉Morketing，在进入移动营销行业前，他其实是在电信行业工作，专注于大数据、人工智能等方向的研究。
“由电信行业转到营销行业，刚开始时还是有一些不习惯的，两个所面对的数据和需求完全不一样”，张文涛说。
“在电信行业做分析，主要是基于用户的通信行为，比如通话、发短信、活跃时间等等，对离网用户进行预测。或者通过数据挖掘分析的方式，为用户推荐新业务。这些数据可能包括通话数据、社交行为、地理位置等等。像移动公司甚至可以根据这些已挖掘的数据，分析人群中的水客。”
不过，尽管两个行业之间跨度非常大，数据和需求等方面的变量非常多，但是运用数据分析和挖掘原理是不变的，无非是应该用哪种方式、哪种模型建模会更合适而已。这在同一数据、同一个需求的时候，也同样适用，毕竟行业内也会想将效果进一步提升。
“切入到一个新的业务领域并非十分困难，行业里面有很多成熟的研究，包括
AI的基础利用、基础状态模型，我们可以一眼看出来。另外，这两年间大数据十分火热，这其中很大一部分大数据就是营销行业的流量数据。比如，通过分析用户的流量的流向做用户定向，可以知道用户经常访问的网站、APP等，从而去做精准营销，这都是营销行业所能利用的东西。”
众所周知，广告向精细化发展并不是一个新问题，国内许多公司也一直在做，包括对大数据的分析，人群画像，标签制定等等。如果要从技术层面上来谈的话，主要都是围绕AI或者机器学习的方式来实现这一目的。
在腾讯社交广告的体系中，最早应用人工智能理念和方法的就包括转化率预估、点击率预估和广告审核等多个方面。在数据挖掘中，也会利用到AI，例如对用户商业兴趣、行为和生活状态等进行判断时，机器学习是最好的选择，可以避免人工参与导致的隐私问题。
像AdTiming，目前便是通过AI实现点击率、预测、转化预测、分享等捕捉。
“现在行业内普遍是先用统一模型建模（包括广告、用户以及上下文等等），在这一前提下，为模型提供历史数据，使用深度学习，统一的训练算法，提升预测分析能力，这也是我们整体的发展方向”，张文涛说道。
谈及精细化或者精准度，无论如何都要涉及到一个非常重要的问题，那就是数据量级。在传统的认知中，当数据量不够大时，最终计算结果必然会有偏差。然而，在广告这一领域，情况会有些许不同。
“在广告领域，即便数据量很多，也是一种稀疏的数据。比如有很多流量是长尾流量，尤其像边缘性广告类，点击率比较低”，张文涛说。
“我们现阶段做的事情，其实就在数据稀疏的情况下，用技术手段将这一缺陷弥补起来，比如通过AI和算法模型解决这个事情。”
从整个行业大环境来看，这两年，AI发展非常快，同时，出现了多种多样的模型，包括经常看到的，通过深度学习构建的神经网络模型。
很多大公司，像Google、阿里、Facebook等等，正尝试将深度学习引导应用到广告领域中来。试图将更多的长尾流量或者弱信号在数据特征较少或者没有数据的情况下，把用户特征或者其他深层关系，通过学习挖掘出来。
现在来看，通过逻辑回归来预测点击率在行业内已经很成熟，很多公司都在用，效果比较明显。展开来说，逻辑回归属于广义的线性模型，比如现在非常成熟的ARMA模型，就是一种线性模型。
人们希望识别特征间的强关联关系，不过在广告领域，特征非常多，尤其是长尾流量中弱特征更多，想要利用人工特征工程的方法完全找到这些特征非常困难，且工作量极大，线性模型就不再适用。
此时，人们想起了机器学习中的非线性模型。这一类模型能够将特征进行自动合成，即自动的特征组合和交叉，以此解决上述问题。
就目前行业现状来看，传统非线性模型正逐渐成熟。随着技术的发展，许多人转而研究深度学习构建的神经网络，因为深度神经网络具有很强的非线性拟合能力，对高阶的特征交互挖掘能力非常可观。
不过，话说回来，深度学习模型其实早在多年前就已经被研究出来，但是为什么行业近几年才开始尝试使用？张文涛告诉Morketing，深度模型自身的特点，决定其在广告行业里大规模的工业化应用和推广还存在很大的挑战，还需要进行更多的理论创新和工程实践与优化工作。
首先，深度学习对数据量要求比较大，只有在大数据量的情况下才能发挥优势。
其次，针对广告领域的大规模稀疏数据，适合应用和推广的网络结构还需要探索。最后，其复杂度比较高、计算量大，在实际应用中需要解决迭代周期长和实时性的问题，同时软硬件成本也会大幅增加。
此外，据了解，从目前发布的深度学习在CTR预估领域的研究情况来看，其效果的提升并不像DNN（深度神经网算法）在其他领域（如语音识别、图像识别等）所取得的结果那样惊人。但是采用DNN来构建CTR模型肯定是趋势，这里还有很大的潜力可挖掘。
现在国内外大型互联网公司，如Google、Facebook、微软、阿里等，对深度学习模型在广告推荐应用的研究都很有热情，每年都有不少的论文面世，相关研究主要集中在多模型融合以及网络结构改进等方面，以找到更加适合广告数据集和CTR预估的算法模型。
如谷歌提出的宽度&深度学习模型，同时考虑低阶和高阶特征交互，比单一考虑一个方面可以带来更好的效果；以及在此模型基础上改进而来的深度交叉网络DCN和DeepFM，DCN在提示性能的同时却需要更少的参数和计算资源要求，而DeepFM则用FM替换宽度学习部分的LR，省去了繁琐的人工特征过程。
AdTiming成立时间还不到两年，在技术上有一些后发优势或者说站在别人的肩膀上。行业内有很多成熟的、历经验证的模型可以直接使用，而且基础创意不是很复杂，适合在工业化里面大量的运用。不过，AdTiming更加追求自己的创新。
张文涛说，“大家所使用的基础理论和工具模型是一样的，想要效果更好，必然需要一些创新和训练优化的小技巧。比如说，影响广告点击率的特征很多，不同的特征和特征交互其对预测的能力是不一样的，如果对所有的特征和特征交互一视同仁，那么模型的预测能力就会受到阻碍，可能导致不理想的结果。因此，需要给予特征交互不同的权重以表达其对预测结果的影响能力，具有较多有用特征的交互应被指定较高的权重，因为它们对预测的贡献较大。”
一路走来，AdTiming团队历经3个阶段。
1. 从最初应用最简单的逻辑回归LR模型。
2. 发展到现在使用传统的非线性模型，在做GBDT+FM 这两种模型的组合，在实际应用中取得了很好的效果。
3.同时在深度学习领域投入了大量精力进行研究与实验工作，尝试了多种DNN模型，也提出了一些思路和想法，寻找结构简单、性能可观、更适合应用和推广的网络结构。
其实在广告里面，多种模型的融合已经是常态。比较经典的是Facebook提出的GBDT+LR的组合模型，解决了LR需要人工特征工程的问题，并在当时做出了客观的效果提升。行业不断的在试不同模型，然后不断调整参数和结构，从而更加完善。而AdTiming的做法也并不令人意外。
以目前现状来说，AdTiming也在积极探索前沿模型，比如最新出现的深度森林，这是一种可以与深度神经网络相媲美的，基于树的模型。
深度森林，一方面提供了强大的非线性拟合能力，可以挖掘高阶的特征以及隐藏属性；另一方面，模型要比神经网络要简单，也没有很多的超参数要去调整，并且天生就支持并行处理。深度森林在小数据量也能获得较好效果，优化后也更容易达到更高效果，并且在性能上绝不会弱于DNN，可以较容易满足广告系统的实时性要求。
“深度学习本身是一个基本的理论和基础，在广告的点击率预估领域还有更多的应用，比如利用它在图像识别、自然语言处理的独特优势，可以对广告素材进行识别，将素材中的图片、视频、描述文字等也作为特征加入到CTR模型中，会带来更全面的预测能力，从而提升整体广告变现效率”，张文涛最后说道。
