30年前，我首次接触到“软件工程”的概念。就是把工程的思想方法用在软件开发上。但那时作为一个学生，缺乏实践经验，对“工程”的理解是非常肤浅的。
由于工程项目的规模和资金投入往往很大、建设和影响长远，经济性就特别重要。用我现在的观点看，所谓的“工程方法”就是注重投入产出效果、提高经济性的方法。如何注重投入产出效果、提高经济性呢？在我看来，最关键的是逆向思维：防止出现各种不利于经济性的现象发生。错误少了，效率就高了。工程中可能遇到的典型问题有：
1、关注了短期、局部影响，忽视了长期、大尺度问题。
2、小的意外或不妥，导致大的损失。
3、实施过程中协同不好，局部问题引发全局问题。
4、前期策划不当。后期修改代价剧增。
简而言之，工程就是要求“谋定而后动”、特别重视严密计划、特别强调计划的执行。
把工程思想引入软件，本质上也是为了解决经济问题。人们发现：很多软件开发出来以后，并不能满足用户的需求；软件不适应用户需求的变化；如果软件的功能设计出了问题，后面修改的代价就非常大。这些问题的本质，也都是经济性不好。所以，软件工程也是强调“谋定而后动”、也特别强调策划。
现在看来，对于工业（大）数据分析，也必须强调工程方法论的思想和方法。否则，这一工作的经济性就难以保证，行业和企业就难以健康发展。
做数据分析的很多人有这样的经历：面对数据分析任务，人们往往事先不知道能得到什么结果；花了很长时间，往往得不到有价值的东西。不久以前，有家数据分析公司请我去交流。我发现这个问题是有共性的。应该如何解决呢？我想，可能必须要采用工程的思想和方法了。
大数据分析面对各种不确定性问题，但我们不能把大量的辛苦劳动，用于证明不确定的存在。要提高效率，就要减少不确定性带来的损失。我想，最有效的办法就是：把不确定性前置，通过前期策划，让数据分析过程的不确定性最小化。
这就要分析：数据分析中，不确定性的来源是什么。在我看来，不确定性的来源大体有：
1、价值不清晰。很多问题，初想起来是有价值的，但仔细确认一下却是没有价值的。比如，我们知道有些变量可以影响结果，但这个变量可能不能用来作为调整手段；或者更适合用别的方法调整。这样，即便分析出来，知识也没有价值。这一点必须事先搞清楚：我建议用5W1H的做法，把分析结果如何应用说清楚。
2、对象复杂度过高。单凭数据根本无法说清楚。怎么办呢？大数据分析要创造价值，就必须超越人的认知。但人是没有那么容易超越的。要超越人，除了选好的问题，就是设法“站在人的肩膀上”：让业务专家把业务逻辑说清楚。在此基础上做分析工作。这样，只要高出一点点，就能超越人。
3、数据模型和条件不清晰。在我看来，“把业务问题说清楚”，就是把业务需求转化成数据分析内容。但是，数据分析的困难之处往往是多变量、不确定性。这些问题本身，还是要让用户说清楚。比如，让用户说清楚，某个数据的采集和作用受什么影响。
不确定性带来的坏处是探索的增加——这就好比，钥匙放在某个抽屉里；如果不知道它具体放在哪里，就要一个个地去找、是省不下来的。要提高工作的效率，最好的办法就是减少不必要探索。所以，提高数据分析效率的本质办法，就是把不确定性尽量地减少，也就是把不确定性因素中的确定性分离出来、进而减少不必要的探索。
在我看来，数据分析过程最大的风险，在于业务知识和数据分析知识之间的无缝对接。
所以，数据分析工作最好能够划分成两个大的阶段。前面一个阶段的任务是建立一个桥梁：把业务需求翻译成数据分析要做的具体工作。相关的文档，需要让不懂数据分析的业务人员看得懂、能确认。理想的状态就是：让后面的数据分析工作，可以交给不了解或很少了解业务的人员来做。当然，后面一个阶段，就是数据分析的具体工作了。这种“两阶段”的方法，大体类似于把3米高的台阶，拆成两个1.5米的。进而把难度降低了。前面一个阶段，可能要花一半左右的时间。这个阶段的时间花的多，目的是让后面一段的无用功做得少。数据分析最大的难点在于需要探索的内容多。如果能减少不必要的探索，数据分析的效率自然就提高了。
这个话题非常复杂，今天只是把很初级的想法描述一下。总之，把前期策划做好，减少后期的盲目性，是提高数据分析效率的重要途径。
