?????????????????????????????????????????????????????
???????????????????????
?????????????????????????????????????????????????????????????????????????????????????????????????
??????????????????????????????????????????????????
????????????????????????????????????????????
?????????????????????????1.???????2.??????3.?????????????????????????????????
???????????????
????????????????????
????/????/?????????????????
?????????????????????????????????
??????????????????????????????????????Excel??????leader??????????????????????????????????????Excel???
?????????????????????????????????????????????????????????????????????
???????????????
???????????????????????????????????????????????
?????????????
??????????????
??????????
????????????????
????????????????
????????????????
?????????
????????????????????????????????????????????????????SQL??????????????????
??????????????????????????????????????????
??????????????????????????????????????????????KPI?
???????????
???????????????????????????
??????????
??????????????????
???????????????????
?????????
????????????????what?when?who?why?how?????????????????????????????????????????????????????????????????????????????????????????????????????????????
?????????????????????????????????????????????????????????????????????????????
???????????????????????
?????????leader?leader????????????????????????????????????
?????????????????????????????????????????????????????????????????????????????????????????????????????????????
?????????????????????????????????????????????????????????????????????????????????????
?????????????????
????????????????BI?????????????BI?????????BI?????BI???????????????BI?????????????BI??????????
???????????????????????????????????????????Excel SQL/hive?????????????????????????????????????????????????????Python?????????????????????????????
???????????????????????????????????????????????????????????????????/???????????????????????????????????“???”???
??/?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
?????????????????????????Python??????????????????????????????(????????????)??????????????????????????
??????????????????????????????????????????????????????????????????
?????
???????????????????????????????
????/????????????????????????????????????
?????????????????????????????
??????????Data mining??????????Machine Learning?????/???????????????????????????????????????????????????????????????????
???????????????????????????????????????????PageRank???????????????????????????????????????????
??????????????????????????????????????????????????(?????)?????????????????????????????????????5??????????????????????????…?????????????????????????????????????????????
????????????????????????????????????????????????????
?????????????????????????????R?Python?Scala/Java???????????????????Hadoop/Spark??????????SQL/Hive?????
??????????????
????
????
????
????/????
????
????
????
??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
??????????????????????????????/????????????????????????????????????????????????????????????????
?????????????????????????
??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
????????????????????????(???????Title????????)???????????????????????????
??????????????????????????????????????????????????????????????????????????????????????????????????????????????? ????????????????????????
?????????????????????????????????????????????????????????????????????TensorFlow, Caffe, MXNet????????????????????????????????????????
??????????????level???????????????????/?????
?????????????????????????????????????????????????????????????????
?????
??????????????????????????????????????????
???????“???????”???????“The Elements of Statistical Learning”??????
???????????“??????”?????“????”???????????PRML?
Python?????????????“?Python??????”???????????????????????stackoverflow??????Python????????????????
???????????????????????“??????”?“??????”?????????????“Python DataScience Handbook”??????????????????(hu)?(you)?
????????????????????????????…?????????????????????(????????)???Spark/Hadoop??????????????
???????????????????????????????????PM???????????????
?????????????????????????????????????????????????????????????????????????????????????????
?????????????????????????????????????????AB??????????????????????????????????????
????????????????????????????????????????????????35%?
??????????????????AB????????????????????????????????????????????
?????????????????????????????????????????????????????????????????BI??????????????????????????????????????????????
????????????????
???????????????????????
????????????????????????????????
???????????????????????????????
??????????????????????????????????
?????????????
?C???????????????????????????????????????Axure?Visio?MindManager??????????????????????BI/DW??????????????????????????????????C??????????????????????????
??????????????????????????????????????????????????????????????????…??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
????PM????????????????????????????????????????????????????
??????????????????????????????????????????????????????????????????????????????????????????PM???????????????????????????APP????????????????????????????BI????????????????????????????????????????????PM?
??????????????????????????????????????????????????????????????????????????????????????????????????????????????
?????
????????????????????????????????????????????????????Axure?????????????????????????????
????????“????????????”??????????????????????“??????—?????????????????”???????????????????????????????????????????……
?????????????
????????????????????????????????????
???????????????????????????????????????????????????????????????????????????? ETL BI?
??????????????????????????
??????????join??????????????
ETL??????????????kettle/airflow????????DAG????
???????????????????????????BI?
??????????T1???????????????????????
???????????????????Hadoop/Spark??????????????
???????????????????apache???????????????????
???????????????????????????????????Flume/Kafka???
??…
???????????????????????????????????SQL????Hadoop?????presto/impala/spark???ELK?????????NoSQL……
?????????????????????????/?????????????????????????????????????????????????????????????????????/?????
?????????????????Title?????(??????????????)?????????ETL/DW/BI??????????????????
?????????????????????????????????????sparkMLlib?Mahout?????
???????????????SQL?????????????????????????????????????????????????????????????????????????????????????????????????
???DBA?BI????????????????????????????????????
?????
??????????????????????????????????linux??????Hadoop?Spark?Storm?Elasticsearch??????????????????????????????????
?????????????????????????????????????(????????????????????????????)?
?????????????—????—????—?????
??????????????????????????????????????????????????????????????????????????(????????????????????)?
??????????????????????????????????????Flume Kafka???????????????????????????????????????????????????????????
??????????????????????????????????????????????????????????????????????????BI?????????????PM????…???????????????????????????????????????
??????????????????????????????????????????????????
??????????????????????BI?????????????????????????????????PM?AB???????????????????????
???????????????????????????????????????????????????????????????????????????????????????????????????????????????
????????????????????????????????????????????????????????????????????????????????????????