當(dāng)下,人工智能已成為科技領(lǐng)域最熱門(mén)的技術(shù)。機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、人臉識(shí)別、無(wú)人駕駛、NLP,各種名詞不絕于耳。人工智能的應(yīng)用一方面在不斷改變我們每個(gè)人的生活方式,另一方面也在逐漸改變著企業(yè)的經(jīng)營(yíng)模式、決策方式。越來(lái)越多的企業(yè)經(jīng)營(yíng)者、高級(jí)管理人員、決策者都在這場(chǎng)了解人工智能的競(jìng)賽中感到焦慮,他們意識(shí)到,人工智能即將從根本上改變他們的行業(yè)。
在這場(chǎng)轟轟烈烈的人工智能浪潮中,我們發(fā)現(xiàn),對(duì)于商業(yè)企業(yè)來(lái)說(shuō),人工智能并沒(méi)有給他們帶來(lái)太多所謂的智能,它帶來(lái)的是智能的一個(gè)關(guān)鍵組成部分——AI預(yù)測(cè)。
預(yù)測(cè)是根據(jù)事物以往和現(xiàn)今的數(shù)據(jù),通過(guò)一定的科學(xué)方法和邏輯推理,對(duì)事物未來(lái)發(fā)展的趨勢(shì)作出預(yù)計(jì)、推測(cè)和判斷,尋求事物的未來(lái)發(fā)展規(guī)律。預(yù)測(cè)不僅研究事物的本身,而且還要研究它和環(huán)境之間的相互作用、相互影響。預(yù)測(cè)的過(guò)程就是在調(diào)查研究或科學(xué)試驗(yàn)的基礎(chǔ)上的分析過(guò)程,簡(jiǎn)稱(chēng)為預(yù)測(cè)分析。
預(yù)測(cè)實(shí)際上是一種填補(bǔ)缺失信息的過(guò)程。比如將非常規(guī)的信用卡交易歸類(lèi)為盜刷,將醫(yī)學(xué)影像中的腫瘤分類(lèi)為惡性,或是判斷當(dāng)前拿著手機(jī)的人是否是真正的機(jī)主,即運(yùn)用你現(xiàn)在掌握的信息(通常稱(chēng)為數(shù)據(jù)),生成你尚未掌握的信息。這既包含了對(duì)于未來(lái)數(shù)據(jù)的時(shí)序預(yù)測(cè),也包含了對(duì)當(dāng)前與歷史數(shù)據(jù)的分析判斷,是更廣義的預(yù)測(cè)。
在人工智能技術(shù)介入前,預(yù)測(cè)早已隨處可見(jiàn),小到個(gè)人股票投資,大到企業(yè)經(jīng)營(yíng)決策、國(guó)家制訂國(guó)民經(jīng)濟(jì)發(fā)展規(guī)劃,社會(huì)的方方面面無(wú)不體現(xiàn)著預(yù)測(cè)的重要性。而人工智能的飛速發(fā)展,將為預(yù)測(cè)技術(shù)提供了更多可行的思路和方案,使得預(yù)測(cè)的準(zhǔn)確度能夠得到有效提升,為各行各業(yè)提供超越傳統(tǒng)統(tǒng)計(jì)學(xué)分析的決策支持能力。
這當(dāng)中,更為重要的是,AI預(yù)測(cè)更廉價(jià)。“如果某樣?xùn)|西的價(jià)格下降,那么我們會(huì)更多地使用它。”——這是最簡(jiǎn)單的經(jīng)濟(jì)學(xué),如今這種情況正出現(xiàn)在預(yù)測(cè)領(lǐng)域。運(yùn)算的成本變得足夠低,繼而幫助我們快速找到成千上萬(wàn)種應(yīng)用方式。預(yù)測(cè)成本的下降也將影響其他東西的價(jià)值:比如提高互補(bǔ)品(數(shù)據(jù)、判斷和行動(dòng))的價(jià)值,以及降低替代品(人類(lèi)預(yù)測(cè))的價(jià)值
那么,預(yù)測(cè)技術(shù)發(fā)展到如今,何以稱(chēng)得上智能呢?回過(guò)頭來(lái)看,應(yīng)該歸功于更好的數(shù)據(jù)、模型和計(jì)算能力,它們促使預(yù)測(cè)技術(shù)飛速發(fā)展,從而走上“智能”之路。機(jī)器學(xué)習(xí)便是功臣之一。
歷史上,預(yù)測(cè)的主流分析方法是使用數(shù)據(jù)挖掘的一系列技術(shù),而這其中被經(jīng)常使用的是一種被稱(chēng)為“回歸”的統(tǒng)計(jì)技術(shù)。回歸做的是什么?它主要是根據(jù)過(guò)去發(fā)生時(shí)間的“平均值”來(lái)尋找一種預(yù)測(cè)。當(dāng)然,回歸也有很多種實(shí)現(xiàn)方式,有簡(jiǎn)單的線性回歸,多項(xiàng)式回歸,也有多因素的Logistic回歸,本質(zhì)上都是一種曲線的擬合,是不同模型的“條件均值”預(yù)測(cè)。
在機(jī)器學(xué)習(xí)之前,多元回歸分析提供了一種處理多樣條件的有效方法,可以嘗試找到一個(gè)預(yù)測(cè)數(shù)據(jù)失誤最小化,“擬合優(yōu)度”最大化的結(jié)果。但是,回歸分析中,對(duì)于歷史數(shù)據(jù)的無(wú)偏差預(yù)測(cè)的渴求,并不能保證未來(lái)預(yù)測(cè)數(shù)據(jù)的準(zhǔn)確度,這就是所謂的“過(guò)渡擬合”。
與回歸分析不同,機(jī)器學(xué)習(xí)的預(yù)測(cè)不追求平均值的準(zhǔn)確性,允許偏差,但求減少方差。過(guò)去,由于數(shù)據(jù)和計(jì)算能力的匱乏,機(jī)器學(xué)習(xí)的表現(xiàn)不如回歸分析來(lái)得好。但如今,一切都不一樣了,隨著數(shù)據(jù)體量的不斷增長(zhǎng),計(jì)算能力的不斷提升,使用機(jī)器學(xué)習(xí)和(神經(jīng)網(wǎng)絡(luò))深度學(xué)習(xí)來(lái)做預(yù)測(cè)效果比其他所有方法表現(xiàn)得都要更好,這使得我們利用統(tǒng)計(jì)學(xué)進(jìn)行預(yù)測(cè)的方法發(fā)生了徹底的轉(zhuǎn)變。把人工智能與機(jī)器學(xué)習(xí)的最新發(fā)展作為傳統(tǒng)統(tǒng)計(jì)學(xué)的延伸與加強(qiáng)這是非常誘人的想法!
那么,如果僅僅是預(yù)測(cè),為什么能稱(chēng)得上“智能”呢?這是因?yàn)?,某些情況下,我們預(yù)測(cè)的效果已經(jīng)好到我們可以直接用來(lái)做決策,而無(wú)需再應(yīng)用基于規(guī)則的邏輯。這其實(shí)也在改變著計(jì)算機(jī)編程的方式。
想象一下,原先復(fù)雜的業(yè)務(wù)場(chǎng)景下,基于“if...then...”以及傳統(tǒng)的統(tǒng)計(jì)學(xué)方法來(lái)實(shí)現(xiàn)的代碼邏輯,總是無(wú)法覆蓋所有的條件組合。而近年來(lái),支撐預(yù)測(cè)方法進(jìn)步的一種黑科技叫做“深度學(xué)習(xí)”,它與人類(lèi)大腦有著類(lèi)似的工作方式,利用“反向傳播”的方法從數(shù)據(jù)中不斷訓(xùn)練、反饋、學(xué)習(xí),獲取“知識(shí)”。就預(yù)測(cè)而言,隨著不斷的訓(xùn)練、自我學(xué)習(xí),預(yù)測(cè)模型會(huì)得到不斷優(yōu)化,預(yù)測(cè)準(zhǔn)確性也在隨著學(xué)習(xí)而改進(jìn),而越來(lái)越高的預(yù)測(cè)準(zhǔn)確性為商業(yè)決策提供了可信賴(lài)的基礎(chǔ)。
預(yù)測(cè)支持決策
一個(gè)完整的預(yù)測(cè)支持決策的回路包括下圖所示8個(gè)組成部分。這中間,數(shù)據(jù)在整個(gè)歷史數(shù)據(jù)輸入、模型訓(xùn)練、數(shù)據(jù)預(yù)測(cè)、決策、執(zhí)行、結(jié)果收集、數(shù)據(jù)反饋的完整回路中流轉(zhuǎn)。
? 數(shù)據(jù)清洗與特征工程是有效輸入的核心。實(shí)際情況中,由于預(yù)測(cè)項(xiàng)目開(kāi)始前對(duì)數(shù)據(jù)的統(tǒng)一管理不夠重視,對(duì)歷史數(shù)據(jù)進(jìn)行清洗整理會(huì)占掉整個(gè)預(yù)測(cè)項(xiàng)目的近一半時(shí)間。數(shù)據(jù)質(zhì)量的優(yōu)劣,其實(shí)是預(yù)測(cè)項(xiàng)目成敗極其重要因素。而有了優(yōu)質(zhì)的數(shù)據(jù),提取恰當(dāng)?shù)奶卣饕彩穷A(yù)測(cè)成功與否的重中之重。
? 足夠豐富的帶特征數(shù)據(jù)是預(yù)測(cè)模型得以訓(xùn)練的基礎(chǔ)。
? 預(yù)測(cè)是決策的核心輸入。依賴(lài)訓(xùn)練得到的模型與未來(lái)有限的確定因素,來(lái)為決策提供數(shù)據(jù)預(yù)測(cè)支持。
? 而決策執(zhí)行的結(jié)果又將反饋到訓(xùn)練模型,優(yōu)化預(yù)測(cè)。
當(dāng)下,人工智能已成為科技領(lǐng)域最熱門(mén)的技術(shù)。機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、人臉識(shí)別、無(wú)人駕駛、NLP,各種名詞不絕于耳。人工智能的應(yīng)用一方面在不斷改變我們每個(gè)人的生活方式,另一方面也在逐漸改變著企業(yè)的經(jīng)營(yíng)模式、決策方式。越來(lái)越多的企業(yè)經(jīng)營(yíng)者、高級(jí)管理人員、決策者都在這場(chǎng)了解人工智能的競(jìng)賽中感到焦慮,他們意識(shí)到,人工智能即將從根本上改變他們的行業(yè)。
在這場(chǎng)轟轟烈烈的人工智能浪潮中,我們發(fā)現(xiàn),對(duì)于商業(yè)企業(yè)來(lái)說(shuō),人工智能并沒(méi)有給他們帶來(lái)太多所謂的智能,它帶來(lái)的是智能的一個(gè)關(guān)鍵組成部分——AI預(yù)測(cè)。
預(yù)測(cè)是根據(jù)事物以往和現(xiàn)今的數(shù)據(jù),通過(guò)一定的科學(xué)方法和邏輯推理,對(duì)事物未來(lái)發(fā)展的趨勢(shì)作出預(yù)計(jì)、推測(cè)和判斷,尋求事物的未來(lái)發(fā)展規(guī)律。預(yù)測(cè)不僅研究事物的本身,而且還要研究它和環(huán)境之間的相互作用、相互影響。預(yù)測(cè)的過(guò)程就是在調(diào)查研究或科學(xué)試驗(yàn)的基礎(chǔ)上的分析過(guò)程,簡(jiǎn)稱(chēng)為預(yù)測(cè)分析。
預(yù)測(cè)實(shí)際上是一種填補(bǔ)缺失信息的過(guò)程。比如將非常規(guī)的信用卡交易歸類(lèi)為盜刷,將醫(yī)學(xué)影像中的腫瘤分類(lèi)為惡性,或是判斷當(dāng)前拿著手機(jī)的人是否是真正的機(jī)主,即運(yùn)用你現(xiàn)在掌握的信息(通常稱(chēng)為數(shù)據(jù)),生成你尚未掌握的信息。這既包含了對(duì)于未來(lái)數(shù)據(jù)的時(shí)序預(yù)測(cè),也包含了對(duì)當(dāng)前與歷史數(shù)據(jù)的分析判斷,是更廣義的預(yù)測(cè)。
在人工智能技術(shù)介入前,預(yù)測(cè)早已隨處可見(jiàn),小到個(gè)人股票投資,大到企業(yè)經(jīng)營(yíng)決策、國(guó)家制訂國(guó)民經(jīng)濟(jì)發(fā)展規(guī)劃,社會(huì)的方方面面無(wú)不體現(xiàn)著預(yù)測(cè)的重要性。而人工智能的飛速發(fā)展,將為預(yù)測(cè)技術(shù)提供了更多可行的思路和方案,使得預(yù)測(cè)的準(zhǔn)確度能夠得到有效提升,為各行各業(yè)提供超越傳統(tǒng)統(tǒng)計(jì)學(xué)分析的決策支持能力。
這當(dāng)中,更為重要的是,AI預(yù)測(cè)更廉價(jià)。“如果某樣?xùn)|西的價(jià)格下降,那么我們會(huì)更多地使用它?!薄@是最簡(jiǎn)單的經(jīng)濟(jì)學(xué),如今這種情況正出現(xiàn)在預(yù)測(cè)領(lǐng)域。運(yùn)算的成本變得足夠低,繼而幫助我們快速找到成千上萬(wàn)種應(yīng)用方式。預(yù)測(cè)成本的下降也將影響其他東西的價(jià)值:比如提高互補(bǔ)品(數(shù)據(jù)、判斷和行動(dòng))的價(jià)值,以及降低替代品(人類(lèi)預(yù)測(cè))的價(jià)值
那么,預(yù)測(cè)技術(shù)發(fā)展到如今,何以稱(chēng)得上智能呢?回過(guò)頭來(lái)看,應(yīng)該歸功于更好的數(shù)據(jù)、模型和計(jì)算能力,它們促使預(yù)測(cè)技術(shù)飛速發(fā)展,從而走上“智能”之路。機(jī)器學(xué)習(xí)便是功臣之一。
歷史上,預(yù)測(cè)的主流分析方法是使用數(shù)據(jù)挖掘的一系列技術(shù),而這其中被經(jīng)常使用的是一種被稱(chēng)為“回歸”的統(tǒng)計(jì)技術(shù)。回歸做的是什么?它主要是根據(jù)過(guò)去發(fā)生時(shí)間的“平均值”來(lái)尋找一種預(yù)測(cè)。當(dāng)然,回歸也有很多種實(shí)現(xiàn)方式,有簡(jiǎn)單的線性回歸,多項(xiàng)式回歸,也有多因素的Logistic回歸,本質(zhì)上都是一種曲線的擬合,是不同模型的“條件均值”預(yù)測(cè)。
在機(jī)器學(xué)習(xí)之前,多元回歸分析提供了一種處理多樣條件的有效方法,可以嘗試找到一個(gè)預(yù)測(cè)數(shù)據(jù)失誤最小化,“擬合優(yōu)度”最大化的結(jié)果。但是,回歸分析中,對(duì)于歷史數(shù)據(jù)的無(wú)偏差預(yù)測(cè)的渴求,并不能保證未來(lái)預(yù)測(cè)數(shù)據(jù)的準(zhǔn)確度,這就是所謂的“過(guò)渡擬合”。
與回歸分析不同,機(jī)器學(xué)習(xí)的預(yù)測(cè)不追求平均值的準(zhǔn)確性,允許偏差,但求減少方差。過(guò)去,由于數(shù)據(jù)和計(jì)算能力的匱乏,機(jī)器學(xué)習(xí)的表現(xiàn)不如回歸分析來(lái)得好。但如今,一切都不一樣了,隨著數(shù)據(jù)體量的不斷增長(zhǎng),計(jì)算能力的不斷提升,使用機(jī)器學(xué)習(xí)和(神經(jīng)網(wǎng)絡(luò))深度學(xué)習(xí)來(lái)做預(yù)測(cè)效果比其他所有方法表現(xiàn)得都要更好,這使得我們利用統(tǒng)計(jì)學(xué)進(jìn)行預(yù)測(cè)的方法發(fā)生了徹底的轉(zhuǎn)變。把人工智能與機(jī)器學(xué)習(xí)的最新發(fā)展作為傳統(tǒng)統(tǒng)計(jì)學(xué)的延伸與加強(qiáng)這是非常誘人的想法!
那么,如果僅僅是預(yù)測(cè),為什么能稱(chēng)得上“智能”呢?這是因?yàn)?,某些情況下,我們預(yù)測(cè)的效果已經(jīng)好到我們可以直接用來(lái)做決策,而無(wú)需再應(yīng)用基于規(guī)則的邏輯。這其實(shí)也在改變著計(jì)算機(jī)編程的方式。
想象一下,原先復(fù)雜的業(yè)務(wù)場(chǎng)景下,基于“if...then...”以及傳統(tǒng)的統(tǒng)計(jì)學(xué)方法來(lái)實(shí)現(xiàn)的代碼邏輯,總是無(wú)法覆蓋所有的條件組合。而近年來(lái),支撐預(yù)測(cè)方法進(jìn)步的一種黑科技叫做“深度學(xué)習(xí)”,它與人類(lèi)大腦有著類(lèi)似的工作方式,利用“反向傳播”的方法從數(shù)據(jù)中不斷訓(xùn)練、反饋、學(xué)習(xí),獲取“知識(shí)”。就預(yù)測(cè)而言,隨著不斷的訓(xùn)練、自我學(xué)習(xí),預(yù)測(cè)模型會(huì)得到不斷優(yōu)化,預(yù)測(cè)準(zhǔn)確性也在隨著學(xué)習(xí)而改進(jìn),而越來(lái)越高的預(yù)測(cè)準(zhǔn)確性為商業(yè)決策提供了可信賴(lài)的基礎(chǔ)。
預(yù)測(cè)支持決策
一個(gè)完整的預(yù)測(cè)支持決策的回路包括下圖所示8個(gè)組成部分。這中間,數(shù)據(jù)在整個(gè)歷史數(shù)據(jù)輸入、模型訓(xùn)練、數(shù)據(jù)預(yù)測(cè)、決策、執(zhí)行、結(jié)果收集、數(shù)據(jù)反饋的完整回路中流轉(zhuǎn)。
? 數(shù)據(jù)清洗與特征工程是有效輸入的核心。實(shí)際情況中,由于預(yù)測(cè)項(xiàng)目開(kāi)始前對(duì)數(shù)據(jù)的統(tǒng)一管理不夠重視,對(duì)歷史數(shù)據(jù)進(jìn)行清洗整理會(huì)占掉整個(gè)預(yù)測(cè)項(xiàng)目的近一半時(shí)間。數(shù)據(jù)質(zhì)量的優(yōu)劣,其實(shí)是預(yù)測(cè)項(xiàng)目成敗極其重要因素。而有了優(yōu)質(zhì)的數(shù)據(jù),提取恰當(dāng)?shù)奶卣饕彩穷A(yù)測(cè)成功與否的重中之重。
? 足夠豐富的帶特征數(shù)據(jù)是預(yù)測(cè)模型得以訓(xùn)練的基礎(chǔ)。
? 預(yù)測(cè)是決策的核心輸入。依賴(lài)訓(xùn)練得到的模型與未來(lái)有限的確定因素,來(lái)為決策提供數(shù)據(jù)預(yù)測(cè)支持。
? 而決策執(zhí)行的結(jié)果又將反饋到訓(xùn)練模型,優(yōu)化預(yù)測(cè)。