Python數(shù)據(jù)建模

【課程目標】

本課程為中級課程《大數(shù)據(jù)建?！返牡诙簳r序篇

本課程主要講解如何利用Python進行時間序列的數(shù)據(jù)建模，幫助學員構建系統(tǒng)全面的預測建模思維，提升學員的數(shù)據(jù)建模綜合能力。

本系列課程從實際的業(yè)務需求出發(fā)，結合行業(yè)的典型應用特點，圍繞實際的商業(yè)問題，對數(shù)據(jù)預測建模的過程進行了全面的介紹（從模型選擇，到屬性選擇，再到訓練模型，評估模型以及優(yōu)化模型），通過大量的操作演練，幫助學員掌握數(shù)據(jù)建模的思路、方法、技巧，以提升學員的數(shù)據(jù)建模的能力，支撐運營決策的目的。

通過本課程的學習，達到如下目的：

1、 掌握數(shù)據(jù)建模的標準流程。

2、 掌握時序預測建模的基本思想，理解因素分解的思路。

3、 掌握常用的趨勢擬合模型。

4、 掌握常用的季節(jié)預測模型，能夠進行季節(jié)周期性的時序建模。

5、 深刻理念平穩(wěn)序列的概念，以及平穩(wěn)性檢驗。

6、 掌握平穩(wěn)序列的模型識別，以及模型定階。

7、 掌握時序預測模型的評估，以及優(yōu)化。

8、 掌握高級時序模型的訓練與建模。

【授課時間】

2天時間

（要根據(jù)學員的實際情況調(diào)整重點內(nèi)容及時間）

【授課對象】

業(yè)務支撐部、運營分析部、數(shù)據(jù)分析部、IT系統(tǒng)部、大數(shù)據(jù)系統(tǒng)開發(fā)部等相關技術人員。

【學員要求】

1、 每個學員自備一臺便攜機(必須)。

2、 便攜機中事先安裝好Python 3.9版本及以上。

3、 安裝好Numpy,Pandas,statsmodels,sklearn,scipy,keras等擴展庫。

注：講師現(xiàn)場提供分析的代碼和數(shù)據(jù)源。

【授課方式】

建模流程+ 案例演練 + 開發(fā)實踐 + 可視化呈現(xiàn)

采用互動式教學，圍繞業(yè)務問題，展開數(shù)據(jù)分析過程，全過程演練操作，讓學員在分析、分享、講授、總結、自我實踐過程中獲得能力提升。

【課程大綱】

第一部分： 預測建?；A

1、 數(shù)據(jù)建模六步法

? 選擇模型：基于業(yè)務選擇恰當?shù)臄?shù)據(jù)模型

? 屬性篩選：選擇對目標變量有顯著影響的屬性來建模

? 訓練模型：采用合適的算法，尋找到最合適的模型參數(shù)

? 評估模型：進行評估模型的質(zhì)量，判斷模型是否可用

? 優(yōu)化模型：如果評估結果不理想，則需要對模型進行優(yōu)化

? 應用模型：如果評估結果滿足要求，則可應用模型于業(yè)務場景

2、 數(shù)據(jù)挖掘常用的模型

? 數(shù)值預測模型：回歸預測、時序預測等

? 分類預測模型：邏輯回歸、決策樹、神經(jīng)網(wǎng)絡、支持向量機等

? 市場細分：聚類、RFM、PCA等

? 產(chǎn)品推薦：關聯(lián)分析、協(xié)同過濾等

? 產(chǎn)品優(yōu)化：回歸、隨機效用等

? 產(chǎn)品定價：定價策略/最優(yōu)定價等

3、 屬性篩選/特征選擇/變量降維

? 基于變量本身特征

? 基于相關性判斷

? 因子合并（PCA等）

? IV值篩選（評分卡使用）

? 基于信息增益判斷（決策樹使用）

4、 訓練模型及實現(xiàn)算法

? 模型原理

? 算法實現(xiàn)

5、 評估模型

? 評估指標

? 評估方法

? 殘差評估

6、 模型優(yōu)化

? 優(yōu)化模型：選擇新模型/修改模型

? 優(yōu)化數(shù)據(jù)：新增顯著自變量

? 優(yōu)化公式：采用新的計算公式

7、 模型應用

? 模型解讀

? 模型保存/加載

? 模型應用/預測

8、 好模型是優(yōu)化出來的

第二部分： 時序模型評估

1、 評估指標

? 判定系數(shù)：和

? 平均誤差：MAE

? 根均方差：RMSE

? 平均誤差率：MAPE

2、 信息準則指標

? 赤池信息準則（Akaike Information Criterion，AIC）

? 貝葉斯信息準則（Bayesian Information Criterion，BIC）

? HQIC（Hannan-Quinn Information Criterion，HQIC）

3、 評估方法

? 滾動交叉驗證法（cross validation）

4、 其它評估

? 殘差評估：白噪聲評估

第三部分： 趨勢預測模型

問題：無法找到影響因素，無法回歸建模，怎么辦？隨著業(yè)務受季節(jié)性因素影響，未來的銷量如何預測？

1、 時間序列簡介

2、 時序預測的原理及應用場景

3、 常見時序預測模型

? 趨勢類預測模型

? 季節(jié)類預測模型

? 平穩(wěn)時序預測模型

? 其它高級模型

4、 移動平均

? 應用場景及原理

? 理解滑動窗口

? 移動平均種類

2 一次移動平均

2 二次移動平均

2 加權移動平均

2 移動平均比率法

? 移動平均關鍵問題

2 最佳期數(shù)N的選擇原則

2 最優(yōu)權重系數(shù)的選取原則

演練：銷售額預測模型及評估

演練：快銷產(chǎn)品季節(jié)銷量預測及評估

5、 指數(shù)平滑

? 應用場景及原理

? 最優(yōu)平滑系數(shù)的選取原則

? 指數(shù)平滑種類

2 一次指數(shù)平滑

2 二次指數(shù)平滑（Brown線性）

2 三次指數(shù)平滑

演練：煤炭產(chǎn)量預測

6、 Holt趨勢模型（亦稱二次指數(shù)平滑）

? Holt線性模型

? Holt指數(shù)模型

? 阻尼線性趨勢

? 阻尼指數(shù)趨勢

第四部分： 季節(jié)預測模型

1、 因素分解思想

2、 時間序列的四個構成要素

? 長期趨勢Trend

? 季節(jié)變動Seasonality

? 循環(huán)變動Circle

? 不規(guī)則變動Irregular

案例：時間序列的季節(jié)分解

3、 Holt-Winters季節(jié)模型

? 三個組成部分

? 三個平滑因子

4、 HW加法模型

? 適用場景

? 計算公式

? 超參優(yōu)化

? 模型解讀

5、 HW乘法模型

6、 HW指數(shù)模型

案例：航空飛行里程預測模型

案例：汽車銷量預測模型

案例：沃爾瑪收益預測模型

7、 基于回歸的季節(jié)模型

? 相加模型

? 相乘模型

? 模型訓練及優(yōu)化

? 模型解讀

第五部分： 平穩(wěn)序列模型

1、 平穩(wěn)序列預測模型簡介

2、 序列平穩(wěn)性概念

? 恒定的均值

? 恒定的標準差

? 與位置無關的協(xié)方差

3、 序列平穩(wěn)性檢驗

? 折線圖法

? ACF/PACF圖

? ADF檢測法

4、 特殊平穩(wěn)序列：白噪聲

案例：序列平穩(wěn)性檢驗

案例：白噪聲檢驗

5、 平穩(wěn)序列常用擬合模型

? AR(p)自回歸模型

? MA(q)移動平均模型

? ARMA(p,q)自回歸移動平均模型

6、 模型識別

? ACF圖

? PACF圖

7、 模型定階

? 圖形定階（ACF/PACF）

? 最小信息準則定階

8、 非平穩(wěn)序列處理

? 平滑法

? 變量變換

? 差分運算：k步差分與d階差分

9、 ARIMA(p,d,q)建模流程

案例：上海證券交易所收盤價建模

10、 SARIMA(p,d,q)(P,D,Q,S)模型

? 圖形確定階數(shù)

? 遍歷確定階數(shù)

11、 時序模型總結

第六部分： 模型質(zhì)量評估篇

1、 回歸模型的評估指標

? 三個基本概念:SSR/SST/SSE

? 兩個判定系數(shù):R^2,調(diào)整R^2

? 三個誤差指標:MAE/MAPE/RMSE

2 平均絕對誤差MAE

2 均方差MSE/RMSE

2 平均誤差率MAPE

2、 模型的評估方法

? 原始評估法

? 留出法（Hold-Out）

? 交叉驗證法（k-fold cross validation）

? 自助采樣法（Bootstrapping）

3、 時間序列的滾動交叉驗證

第七部分： 高級時序模型

1、 Prophet模型介紹

? 趨勢擬合

? 季節(jié)性預測

? 節(jié)假日和特殊事件的影響

? 離群值分析

案例：銷售額時序預測模型

2、 LSTM模型簡介

? 數(shù)據(jù)集構造

? 形狀構造

? 滾動預測

第八部分： 廣告點擊量時序建模

結束：課程總結與問題答疑。