12.3. Học máy kinh tế lượng

Estimated reading: 11 minutes 6 views

TÓM TẮT NHÓM 12.3:

Định danh nhóm bài giảng: Nhóm 12.3. Học máy kinh tế lượng trực thuộc 12. Hệ phương trình đồng thời, hệ cầu, kinh tế lượng Bayes và học máy.
Phạm vi mô hình: Quy tụ 4 mô hình kinh tế lượng từ mục 12.3.1 đến mục 12.3.4.
Cơ sở phương pháp luận: Hệ thống hóa phương trình cấu trúc, phân biệt giả định nhận dạng và cấu trúc sai số chuẩn theo Greene (2019); Wooldridge (2010); Hansen (2022).
Đối chiếu đa nền tảng: So sánh trực tiếp cú pháp thực thi trên Stata 18, R 4.x và Python 3.11+ theo Breiman (2001); Mullainathan & Spiess (2017); Athey & Imbens (2019); Cameron & Trivedi (2022).

1. Bản chất học thuật và cấu trúc toán học

Trong phạm vi của chương Hệ phương trình đồng thời, hệ cầu, kinh tế lượng Bayes và học máy, nhóm phương pháp Học máy kinh tế lượng giải quyết các bài toán thực nghiệm đòi hỏi đặc tả chính xác quá trình sinh dữ liệu và kiểm soát chặt chẽ cấu trúc sai số theo Greene (2019); Wooldridge (2010); Hansen (2022). Các mô hình trong nhóm 12.3 cùng dựa trên hệ thức cấu trúc nền tảng tại phương trình 1 theo Breiman (2001); Mullainathan & Spiess (2017); Athey & Imbens (2019); Cameron & Trivedi (2022):

$$\hat{f}_{\text{RF}}(x) = \frac{1}{B}\sum_{b=1}^B T_b(x; \Theta_b) \tag*{[1]}$$

Phương trình điều kiện ước lượng và tối ưu hóa của nhóm phương pháp này được xác định tại công thức 2:

$$\hat{\theta}_{\text{SYS}} = \arg\min_{\theta \in \Theta} g_N(\theta)^\top \left(\hat{\Sigma}^{-1} \otimes P_Z\right) g_N(\theta), \quad p(\theta \mid Y, X) \propto L(Y \mid X, \theta)\,\pi(\theta) \tag*{[2]}$$

Sự khác biệt giữa 4 mô hình từ 12.3.1. Hồi quy rừng ngẫu nhiên Breiman và độ quan trọng biến hoán vị đến 12.3.4. Mạng nơ-ron đa tầng truyền thẳng và đạo hàm riêng trung bình (MLP) nằm ở giả định về phân phối của thành phần nhiễu, cơ chế nội sinh và ma trận trọng số ước lượng theo Breiman (2001); Mullainathan & Spiess (2017); Athey & Imbens (2019); Cameron & Trivedi (2022); Greene (2019); Wooldridge (2010); Hansen (2022).

2. Bảng đối chiếu các mô hình trong nhóm

Bảng dưới đây so sánh trực tiếp bản chất kinh tế lượng, câu lệnh thực thi trên ba phần mềm và kiểm định chẩn đoán của từng bài học trong nhóm 12.3:

Bảng 12.3.1Đối chiếu bản chất kinh tế lượng, cú pháp thực thi và kiểm định của nhóm 12.3

Mã mục	Tên mô hình	Bản chất kinh tế lượng	Cú pháp ước lượng chuẩn Stata 18 · R 4.x · Python 3.11+	Kiểm định chẩn đoán bắt buộc
12.3.1	Hồi quy rừng ngẫu nhiên Breiman và độ quan trọng biến hoán vị	Xây dựng tổ hợp $B$ cây quyết định hồi quy sâu và độc lập trên các mẫu Bootstrap kết hợp chọn ngẫu nhiên tập con biến giải thích tại mỗi nút chia, triệt tiêu phương sai của cây đơn lẻ và nắm bắt tự động các tương tác phi tuyến bậc cao.	Stata: `rforest y x1 x2 x3, type(reg) iterations(200)` R: `randomForest::randomForest(y ~ x1 + x2 + x3, data = df, ntree = 200, importance = TRUE)` Python: `RandomForestRegressor(n_estimators=200, random_state=42).fit(X, y)`	Sai số dự báo ngoài túi (OOB) (MSE) và $R^2$, độ quan trọng biến theo hoán vị ngoài mẫu, biểu đồ phụ thuộc riêng phần (PDP) và (ICE) cùng K-Fold (CV)
12.3.2	Hồi quy tăng cường độ dốc Friedman và phân rã tác động biên	Huấn luyện tuần tự chuỗi các cây quyết định nông trong không gian hàm số, trong đó mỗi cây mới được khớp trực tiếp lên đạo hàm âm của hàm tổn thất từ tổ hợp các cây trước đó kèm hệ số thu nhỏ tốc độ học $\nu$ để tối ưu hóa đồng thời độ chệch và phương sai.	Stata: `boost y x1 x2 x3, distribution(normal) maxiter(200)` R: `gbm::gbm(y ~ x1 + x2 + x3, data = df, distribution = 'gaussian', n.trees = 200)` Python: `GradientBoostingRegressor(n_estimators=200, learning_rate=0.05, random_state=42).fit(X, y)`	Kiểm định chéo K-Fold với dừng sớm để chọn số lượng cây $M$ và tốc độ học $\nu$, phân rã giá trị đóng góp biên Shapley (SHAP) và kiểm định Diebold–Mariano ngoài mẫu
12.3.3	Hồi quy vectơ hỗ trợ nhân phi tuyến (SVR)	Hồi quy phi tham số trong không gian Hilbert tái tạo nhân — RBF / Polynomial / Linear $\varepsilon$-insensitive loss , kháng nhiễu ngoại lai tốt và nắm bắt tương tác phi tuyến bậc cao kèm độ quan trọng hoán vị và đạo hàm riêng trung bình.	Stata: `svmachines y x1 x2, type(svr) kernel(rbf)` R: `e1071::svm(y ~ x1 + x2, data = df, kernel = 'radial', type = 'eps-regression')` Python: `GridSearchCV(SVR(kernel='rbf'), param_grid={'C': [1, 10], 'epsilon': [0.1, 0.2]}, cv=5).fit(X_std, y)`	Out-of-fold $K$-fold CV RMSE, MAE và $R^2_{\text{OOS}}$, tỷ lệ support vectors, bảng độ quan trọng biến hoán vị kèm độ lệch chuẩn, đạo hàm riêng biên trung bình.
12.3.4	Mạng nơ-ron đa tầng truyền thẳng và đạo hàm riêng trung bình (MLP)	Mạng nơ-ron truyền thẳng chính quy hóa $L_2$ với dừng sớm xấp xỉ hàm hồi quy phi tuyến tổng quát $E[Y\mid X] = g(X)$ kèm trích xuất độ co giãn/đạo hàm riêng trung bình $\frac{1}{N}\sum_i \frac{\partial \hat{g}(X_i)}{\partial X_j}$.	Stata: `python: MLPRegressor(hidden_layer_sizes=(64, 32), early_stopping=True).fit(X_std, y)` R: `nnet::nnet(y ~ x1 + x2, data = df, size = 16, linout = TRUE, decay = 0.01)` Python: `MLPRegressor(hidden_layer_sizes=(64, 32), early_stopping=True, random_state=42).fit(X_std, y)`	Out-of-sample $R^2_{\text{OOS}}$ & RMSE, kiểm định Diebold–Mariano / Encompassing $F$-test so với OLS tuyến tính, bảng Average Partial Effects & permutation importance.

3. Quy tắc lựa chọn mô hình phù hợp

Nhà nghiên cứu có thể áp dụng quy tắc phân nhánh dưới đây để chọn đúng mô hình trong nhóm 12.3 cho dữ liệu thực tế theo Greene (2019); Wooldridge (2010); Hansen (2022):

Chọn 12.3.1. Hồi quy rừng ngẫu nhiên Breiman và độ quan trọng biến hoán vị khi: Dự báo kinh tế – tài chính phi tham số, xếp hạng mức độ quan trọng của các biến giải thích và làm bộ học cơ sở trong mô hình (DML). — Kiểm định bắt buộc: Sai số dự báo ngoài túi (OOB) (MSE) và $R^2$, độ quan trọng biến theo hoán vị ngoài mẫu, biểu đồ phụ thuộc riêng phần (PDP) và (ICE) cùng K-Fold (CV).
Chọn 12.3.2. Hồi quy tăng cường độ dốc Friedman và phân rã tác động biên khi: Dự báo rủi ro vỡ nợ, giá bất động sản, thu ngân sách hoặc ước lượng hàm kỳ vọng có điều kiện phức tạp trên dữ liệu bảng và dữ liệu chéo. — Kiểm định bắt buộc: Kiểm định chéo K-Fold với dừng sớm để chọn số lượng cây $M$ và tốc độ học $\nu$, phân rã giá trị đóng góp biên Shapley (SHAP) và kiểm định Diebold–Mariano ngoài mẫu.
Chọn 12.3.3. Hồi quy vectơ hỗ trợ nhân phi tuyến (SVR) khi: Dự báo vĩ mô/năng lượng/tài chính cỡ mẫu vừa–lớn và làm mô hình benchmark phi tham số đối chiếu với hồi quy tuyến tính/chính quy hóa. — Kiểm định bắt buộc: Out-of-fold $K$-fold CV RMSE, MAE và $R^2_{\text{OOS}}$, tỷ lệ support vectors, bảng độ quan trọng biến hoán vị kèm độ lệch chuẩn, đạo hàm riêng biên trung bình..
Chọn 12.3.4. Mạng nơ-ron đa tầng truyền thẳng và đạo hàm riêng trung bình (MLP) khi: Định giá tài sản thực nghiệm, dự báo chuỗi vĩ mô phi tuyến, ước lượng hàm phiền toái trong kinh tế lượng cấu trúc và đối chứng độ khớp tối đa — upper-bound $R^2$ . — Kiểm định bắt buộc: Out-of-sample $R^2_{\text{OOS}}$ & RMSE, kiểm định Diebold–Mariano / Encompassing $F$-test so với OLS tuyến tính, bảng Average Partial Effects & permutation importance..

4. Tài liệu tham khảo

Breiman, L.(2001). Random forests. Machine Learning, 45, số 1, 5–32.
Mullainathan, S, & Spiess, J.(2017). Machine learning: An applied econometric approach. Journal of Economic Perspectives, 31, số 2, 87–106.
Athey, S, & Imbens, G. W.(2019). Machine learning methods that economists should know about. Annual Review of Economics, 11, 685–725.
Cameron, A. C, & Trivedi, P. K.(2022). Microeconometrics Using Stata, 2nd ed, Vols. 1–2. Stata Press.
Greene, W. H.(2019). Econometric Analysis, 8th ed, Chương 10 & 16: Systems of Regression Equations, SUR, 3SLS & Bayesian Econometrics. Pearson.
Wooldridge, J. M.(2010). Econometric Analysis of Cross Section and Panel Data, 2nd ed, Chương 7–9: Estimating Systems of Equations by OLS, GLS and GMM. MIT Press.
Hansen, B. E.(2022). Econometrics, Chương 11, 13 & 29: Multivariate Regression, GMM and Machine Learning. Princeton University Press.

ĐIỀU HƯỚNG HỌC TẬP:
↑ Tài liệu gốc: KINH TẾ LƯỢNG ỨNG DỤNG TOÀN DIỆN TỪ A – Z
↑ Chương chủ quản: 12. Hệ phương trình đồng thời, hệ cầu, kinh tế lượng Bayes và học máy
→ Bài học đầu tiên trong nhóm: 12.3.1. Hồi quy rừng ngẫu nhiên Breiman và độ quan trọng biến hoán vị