2.1. Hồi quy chính quy hóa
1. Bản chất học thuật và cấu trúc toán học
Trong phạm vi của chương Mô hình chính quy hóa, suy luận chiều cao và giảm chiều, nhóm phương pháp Hồi quy chính quy hóa giải quyết các bài toán thực nghiệm đòi hỏi đặc tả chính xác quá trình sinh dữ liệu và kiểm soát chặt chẽ cấu trúc sai số (Cameron & Trivedi (2022); Mehmetoglu & Jakobs (2022); Stock & Watson (2020)). Các mô hình trong nhóm 2.1 cùng dựa trên hệ thức cấu trúc nền tảng tại phương trình (1) (Hoerl & Kennard (1970); Hastie, Tibshirani & Friedman (2009); Hansen (2022)):
$$\hat{\beta}_{\text{Ridge}} = (X^\top X + \lambda I_p)^{-1} X^\top Y \tag{1}$$
Phương trình điều kiện ước lượng và tối ưu hóa của nhóm phương pháp này được xác định tại công thức (2):
$$\hat{\beta}(\lambda, \alpha) = \arg\min_{\beta \in \mathbb{R}^p} \left\{\frac{1}{2N}\sum_{i=1}^N \left(Y_i – X_i^\top \beta\right)^2 + \lambda\left(\alpha \|\beta\|_1 + \frac{1-\alpha}{2}\|\beta\|_2^2\right)\right\} \tag{2}$$
Sự khác biệt giữa 3 mô hình từ 2.1.1. Hồi quy chính quy hóa bậc hai Ridge đến 2.1.3. Hồi quy kết hợp phạt bậc nhất và bậc hai Elastic Net nằm ở giả định về phân phối của thành phần nhiễu, cơ chế nội sinh và ma trận trọng số ước lượng (Hoerl & Kennard (1970); Hastie, Tibshirani & Friedman (2009); Hansen (2022); Cameron & Trivedi (2022); Mehmetoglu & Jakobs (2022); Stock & Watson (2020)).
2. Bảng đối chiếu các mô hình trong nhóm
Bảng dưới đây so sánh trực tiếp bản chất kinh tế lượng, câu lệnh thực thi trên ba phần mềm và kiểm định chẩn đoán của từng bài học trong nhóm 2.1:
| Mã mục | Tên mô hình | Bản chất kinh tế lượng | Cú pháp ước lượng chuẩn (Stata 18 · R 4.x · Python 3.11+) | Kiểm định chẩn đoán bắt buộc |
|---|---|---|---|---|
| 2.1.1 | Hồi quy chính quy hóa bậc hai Ridge | Bổ sung thành phần phạt chuẩn bậc hai L2 (λ||β||_2^2) vào hàm bình phương tối thiểu giúp cộng hằng số dương λ vào đường chéo ma trận X’X, ổn định nghịch đảo ma trận và giảm phương sai ước lượng khi đa cộng tuyến nặng. | Stata: elasticnet linear y x1 x2, alpha(0) selection(cv)R: glmnet::cv.glmnet(X, y, alpha = 0)Python: RidgeCV(alphas=np.logspace(-3, 3, 50), cv=5).fit(X_std, y) |
Đường cong kiểm định chéo K-Fold MSE theo tham số phạt λ, quỹ đạo nghiệm Ridge trace và bậc tự do hiệu dụng df(λ) = tr[X(X’X + λI)^(-1)X’] |
| 2.1.2 | Hồi quy co ngót và chọn biến tự động Lasso | Áp đặt thành phần phạt chuẩn bậc nhất L1 (λ||β||_1) có điểm gãy không khả vi tại gốc tọa độ, vừa co ngót hệ số vừa ép chính xác các hệ số nhiễu bằng 0 để thực hiện chọn biến tự động. | Stata: lasso linear y x1 x2, selection(cv)R: glmnet::cv.glmnet(X, y, alpha = 1)Python: LassoCV(cv=5, random_state=42).fit(X_std, y) |
Kiểm định chéo 10-Fold chọn λ_min và λ_1se, tỷ lệ độ thưa (sparsity ratio), tiêu chuẩn BIC/EBIC và độ ổn định tập biến được chọn |
| 2.1.3 | Hồi quy kết hợp phạt bậc nhất và bậc hai Elastic Net | Tổ hợp lồi giữa phạt L1 (Lasso) và phạt L2 (Ridge), khắc phục giới hạn của Lasso khi số biến p > N và sở hữu hiệu ứng nhóm (grouping effect) giữ lại đồng thời cụm biến tương quan cao. | Stata: elasticnet linear y x1 x2, alpha(0.5) selection(cv)R: glmnet::glmnet(X, y, alpha = 0.5)Python: ElasticNet(alpha=0.1, l1_ratio=0.5, random_state=42).fit(X_std, y) |
Kiểm định lưới hai chiều (λ, α) bằng Cross-Validation MSE, tỷ lệ biến khác 0 và đối chiếu sai số dự báo ngoài mẫu (Out-of-Sample RMSE) |
3. Quy tắc lựa chọn mô hình phù hợp
Nhà nghiên cứu có thể áp dụng quy tắc phân nhánh dưới đây để chọn đúng mô hình trong nhóm 2.1 cho dữ liệu thực tế (Cameron & Trivedi (2022); Mehmetoglu & Jakobs (2022); Stock & Watson (2020)):
- Chọn 2.1.1. Hồi quy chính quy hóa bậc hai Ridge khi: Mô hình dự báo vĩ mô hoặc tài chính có nhiều biến giải thích tương quan chặt chẽ với nhau (VIF > 10) khi cần giữ lại toàn bộ biến trong phương trình. (Kiểm định bắt buộc: Đường cong kiểm định chéo K-Fold MSE theo tham số phạt λ, quỹ đạo nghiệm Ridge trace và bậc tự do hiệu dụng df(λ) = tr[X(X’X + λI)^(-1)X’]).
- Chọn 2.1.2. Hồi quy co ngót và chọn biến tự động Lasso khi: Dữ liệu chiều cao có hàng chục hoặc hàng trăm biến giải thích tiềm năng (p lớn) nhưng chỉ có một tập con thưa (sparse) thực sự tác động lên Y. (Kiểm định bắt buộc: Kiểm định chéo 10-Fold chọn λ_min và λ_1se, tỷ lệ độ thưa (sparsity ratio), tiêu chuẩn BIC/EBIC và độ ổn định tập biến được chọn).
- Chọn 2.1.3. Hồi quy kết hợp phạt bậc nhất và bậc hai Elastic Net khi: Nghiên cứu định lượng chiều cao có các nhóm chỉ báo vĩ mô, tài chính hoặc chỉ số quản trị tương quan chéo mạnh. (Kiểm định bắt buộc: Kiểm định lưới hai chiều (λ, α) bằng Cross-Validation MSE, tỷ lệ biến khác 0 và đối chiếu sai số dự báo ngoài mẫu (Out-of-Sample RMSE)).
4. Tài liệu tham khảo
- Hoerl, A. E., & Kennard, R. W. (1970). Ridge regression: Biased estimation for nonorthogonal problems. Technometrics, 12(1), 55–67.
- Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning: Data Mining, Inference, and Prediction (2nd ed.). Springer.
- Hansen, B. E. (2022). Econometrics. Princeton University Press.
- Cameron, A. C., & Trivedi, P. K. (2022). Microeconometrics Using Stata (2nd ed., Vol. 2, Chương 28–29: Lasso for Prediction and Causal Inference). Stata Press.
- Mehmetoglu, M., & Jakobsen, T. G. (2022). Applied Statistics Using Stata: A Guide for the Social Sciences (2nd ed., Chương 12: Factor Analysis & PCA). SAGE Publications.
- Stock, J. H., & Watson, M. W. (2020). Introduction to Econometrics (4th ed., Chương 14: Big Data and Machine Learning). Pearson.
↑ Tài liệu gốc: KINH TẾ LƯỢNG ỨNG DỤNG TOÀN DIỆN TỪ A – Z
↑ Chương chủ quản: 2. Mô hình chính quy hóa, suy luận chiều cao và giảm chiều
→ Bài học đầu tiên trong nhóm: 2.1.1. Hồi quy chính quy hóa bậc hai Ridge