2.1. Hồi quy chính quy hóa
- Định danh nhóm bài giảng: Nhóm 2.1. Hồi quy chính quy hóa trực thuộc 2. Mô hình chính quy hóa, suy luận chiều cao và giảm chiều.
- Phạm vi mô hình: Quy tụ 3 mô hình kinh tế lượng từ mục 2.1.1 đến mục 2.1.3.
- Cơ sở phương pháp luận: Hệ thống hóa phương trình cấu trúc, phân biệt giả định nhận dạng và cấu trúc sai số chuẩn theo Cameron & Trivedi (2022); Mehmetoglu & Jakobs (2022); Stock & Watson (2020).
- Đối chiếu đa nền tảng: So sánh trực tiếp cú pháp thực thi trên Stata 18, R 4.x và Python 3.11+ theo Hoerl & Kennard (1970); Hastie, Tibshirani & Friedman (2009); Hansen (2022).
1. Bản chất học thuật và cấu trúc toán học
Trong phạm vi của chương Mô hình chính quy hóa, suy luận chiều cao và giảm chiều, nhóm phương pháp Hồi quy chính quy hóa giải quyết các bài toán thực nghiệm đòi hỏi đặc tả chính xác quá trình sinh dữ liệu và kiểm soát chặt chẽ cấu trúc sai số theo Cameron & Trivedi (2022); Mehmetoglu & Jakobs (2022); Stock & Watson (2020). Các mô hình trong nhóm 2.1 cùng dựa trên hệ thức cấu trúc nền tảng tại phương trình 1 theo Hoerl & Kennard (1970); Hastie, Tibshirani & Friedman (2009); Hansen (2022):
$$\hat{\beta}_{\text{Ridge}} = (X^\top X + \lambda I_p)^{-1} X^\top Y \tag*{[1]}$$
Phương trình điều kiện ước lượng và tối ưu hóa của nhóm phương pháp này được xác định tại công thức 2:
$$\hat{\beta}(\lambda, \alpha) = \arg\min_{\beta \in \mathbb{R}^p} \left\{\frac{1}{2N}\sum_{i=1}^N \left(Y_i – X_i^\top \beta\right)^2 + \lambda\left(\alpha \|\beta\|_1 + \frac{1-\alpha}{2}\|\beta\|_2^2\right)\right\} \tag*{[2]}$$
Sự khác biệt giữa 3 mô hình từ 2.1.1. Hồi quy chính quy hóa bậc hai Ridge đến 2.1.3. Hồi quy kết hợp phạt bậc nhất và bậc hai Elastic Net nằm ở giả định về phân phối của thành phần nhiễu, cơ chế nội sinh và ma trận trọng số ước lượng theo Hoerl & Kennard (1970); Hastie, Tibshirani & Friedman (2009); Hansen (2022); Cameron & Trivedi (2022); Mehmetoglu & Jakobs (2022); Stock & Watson (2020).
2. Bảng đối chiếu các mô hình trong nhóm
Bảng dưới đây so sánh trực tiếp bản chất kinh tế lượng, câu lệnh thực thi trên ba phần mềm và kiểm định chẩn đoán của từng bài học trong nhóm 2.1:
| Mã mục | Tên mô hình | Bản chất kinh tế lượng | Cú pháp ước lượng chuẩn Stata 18 · R 4.x · Python 3.11+ | Kiểm định chẩn đoán bắt buộc |
|---|---|---|---|---|
| 2.1.1 | Hồi quy chính quy hóa bậc hai Ridge | Bổ sung thành phần phạt chuẩn bậc hai $L_2$ là $\lambda \|\beta\|_2^2$ vào hàm bình phương tối thiểu giúp cộng hằng số dương $\lambda$ vào đường chéo ma trận $X^\top X$, ổn định nghịch đảo ma trận và giảm phương sai ước lượng khi đa cộng tuyến nặng. | Stata: elasticnet linear y x1 x2, alpha(0) selection(cv)R: glmnet::cv.glmnet(X, y, alpha = 0)Python: RidgeCV(alphas=np.logspace(-3, 3, 50), cv=5).fit(X_std, y) |
Đường cong kiểm định chéo K-Fold (MSE) theo tham số phạt $\lambda$, quỹ đạo nghiệm Ridge trace và bậc tự do hiệu dụng $\text{df}(\lambda) = \text{tr}[X(X^\top X + \lambda I)^{-1}X^\top]$ |
| 2.1.2 | Hồi quy co ngót và chọn biến tự động Lasso | Áp đặt thành phần phạt chuẩn bậc nhất $L_1$ là $\lambda \|\beta\|_1$ có điểm gãy không khả vi tại gốc tọa độ, vừa co ngót hệ số vừa ép chính xác các hệ số nhiễu bằng $0$ để thực hiện chọn biến tự động. | Stata: lasso linear y x1 x2, selection(cv)R: glmnet::cv.glmnet(X, y, alpha = 1)Python: LassoCV(cv=5, random_state=42).fit(X_std, y) |
Kiểm định chéo 10-Fold chọn $\lambda_{\min}$ và $\lambda_{\text{1se}}$, tỷ lệ độ thưa, tiêu chuẩn (BIC) / EBIC và độ ổn định tập biến được chọn |
| 2.1.3 | Hồi quy kết hợp phạt bậc nhất và bậc hai Elastic Net | Tổ hợp lồi giữa phạt $L_1$ của (LASSO) và phạt $L_2$ của Ridge, khắc phục giới hạn của (LASSO) khi số biến $p \gt N$ và sở hữu hiệu ứng nhóm giữ lại đồng thời cụm biến tương quan cao. | Stata: elasticnet linear y x1 x2, alpha(0.5) selection(cv)R: glmnet::glmnet(X, y, alpha = 0.5)Python: ElasticNet(alpha=0.1, l1_ratio=0.5, random_state=42).fit(X_std, y) |
Kiểm định lưới hai chiều $\lambda, \alpha$ bằng Cross-Validation (MSE), tỷ lệ biến khác $0$ và đối chiếu sai số dự báo ngoài mẫu (RMSE) |
3. Quy tắc lựa chọn mô hình phù hợp
Nhà nghiên cứu có thể áp dụng quy tắc phân nhánh dưới đây để chọn đúng mô hình trong nhóm 2.1 cho dữ liệu thực tế theo Cameron & Trivedi (2022); Mehmetoglu & Jakobs (2022); Stock & Watson (2020):
- Chọn 2.1.1. Hồi quy chính quy hóa bậc hai Ridge khi: Mô hình dự báo vĩ mô hoặc tài chính có nhiều biến giải thích tương quan chặt chẽ với nhau với hệ số (VIF) lớn hơn $10$ khi cần giữ lại toàn bộ biến trong phương trình. — Kiểm định bắt buộc: Đường cong kiểm định chéo K-Fold (MSE) theo tham số phạt $\lambda$, quỹ đạo nghiệm Ridge trace và bậc tự do hiệu dụng $\text{df}(\lambda) = \text{tr}[X(X^\top X + \lambda I)^{-1}X^\top]$.
- Chọn 2.1.2. Hồi quy co ngót và chọn biến tự động Lasso khi: Dữ liệu chiều cao có hàng chục hoặc hàng trăm biến giải thích tiềm năng với số chiều $p$ lớn nhưng chỉ có một tập con thưa thực sự tác động lên $Y$. — Kiểm định bắt buộc: Kiểm định chéo 10-Fold chọn $\lambda_{\min}$ và $\lambda_{\text{1se}}$, tỷ lệ độ thưa, tiêu chuẩn (BIC) / EBIC và độ ổn định tập biến được chọn.
- Chọn 2.1.3. Hồi quy kết hợp phạt bậc nhất và bậc hai Elastic Net khi: Nghiên cứu định lượng chiều cao có các nhóm chỉ báo vĩ mô, tài chính hoặc chỉ số quản trị tương quan chéo mạnh. — Kiểm định bắt buộc: Kiểm định lưới hai chiều $\lambda, \alpha$ bằng Cross-Validation (MSE), tỷ lệ biến khác $0$ và đối chiếu sai số dự báo ngoài mẫu (RMSE).
4. Tài liệu tham khảo
- Hoerl, A. E, & Kennard, R. W.(1970). Ridge regression: Biased estimation for nonorthogonal problems. Technometrics, 12, số 1, 55–67.
- Hastie, T, Tibshirani, R, & Friedman, J.(2009). The Elements of Statistical Learning: Data Mining, Inference, and Prediction, 2nd ed.. Springer.
- Hansen, B. E.(2022). Econometrics. Princeton University Press.
- Cameron, A. C, & Trivedi, P. K.(2022). Microeconometrics Using Stata, 2nd ed, Vol. 2, Chương 28–29: Lasso for Prediction and Causal Inference. Stata Press.
- Mehmetoglu, M, & Jakobsen, T. G.(2022). Applied Statistics Using Stata: A Guide for the Social Sciences, 2nd ed, Chương 12: Factor Analysis & PCA. SAGE Publications.
- Stock, J. H, & Watson, M. W.(2020). Introduction to Econometrics, 4th ed, Chương 14: Big Data and Machine Learning. Pearson.
↑ Tài liệu gốc: KINH TẾ LƯỢNG ỨNG DỤNG TOÀN DIỆN TỪ A – Z
↑ Chương chủ quản: 2. Mô hình chính quy hóa, suy luận chiều cao và giảm chiều
→ Bài học đầu tiên trong nhóm: 2.1.1. Hồi quy chính quy hóa bậc hai Ridge