2.2. Chọn mô hình và suy luận chiều cao
- Định danh nhóm bài giảng: Nhóm 2.2. Chọn mô hình và suy luận chiều cao trực thuộc 2. Mô hình chính quy hóa, suy luận chiều cao và giảm chiều.
- Phạm vi mô hình: Quy tụ 4 mô hình kinh tế lượng từ mục 2.2.1 đến mục 2.2.4.
- Cơ sở phương pháp luận: Hệ thống hóa phương trình cấu trúc, phân biệt giả định nhận dạng và cấu trúc sai số chuẩn theo Cameron & Trivedi (2022); Mehmetoglu & Jakobs (2022); Stock & Watson (2020).
- Đối chiếu đa nền tảng: So sánh trực tiếp cú pháp thực thi trên Stata 18, R 4.x và Python 3.11+ theo Efron, Hastie, Johnstone & Tibshirani (2004); Hastie, Tibshirani & Friedman (2009); Hansen (2022).
1. Bản chất học thuật và cấu trúc toán học
Trong phạm vi của chương Mô hình chính quy hóa, suy luận chiều cao và giảm chiều, nhóm phương pháp Chọn mô hình và suy luận chiều cao giải quyết các bài toán thực nghiệm đòi hỏi đặc tả chính xác quá trình sinh dữ liệu và kiểm soát chặt chẽ cấu trúc sai số theo Cameron & Trivedi (2022); Mehmetoglu & Jakobs (2022); Stock & Watson (2020). Các mô hình trong nhóm 2.2 cùng dựa trên hệ thức cấu trúc nền tảng tại phương trình 1 theo Efron, Hastie, Johnstone & Tibshirani (2004); Hastie, Tibshirani & Friedman (2009); Hansen (2022):
$$\hat{\beta}(\lambda) \text{ tiến hóa dọc theo đường đẳng góc } |x_j^\top r(\lambda)| = \lambda \tag*{[1]}$$
Phương trình điều kiện ước lượng và tối ưu hóa của nhóm phương pháp này được xác định tại công thức 2:
$$\hat{\beta}(\lambda, \alpha) = \arg\min_{\beta \in \mathbb{R}^p} \left\{\frac{1}{2N}\sum_{i=1}^N \left(Y_i – X_i^\top \beta\right)^2 + \lambda\left(\alpha \|\beta\|_1 + \frac{1-\alpha}{2}\|\beta\|_2^2\right)\right\} \tag*{[2]}$$
Sự khác biệt giữa 4 mô hình từ 2.2.1. Hồi quy góc nhỏ nhất (LARS) đến 2.2.4. Suy luận nhân quả chọn biến đôi (PDS-Lasso) nằm ở giả định về phân phối của thành phần nhiễu, cơ chế nội sinh và ma trận trọng số ước lượng theo Efron, Hastie, Johnstone & Tibshirani (2004); Hastie, Tibshirani & Friedman (2009); Hansen (2022); Cameron & Trivedi (2022); Mehmetoglu & Jakobs (2022); Stock & Watson (2020).
2. Bảng đối chiếu các mô hình trong nhóm
Bảng dưới đây so sánh trực tiếp bản chất kinh tế lượng, câu lệnh thực thi trên ba phần mềm và kiểm định chẩn đoán của từng bài học trong nhóm 2.2:
| Mã mục | Tên mô hình | Bản chất kinh tế lượng | Cú pháp ước lượng chuẩn Stata 18 · R 4.x · Python 3.11+ | Kiểm định chẩn đoán bắt buộc |
|---|---|---|---|---|
| 2.2.1 | Hồi quy góc nhỏ nhất (LARS) | Thuật toán góc nhỏ nhất xây dựng toàn bộ đường dẫn nghiệm chính xác từng đoạn tuyến tính của (LASSO) với chi phí tính toán chỉ tương đương một phép ước lượng (OLS) duy nhất. | Stata: lasso linear y x1 x2, selection(plugin)R: lars::lars(X, y, type = 'lasso')Python: LassoLarsCV(cv=5).fit(X_std, y) |
Tiêu chuẩn thông tin Mallows $C_p$ dọc theo đường dẫn (LARS), K-Fold Cross-Validation (MSE) và đồ thị tiến hóa hệ số chuẩn hóa |
| 2.2.2 | Hồi quy Elastic Net tối ưu hóa kiểm định chéo | Quy trình tối ưu hóa siêu tham số tự động trên lưới kết hợp $\alpha, \lambda$ qua K-Fold Cross-Validation nhằm tìm điểm cân bằng tối ưu giữa độ chệch chính quy hóa và phương sai ngoài mẫu. | Stata: elasticnet linear y x1 x2, alpha(0.25 0.5 0.75) selection(cv, folds(10))R: glmnet::cv.glmnet(X, y, alpha = 0.5, nfolds = 10)Python: ElasticNetCV(l1_ratio=[0.1, 0.5, 0.9], cv=5, random_state=42).fit(X_std, y) |
So sánh hiệu năng giữa quy tắc $\lambda_{\min}$ và quy tắc tiết kiệm 1 sai số chuẩn $\lambda_{\text{1se}}$, hệ số $R^2$ ngoài mẫu và kiểm định ổn định hệ số qua các Folds |
| 2.2.3 | Hồi quy Lasso thích nghi có trọng số | Phạt $L_1$ có trọng số thích nghi $w_j = 1/|\hat{\beta}_j^{\text{init}}|^\gamma$ giúp đạt tính chất Oracle — chọn đúng tập biến thực và tiệm cận chuẩn không chệch . | Stata: lasso linear y x1 x2, selection(adaptive)R: glmnet::cv.glmnet(X, y, penalty.factor = w_adap)Python: LassoCV(cv=5, random_state=42).fit(X_weighted, y) |
Đường chuẩn hóa CV MSE — $\lambda_{\min}, \lambda_{1\text{se}}$ , tỷ lệ độ thưa, out-of-sample $R^2$ & RMSE. |
| 2.2.4 | Suy luận nhân quả chọn biến đôi (PDS-Lasso) | Chọn biến kiểm soát qua 2 bước Lasso, trên phương trình kết quả $Y$ và phương trình biến chính $D$, sau đó chạy OLS với hợp tập biến được chọn để suy luận nhân quả hợp lệ. | Stata: dsregress y d, controls(x1 x2)R: hdm::rlassoEffect(x = X, y = y, d = d, method = 'double selection')Python: DoubleMLPLR(dml_data, ml_l=LassoCV(), ml_m=LassoCV()).fit() |
Số biến kiểm soát được giữ lại ở bước $Y$ và bước $D$, kiểm định ổn định hệ số xử lý trước/sau double-selection, HC3 Wald CI. |
3. Quy tắc lựa chọn mô hình phù hợp
Nhà nghiên cứu có thể áp dụng quy tắc phân nhánh dưới đây để chọn đúng mô hình trong nhóm 2.2 cho dữ liệu thực tế theo Cameron & Trivedi (2022); Mehmetoglu & Jakobs (2022); Stock & Watson (2020):
- Chọn 2.2.1. Hồi quy góc nhỏ nhất (LARS) khi: Khảo sát thứ tự các biến giải thích lần lượt đi vào tập hoạt động khi nới lỏng dần tham số phạt chính quy hóa. — Kiểm định bắt buộc: Tiêu chuẩn thông tin Mallows $C_p$ dọc theo đường dẫn (LARS), K-Fold Cross-Validation (MSE) và đồ thị tiến hóa hệ số chuẩn hóa.
- Chọn 2.2.2. Hồi quy Elastic Net tối ưu hóa kiểm định chéo khi: Xây dựng mô hình dự báo kinh tế chuẩn mực yêu cầu quy trình chọn siêu tham số khách quan, tránh hiện tượng quá khớp. — Kiểm định bắt buộc: So sánh hiệu năng giữa quy tắc $\lambda_{\min}$ và quy tắc tiết kiệm 1 sai số chuẩn $\lambda_{\text{1se}}$, hệ số $R^2$ ngoài mẫu và kiểm định ổn định hệ số qua các Folds.
- Chọn 2.2.3. Hồi quy Lasso thích nghi có trọng số khi: Hồi quy nhiều biến dự báo tương quan — $p$ lớn , khắc phục chệch co rút quá mức trên các biến quan trọng của Lasso chuẩn. — Kiểm định bắt buộc: Đường chuẩn hóa CV MSE — $\lambda_{\min}, \lambda_{1\text{se}}$ , tỷ lệ độ thưa, out-of-sample $R^2$ & RMSE..
- Chọn 2.2.4. Suy luận nhân quả chọn biến đôi (PDS-Lasso) khi: Khi có hàng chục/hàng trăm biến kiểm soát tiềm năng — $p$ lớn so với $N$ ; tránh lỗi bỏ sót biến nhiễu mà không làm hỏng phân phối chuẩn của $\hat{\alpha}_D$. — Kiểm định bắt buộc: Số biến kiểm soát được giữ lại ở bước $Y$ và bước $D$, kiểm định ổn định hệ số xử lý trước/sau double-selection, HC3 Wald CI..
4. Tài liệu tham khảo
- Efron, B, Hastie, T, Johnstone, I, & Tibshirani, R.(2004). Least angle regression. The Annals of Statistics, 32, số 2, 407–499.
- Hastie, T, Tibshirani, R, & Friedman, J.(2009). The Elements of Statistical Learning: Data Mining, Inference, and Prediction, 2nd ed.. Springer.
- Hansen, B. E.(2022). Econometrics. Princeton University Press.
- Cameron, A. C, & Trivedi, P. K.(2022). Microeconometrics Using Stata, 2nd ed, Vol. 2, Chương 28–29: Lasso for Prediction and Causal Inference. Stata Press.
- Mehmetoglu, M, & Jakobsen, T. G.(2022). Applied Statistics Using Stata: A Guide for the Social Sciences, 2nd ed, Chương 12: Factor Analysis & PCA. SAGE Publications.
- Stock, J. H, & Watson, M. W.(2020). Introduction to Econometrics, 4th ed, Chương 14: Big Data and Machine Learning. Pearson.
↑ Tài liệu gốc: KINH TẾ LƯỢNG ỨNG DỤNG TOÀN DIỆN TỪ A – Z
↑ Chương chủ quản: 2. Mô hình chính quy hóa, suy luận chiều cao và giảm chiều
→ Bài học đầu tiên trong nhóm: 2.2.1. Hồi quy góc nhỏ nhất (LARS)