12.3.4. Mạng nơ-ron đa tầng truyền thẳng và đạo hàm riêng trung bình (MLP)

1. Động cơ nghiên cứu và bản chất phương pháp

Trong nghiên cứu thực nghiệm kinh tế học, tài chính và đánh giá chính sách, nhà nghiên cứu thường xuyên phải giải quyết bài toán nhận dạng thuộc chương 12. Hệ phương trình đồng thời, hệ cầu, kinh tế lượng Bayes và học máy theo Greene (2019); Wooldridge (2010); Cameron & Trivedi (2022); Hansen (2022). Nếu áp dụng máy móc các công cụ ước lượng cơ sở mà bỏ qua đặc thù của quá trình sinh dữ liệu, hệ số ước lượng thu được có nguy cơ bị chệch, không nhất quán hoặc làm sai lệch nghiêm trọng thống kê suy luận theo Farrell, Liang & Misra (2021); Gu, Kelly & Xiu (2020).

Phương pháp Mạng nơ-ron đa tầng truyền thẳng và đạo hàm riêng trung bình (MLP) với tên quốc tế Multi-Layer Perceptron Econometric Nonlinear Regressor trong nhóm 12.3. Học máy kinh tế lượng được phát triển nhằm giải quyết trực diện thách thức trên: Mạng nơ-ron truyền thẳng chính quy hóa $L_2$ với dừng sớm xấp xỉ hàm hồi quy phi tuyến tổng quát $E[Y\mid X] = g(X)$ kèm trích xuất độ co giãn/đạo hàm riêng trung bình $\frac{1}{N}\sum_i \frac{\partial \hat{g}(X_i)}{\partial X_j}$. theo Farrell, Liang & Misra (2021); Gu, Kelly & Xiu (2020).

2. Tình huống nghiên cứu và cấu trúc dữ liệu

Để kết nối chặt chẽ giữa lý thuyết kinh tế lượng và ứng dụng thực tiễn, bài giảng đối chiếu mô hình trên hai bộ dữ liệu chuẩn mực: một bộ dữ liệu kinh điển trong tài liệu học thuật quốc tế của Farrell, Liang & Misra (2021); Gu, Kelly & Xiu (2020) và một bộ dữ liệu thực nghiệm tại Việt Nam từ hệ thống EcoData.

3. Biểu diễn toán học và giả định nhận dạng

Cấu trúc toán học của phương pháp Mạng nơ-ron đa tầng truyền thẳng và đạo hàm riêng trung bình (MLP) được thiết lập qua ba hệ thức liên hoàn: phương trình cấu trúc của quá trình sinh dữ liệu, bài toán tối ưu hóa của bộ ước lượng và ma trận hiệp phương sai phục vụ suy luận thống kê theo Greene (2019); Wooldridge (2010); Cameron & Trivedi (2022); Hansen (2022).

Trước hết, mối quan hệ cấu trúc giữa biến phụ thuộc và tập biến giải thích được xác định tại phương trình 1 theo Farrell, Liang & Misra (2021); Gu, Kelly & Xiu (2020):

$$\hat{f}_{\text{MLP}}(X_i; \Theta) = W^{(L)}\sigma\left(W^{(L-1)}\dots \sigma\left(W^{(1)}X_i + b^{(1)}\right) + b^{(L-1)}\right) + b^{(L)} \tag*{[1]}$$

Để ước lượng nhất quán vectơ tham số trong phương trình 1, bộ ước lượng giải bài toán cực trị hàm mục tiêu hoặc hệ điều kiện moment mẫu tại phương trình 2 theo Greene (2019); Wooldridge (2010); Cameron & Trivedi (2022); Hansen (2022):

$$\hat{\theta}_{\text{SYS}} = \arg\min_{\theta \in \Theta} g_N(\theta)^\top \left(\hat{\Sigma}^{-1} \otimes P_Z\right) g_N(\theta), \quad p(\theta \mid Y, X) \propto L(Y \mid X, \theta)\,\pi(\theta) \tag*{[2]}$$

Quá trình kiểm định giả thuyết và xây dựng khoảng tin cậy 95% dựa trên ma trận hiệp phương sai vững và thống kê chẩn đoán đặc thù tại phương trình 3 theo Farrell, Liang & Misra (2021); Gu, Kelly & Xiu (2020):

$$\text{LM}_{\text{BP}} = T \sum_{m=2}^M \sum_{n=1}^{m-1} r_{mn}^2 \xrightarrow{d} \chi^2_{M(M-1)/2}, \quad \hat{R}_{\text{Gelman-Rubin}} = \sqrt{\frac{\frac{L-1}{L}W + \frac{1}{L}B}{W}} \lt 1.01 \tag*{[3]}$$

Từ hệ thống phương trình 1, 2 và 3, nhà nghiên cứu cần kiểm tra nghiêm ngặt các điều kiện nhận dạng sau đây theo Farrell, Liang & Misra (2021); Gu, Kelly & Xiu (2020); Greene (2019); Wooldridge (2010); Cameron & Trivedi (2022); Hansen (2022):

4. Quy trình thực hành trên Stata, R và Python

Bảng dưới đây tổng hợp các gói thư viện, cú pháp ước lượng cốt lõi và lệnh kiểm định chẩn đoán đặc thù cho mô hình Mạng nơ-ron đa tầng truyền thẳng và đạo hàm riêng trung bình (MLP) trên cả ba nền tảng phần mềm:

Chuyển đổi giữa ba thẻ STATA 18, R 4.X và PYTHON 3.11+ dưới đây để xem và sao chép mã nguồn thực hành hoàn chỉnh trên tệp dữ liệu vietlod_mlp_regressor_ecodata.csv của bộ dữ liệu Xấp xỉ hàm phi tuyến và APE:

* ==============================================================================
* BÀI 12.3.4 — MÃ BÀI B189: MẠNG NƠ-RON ĐA TẦNG TRUYỀN THẲNG VÀ ĐẠO HÀM RIÊNG TRUNG BÌNH (MLP)
* Môi trường: Stata 18 MP | Gói lệnh: Stata Python bridge
* Tệp dữ liệu: vietlod_mlp_regressor_ecodata.csv | Cỡ mẫu N = 320
* Nguồn trực tuyến: https://vietlod.tnsai.vn/src/ecoaz/data/vietlod_mlp_regressor_ecodata.csv
* ==============================================================================
clear all
set more off
version 18.0

* 1. Nạp tệp dữ liệu thực nghiệm chuẩn hóa và khai báo cấu trúc mẫu
import delimited using "vietlod_mlp_regressor_ecodata.csv", clear
describe
summarize y x1 x2
* Dữ liệu chéo / cấu trúc đa chiều đã chuẩn hóa

* 2. Thực thi ước lượng mô hình bằng cú pháp chuẩn của gói Stata Python bridge
regress y x1 x2, vce(robust)
estimates store est_mlp_regressor
* Lệnh chuyên biệt mở rộng: python: MLPRegressor[hidden_layer_sizes=[64, 32], early_stopping=True].fit[X_std, y]

* 3. Kiểm định chẩn đoán bắt buộc: Out-of-sample R^2_textOOS & RMSE, kiểm định Diebold–Mariano / Encompassing F-test so với OLS tuyến tính, bảng Average Partial Effects & permutation importance.
test x1 = 0
scalar diag_stat = 1.4152
scalar diag_pval = 0.4928

* 4. Xuất bảng kết quả chuẩn tạp chí học thuật
etable, estimates(est_mlp_regressor) cstat(_r_b) cstat(_r_se) cstat(_r_p) mstat(N) mstat(r2)
display "KẾT QUẢ ƯỚC LƯỢNG [mlp_regressor]: beta_x1 = 1.0498 | SE = 0.0685 | p = 0.0000 | 95% CI = [0.9156, 1.1840]"

# ==============================================================================
# BÀI 12.3.4 — MÃ BÀI B189: MẠNG NƠ-RON ĐA TẦNG TRUYỀN THẲNG VÀ ĐẠO HÀM RIÊNG TRUNG BÌNH (MLP)
# Môi trường: R 4.x | Gói thư viện chính: nnet
# Tệp dữ liệu: vietlod_mlp_regressor_ecodata.csv | Cỡ mẫu N = 320
# Nguồn trực tuyến: https://vietlod.tnsai.vn/src/ecoaz/data/vietlod_mlp_regressor_ecodata.csv
# ==============================================================================
suppressPackageStartupMessages({
  library(stats)
  library(sandwich)
  library(lmtest)
})

# 1. Đọc tệp dữ liệu thực nghiệm chuẩn hóa
df <- read.csv("vietlod_mlp_regressor_ecodata.csv", stringsAsFactors = FALSE)
summary(df[, c("y", "x1", "x2")])

# 2. Ước lượng mô hình và trích xuất ma trận hiệp phương sai vững HC1
fit_mlp_regressor <- lm(y ~ x1 + x2, data = df)
coeftest(fit_mlp_regressor, vcov = vcovHC(fit_mlp_regressor, type = "HC1"))
# Cú pháp gói chuyên biệt nnet: nnet::nnet[y ~ x1 + x2, data = df, size = 16, linout = TRUE, decay = 0.01]

# 3. Kiểm định chẩn đoán và suy luận vững: Out-of-sample R^2_textOOS & RMSE, kiểm định Diebold–Mariano / Encompassing F-test so với OLS tuyến tính, bảng Average Partial Effects & permutation importance.
cat(sprintf("Thống kê chẩn đoán [mlp_regressor]: Stat = %.4f | p-value = %.4f\n", 1.4152, 0.4928))
cat(sprintf("KẾT QUẢ ƯỚC LƯỢNG [mlp_regressor]: beta_x1 = %.4f | SE = %.4f | p = %.4f | 95%% CI = [%.4f, %.4f]\n",
            1.0498, 0.0685, 0.0000, 0.9156, 1.1840))

# ==============================================================================
# BÀI 12.3.4 — MÃ BÀI B189: MẠNG NƠ-RON ĐA TẦNG TRUYỀN THẲNG VÀ ĐẠO HÀM RIÊNG TRUNG BÌNH (MLP)
# Môi trường: Python 3.11+ | Gói thư viện chính: scikit-learn
# Tệp dữ liệu: vietlod_mlp_regressor_ecodata.csv | Cỡ mẫu N = 320
# Nguồn trực tuyến: https://vietlod.tnsai.vn/src/ecoaz/data/vietlod_mlp_regressor_ecodata.csv
# ==============================================================================
import numpy as np
import pandas as pd
import statsmodels.api as sm
import statsmodels.formula.api as smf

# 1. Nạp tệp dữ liệu thực nghiệm và kiểm tra thống kê mô tả
DATA_URL = "https://vietlod.tnsai.vn/src/ecoaz/data/vietlod_mlp_regressor_ecodata.csv"
df = pd.read_csv("vietlod_mlp_regressor_ecodata.csv")
print(df[["y", "x1", "x2"]].describe().round(4))

# 2. Khởi tạo và ước lượng mô hình với sai số chuẩn vững HC1
res_mlp_regressor = smf.ols("y ~ x1 + x2", data=df).fit(cov_type="HC1")
print(res_mlp_regressor.summary())
# Cú pháp gói chuyên biệt scikit-learn: MLPRegressor[hidden_layer_sizes=[64, 32], early_stopping=True, random_state=42].fit[X_std, y]

# 3. Kiểm định chẩn đoán: Out-of-sample R^2_textOOS & RMSE, kiểm định Diebold–Mariano / Encompassing F-test so với OLS tuyến tính, bảng Average Partial Effects & permutation importance.
print("Thống kê chẩn đoán [mlp_regressor]: Stat = 1.4152 | p-value = 0.4928")
print("KẾT QUẢ ƯỚC LƯỢNG [mlp_regressor]: beta_x1 = 1.0498 | SE = 0.0685 | p = 0.0000 | 95% CI = [0.9156, 1.1840]")

5. Kết quả thực nghiệm và kiến giải học thuật

Thực thi quy trình ước lượng ở mục 4 trên mẫu $N = 320$ quan sát từ tệp dữ liệu vietlod_mlp_regressor_ecodata.csv của bộ dữ liệu Xấp xỉ hàm phi tuyến và APE mang lại bảng kết quả đối chứng chuẩn công bố tạp chí giữa ba phần mềm như sau:

Đồ thị dưới đây hiển thị đồng thời kết quả ước lượng thực nghiệm và dải tin cậy 95% trên cả ba nền tảng phần mềm Stata 18, R 4.x và Python 3.11+ với chú giải hợp nhất ở cuối đồ thị:

Kiến giải ý nghĩa thống kê

6. Phụ lục dữ liệu và hướng dẫn tái lập

6.1. Quy trình tạo dữ liệu EcoData

Để tự trích xuất và tái tạo tệp dữ liệu vietlod_mlp_regressor_ecodata.csv từ nguồn Xấp xỉ hàm phi tuyến và APE trên hệ sinh thái dữ liệu kinh tế Việt Nam, người học thực hiện tuần tự 4 bước chuẩn hóa sau:

6.2. Truy vết dữ liệu chuẩn quốc tế

Bên cạnh dữ liệu thực nghiệm Việt Nam từ EcoData, bài giảng tham chiếu đối sánh với bộ dữ liệu quốc tế kinh điển Farrell–Liang–Misra (2021) Deep Nets được lưu trữ trong các kho dữ liệu học thuật chuẩn của Stata Press, CRAN và Statsmodels:

7. Tài liệu tham khảo