威威學長｜高中數學
📚 系列總覽：數據分析系列地圖｜⬅️ 上一篇：跑出數字很容易，相信它之前先對帳｜➡️ 下一篇：多一個平方項，是解決問題還是製造問題
單一變數的迴歸，斜率很好讀：$x$ 每多 $1$，$y$ 平均多多少。 多元迴歸的係數不能這樣讀。它多了一個但書，而那個但書不只是一句客套話，它會實際改變係數的大小，甚至改變正負號。
但書是什麼
模型長這樣： $$\hat y=b_0+b_1x_1+b_2x_2+\cdots$$ $b_1$ 的完整意思是：在 $x_2$、$x_3$……都固定不變的前提下，$x_1$ 每增加 $1$ 單位，$y$ 平均增加 $b_1$。 「其他變數固定」這幾個字，是多元迴歸跟單迴歸唯一但最要緊的差別。
為什麼一定要有這個但書
因為解釋變數之間通常彼此相關。看一個具體的假設情境（底下是為了說明而編的數字，不是真實資料）：假設我們用「坪數」與「房間數」去預測房價。 這兩個變數高度相關：大房子通常房間也多。如果只放房間數，它會拿到一個看起來很大的係數，因為它身後偷渡了一部分「坪數大」的效果。 把坪數也放進去之後，房間數的係數常常會縮小，甚至變成負的。聽起來很違反直覺，但解釋得通：在坪數固定的情況下，多一間房意味著每間房更小、格局更細。所以「房間數」單獨看是加分，控制住坪數之後就未必。 ⚠️ 學長的警告：係數變號不代表算錯了，它代表你換了一個問題。單獨放 $x_1$ 時你問的是「$x_1$ 和 $y$ 有什麼關係」；同時放進去之後你問的是「排除 $x_2$ 之後，$x_1$ 還剩下什麼」。兩個問題的答案本來就不一樣。
共線性：當兩個變數在講同一件事
如果 $x_1$ 與 $x_2$ 幾乎是同一件事（相關係數極高），會發生一件麻煩的事：係數變得不穩定。換一批資料重跑，$b_1$ 可能從 $+3$ 跳到 $-1$，而 $b_2$ 往反方向跳，但 $b_1x_1+b_2x_2$ 的合計幾乎不變。 這叫多重共線性。它的意思跟「模型錯了」無關：它說的是這兩個變數的功勞分不開。資料無法告訴你該記在誰頭上，因為它們幾乎總是一起出現。 判斷的方法很直接：看一下解釋變數之間的相關係數。如果有一對超過 $0.9$，那兩個係數就別當真解讀。
👑 威威說重點：「控制其他變數」的代價是：變數之間越相關，各自的係數就越不可靠。要解釋個別效果，就得先確認它們不是同一件事的兩個名字。
兩個 $R^2$：什麼時候該用調整後的那個
單迴歸那篇介紹過的 $R^2$，在多元迴歸裡有個問題：加變數它就上升，加了無用的變數也上升（理由跟多項式迴歸完全一樣：能選的函數集合變大了）。 所以多了一個「調整後 $R^2$」： $$\bar R^2=1-\left(1-R^2\right)\cdot\frac{n-1}{n-p-1}$$ $n$ 是樣本數，$p$ 是解釋變數的個數。 注意那個分母 $n-p-1$。你多放一個變數，$p$ 變大，分母變小，整個分數就變大，於是 $\bar R^2$ 被往下拉。如果新變數帶來的 $R^2$ 提升不夠多，就補不回這個懲罰，$\bar R^2$ 反而下降。 所以判斷「該不該加這個變數」時，看 $\bar R^2$ 比看 $R^2$ 合理。 （但要講清楚：$\bar R^2$ 也只是一個方便指標，不是真理。真正可靠的做法還是留一部分資料不拿來配，用沒看過的資料檢驗。）
換你動手
練習 1：某模型 $\hat y=50+3x_1-2x_2$，其中 $x_1$ 是每週讀書時數、$x_2$ 是每週熬夜次數。解釋 $3$ 與 $-2$ 的意思。 $3$ 的意思是：在熬夜次數固定的前提下，讀書時數每多一小時，$\hat y$ 平均多 $3$。$-2$ 的意思是：在讀書時數固定的前提下，熬夜次數每多一次，$\hat y$ 平均少 $2$。 注意兩個解釋都要帶那句但書。只說「熬夜每多一次少 $2$」是不完整的，因為那個人可能也讀得少。 練習 2：承上，如果只放 $x_1$、把 $x_2$ 拿掉，$b_1$ 還會是 $3$ 嗎？ 通常不會。$x_1$ 與 $x_2$ 如果不獨立（例如熬夜多的人讀書通常也少），那拿掉 $x_2$ 之後，$x_1$ 的係數會吸收一部分原本屬於 $x_2$ 的效果。實際方向取決於兩個變數的相關性，但「數字會變」是可以預期的。 練習 3：樣本數 $n=30$、解釋變數 $p=2$、$R^2=0.80$。求調整後 $R^2$。 $$\bar R^2=1-(1-0.80)\cdot\frac{30-1}{30-2-1}=1-0.2\cdot\frac{29}{27}$$ $\dfrac{29}{27}\approx1.074$，所以 $\bar R^2\approx1-0.2148=0.785$。 比 $R^2$ 低了一點五個百分點。這就是「兩個變數」付的代價。樣本數越少、變數越多，這個落差越大。
挑一份你在課堂上看過的多元迴歸結果（或任何有兩個以上解釋變數的模型），只做一件事：看它的係數，然後替每一個係數補上「在其他變數固定時」這句但書，唸出來看看還通不通。如果某個係數加上但書之後聽起來很怪，那通常代表它跟另一個變數高度相關，值得回頭查。 如果你手邊有一組變數彼此高度相關的資料，想動手試試看，把變數清單丟給我，我們一起看哪幾個應該只留一個。
