§8-2  內積、norm 與 Schwarz

內積與 norm 各自守哪些規矩?由內積開根號造出的長度,憑什麼在任何維度都滿足三角不等式?

第二種乘法:inner product(8.3、8.4)

vector space 的純量乘法是「實數乘向量、得向量」。很多空間還配得起另一種乘法——「向量乘向量、得實數」。這個數日後要一手包辦長度與角度,所以規矩得先立好。

8.3  DEFINITION
An inner product (dot product) on a vector space V is a function from V × V to ℝ, written (x, y) ↦ x · y, satisfying:
(i) x · x ≥ 0 for all x ∈ V;
(ii) x · x = 0 if and only if x = 0;
(iii) x · y = y · x;
(iv) x · (y + z) = x · y + x · z and (x + y) · z = x · z + y · z;
(v) (ax) · y = a(x · y) = x · (ay) for all a ∈ ℝ.
A vector space with an inner product is an inner product space.
inner product(內積)吃兩個向量、吐一個實數,守五條:自乘非負(i)、自乘歸零僅限零向量(ii)、對稱(iii)、對加法分配(iv)、純量自由進出(v)。配了內積的空間稱 inner product space(內積空間)。同一個空間可以配不止一種內積——內積是配件,不是空間與生俱來的器官。
正例:ℝᵖ 的標準款 x · y = x₁y₁ + x₂y₂ + ⋯ + x_py_p——五條逐一攤開成分量帳即過((i) 靠平方非負 5.5、(ii) 靠「平方和歸零逼每項歸零」)。反例:在 ℝ² 上只取第一項 x · y = x₁y₁——(ii) 陣亡:(0, 1) · (0, 1) = 0 而 (0, 1) ≠ 0;「自乘歸零僅限零向量」是五條裡最挑剔的一條。

標準款在 p = 1 時就是普通乘法——ℝ 自己是內積空間。(ii) 的分量帳值得寫開:平方和 x₁² + ⋯ + x_p² = 0 時,若哪個 xᵢ ≠ 0,它的平方嚴格正(5.5(a))、其餘各項非負,總和就嚴格正——矛盾;所以每個分量都是 0。這筆「和歸零逼逐項歸零」的小帳,往後還會再用。

長度的規格書:norm(8.5、8.6)

8.5  DEFINITION
A norm on a vector space V is a function x ↦ ‖x‖ from V to ℝ satisfying:
(i) ‖x‖ ≥ 0 for all x ∈ V;
(ii) ‖x‖ = 0 if and only if x = 0;
(iii) ‖ax‖ = |a| ‖x‖ for all a ∈ ℝ, x ∈ V;
(iv) ‖x + y‖ ≤ ‖x‖ + ‖y‖ for all x, y ∈ V (the Triangle Inequality).
A vector space with a norm is a normed space.
norm(範數)是「長度」的規格書:非負(i)、歸零僅限零向量(ii)、伸縮多少倍長度就乘多少倍——方向反轉不影響長短,所以掛的是 |a|(iii)、繞路不比直走短(iv,三角不等式)。配了 norm 的空間稱 normed space。與內積一樣,同一個空間可以配多款 norm——§8-3 會展示三款。
正例:ℝ 上的絕對值——5.11 的 (a)(b)(c) 與 5.12 恰好把四條規格逐一蓋章:一維的 norm 早在 §5 領過照。反例:「平方和不開根號」N(x) = x₁² + ⋯ + x_p²——(iii) 陣亡:N(2x) = 4N(x),伸縮兩倍長度卻翻四倍;規格書指定的是一次齊次,平方款不合格。

ℝᵖ 上大家最想要的候選當然是畢氏款 ‖x‖ = (x₁² + ⋯ + x_p²)^{1/2}(開根號由 §6 的 6.8 加映供應——每個非負數有唯一非負平方根)。規格 (i)(ii)(iii) 都好驗,卡關的是 (iv):平面上「三角形兩邊之和不小於第三邊」人人信,但 p 維的代數證明呢?下面的定理一箭雙鵰:先立一條更基本的估計(Schwarz),三角不等式順流而下——而且對任何內積空間一體成立,不只 ℝᵖ。

內積生長度:Schwarz 不等式(8.7)

8.7  THEOREM
Let V be an inner product space and set ‖x‖ = (x · x)^{1/2} for x ∈ V. Then x ↦ ‖x‖ is a norm on V, and
(∗) x · y ≤ ‖x‖ ‖y‖ for all x, y ∈ V.
Moreover, for non-zero x, y equality holds in (∗) exactly when x = cy for some strictly positive real c.
內積自乘開根號,得到的就是一個合格的 norm(induced norm),而且附贈 Schwarz 不等式:內積永遠不超過兩個長度的乘積;取等的時機(兩向量皆非零時)恰好是「同方向」——一個是另一個的正倍數。全名 Cauchy–Bunyakovskii–Schwarz Inequality,整門分析的估計主力之一。
正例:x = (3, 4)、y = (6, 8) = 2x——內積 18 + 32 = 50,長度乘積 5 × 10 = 50:同方向,貼緊取等。反例:x = (1, 0)、y = (0, 1)——內積 0,長度乘積 1:方向一歪等號就鬆,垂直時內積乾脆歸零。
PROOF

設 V 為內積空間,‖x‖ = (x · x)^{1/2}——8.3(i) 保證被開方的數非負、6.8(加映)保證非負平方根存在且唯一,定義成立。順帶備一條小帳:0 · y = (0 + 0) · y = 0 · y + 0 · y,兩邊消去得 0 · y = 0——零向量與誰做內積都是 0(例行,8.3(iv) 加 §4 的消去)。

證明計畫 · 由所求想起
要證:induced norm 過 8.5 四關,外加 Schwarz。
⇢ 規格 (i)(ii)(iii) 由內積五條直讀。
⇢ Schwarz 是關鍵一步:拿兩個向量湊一個「自乘必非負」的組合向量,展開那筆非負的帳,係數挑得巧,帳面剛好逼出 x · y ≤ ‖x‖‖y‖。
⇢ 取等時機:同一筆帳歸零 ⟺ 組合向量歸零 ⟺ 兩向量成正倍數。
⇢ 三角不等式 (iv) 最後收割:把 ‖x + y‖² 展開,中間的交叉項用 Schwarz 壓住。
Proof.  Properties 8.5(i)–(iii) come straight from the inner product. The square root is positive or zero, giving (i). If ‖x‖ = 0, then x · x = 0, and 8.3(ii) forces x = 0 — with the converse immediate — giving (ii). And (ax) · (ax) = a²(x · x) by two uses of 8.3(v), so taking square roots — unique non-negative roots multiply — yields ‖ax‖ = |a| ‖x‖, giving (iii).
前三關是例行過帳:(i) 是「平方根非負」的直讀;(ii) 把 norm 歸零翻譯回內積歸零,8.3(ii) 收單;(iii) 先用 8.3(v) 兩次把 a 拉出來得 a²(x · x),再開根號——(a²)^{1/2} = |a|(正負兩案各驗一下,即 5.10 的絕對值),一次齊次到手。數字對照:‖(−2)(3, 4)‖ = ‖(−6, −8)‖ = 10 = |−2| · 5。
For (∗), let a, b ∈ ℝ and form z = ax − by. Expanding with 8.3(i), (iii), (iv), (v),
0 ≤ z · z = a²(x · x) − 2ab(x · y) + b²(y · y).
Now choose a = ‖y‖ and b = ‖x‖:
0 ≤ ‖y‖²‖x‖² − 2‖x‖‖y‖(x · y) + ‖x‖²‖y‖² = 2‖x‖‖y‖(‖x‖‖y‖ − x · y).
If x and y are both non-zero, then ‖x‖‖y‖ > 0, and dividing gives x · y ≤ ‖x‖‖y‖; if either vector is 0, both sides of (∗) vanish and the inequality is trivial.
這一步的所求:一條對任何 x、y 都成立的內積上限。整場證明只有一個主意:自乘必非負(8.3(i))是免費的不等式產生器——挑一個聰明的組合向量 z = ax − by,把 z · z ≥ 0 攤開,不等式就自己長出來。攤開用掉對稱與雙線性(交叉項 −2ab(x · y) 合併自兩筆相同的帳)。係數怎麼挑是唯一的巧思:取 a = ‖y‖、b = ‖x‖,前後兩項疊成同一個 ‖x‖²‖y‖²,整式收攏成 2‖x‖‖y‖(‖x‖‖y‖ − x · y) ≥ 0——括號外的因子非負,於是括號內非負(兩人皆非零時因子嚴格正,同除即得;有一方為零時 (∗) 兩邊都是 0,setup 的小帳收尾)。數字對照:x = (1, 0)、y = (1, 1)——x · y = 1 ≤ 1 × √2 ✓。
y x x 投在 y 方向的帶號投影 x · y = 帶號投影 × ‖y‖;投影的大小不超過 ‖x‖

這張圖是 Schwarz 的幾何直觀(證明本身是 z · z ≥ 0 的代數帳):內積可讀成「x 投在 y 方向的帶號投影」乘上 ‖y‖——帶號的意思是它會是負的,x 與 y 指向相反的一側時(例如 x = (−1, 0)、y = (1, 0),內積 −1)投影朝後。無論朝前朝後,投影的大小都不超過 ‖x‖——這正是 8.8 絕對值版 |x · y| ≤ ‖x‖‖y‖ 的畫面;(∗) 只管朝前那一側,等號發生在 x 整個躺平在 y 的正方向時,即取等條件「x = cy、c > 0」。

For the equality case, suppose first x = cy with c > 0. Then x · y = c(y · y) = c‖y‖² while ‖x‖ = c‖y‖, so both sides of (∗) equal c‖y‖². Conversely, if x · y = ‖x‖‖y‖ with x, y non-zero, run the display above with z = ‖y‖x − ‖x‖y: it gives z · z = 0, so z = 0 by 8.3(ii), that is ‖y‖x = ‖x‖y. Dividing by ‖y‖ > 0 exhibits x = c y with c = ‖x‖/‖y‖ > 0.
取等的雙向各走一步。順向是驗算:x = cy 代進去,兩邊都算出 c‖y‖²(c > 0 讓 |c| = c,例行)。逆向的機制漂亮:等號成立時,主帳 2‖x‖‖y‖(‖x‖‖y‖ − x · y) 歸零,也就是那個組合向量自乘歸零——8.3(ii) 說自乘歸零的只有零向量,於是 ‖y‖x = ‖x‖y:兩向量被迫共線,倍率 c = ‖x‖/‖y‖ 嚴格正。數字對照回 inst:(3, 4) 與 (6, 8)——c = 1/2⋯⋯從 y 看 x 是一半、從 x 看 y 是兩倍,方向一致即可。
Finally 8.5(iv). Using bilinearity and then (∗),
‖x + y‖² = (x + y) · (x + y) = ‖x‖² + 2(x · y) + ‖y‖² ≤ ‖x‖² + 2‖x‖‖y‖ + ‖y‖² = (‖x‖ + ‖y‖)²,
and taking non-negative square roots — order-preserving for non-negative numbers — gives ‖x + y‖ ≤ ‖x‖ + ‖y‖.
三角不等式在此收割:‖x + y‖² 攤開後只有中間的交叉項 2(x · y) 不受控——Schwarz 恰好把它壓到 2‖x‖‖y‖ 以下,整式湊成完全平方 (‖x‖ + ‖y‖)²。兩邊都非負,開根號保序(§6-4 用過的「非負平方保序」反著讀),(iv) 到手。一維時它退化成 5.12——同一條定理的 p 維長大版。
內積開根號=合格的 norm,Schwarz 隨貨附贈、三角不等式順流而下——而且對任何內積空間一體成立。∎

絕對值版與反向三角(8.8)

8.8  COROLLARY
For all x, y in an inner product space V,
(∗∗) |x · y| ≤ ‖x‖ ‖y‖.
For y ≠ 0, equality holds in (∗∗) exactly when x = cy for some real c.
Schwarz 的絕對值版:內積的大小不超過長度乘積——(∗) 只壓住正的一側,這裡連負得很兇的內積也一起管住。取等條件放寬到任何實倍數 c(反方向的共線也算)。(∗) 與 (∗∗) 通稱 Schwarz Inequality。
正例:x = (−3, −4)、y = (3, 4)——內積 −25,(∗) 說它 ≤ 25 固然沒錯,但 (∗∗) 給出更有用的 |−25| = 25 ≤ 25:反向共線,絕對值版貼緊。反例:取等條件不能再放寬到「任兩個向量」——(1, 0) 與 (1, 1) 非共線,|x · y| = 1 < √2,等號不來。
PROOF

這條的證明不長,走一遍:對 (x, y) 與 (−x, y) 各引用一次 (∗),再用 §5 的帶寬翻譯合體。

Proof.  Apply (∗) twice: to the pair x, y it gives x · y ≤ ‖x‖‖y‖; to the pair −x, y it gives −(x · y) = (−x) · y ≤ ‖−x‖‖y‖ = ‖x‖‖y‖, using 8.3(v) and 8.5(iii). The two bounds read −‖x‖‖y‖ ≤ x · y ≤ ‖x‖‖y‖, and Theorem 5.11(d) converts this band into |x · y| ≤ ‖x‖‖y‖. For the equality case with y ≠ 0: if x = cy, then |x · y| = |c|‖y‖² = ‖x‖‖y‖. Conversely |x · y| = ‖x‖‖y‖ means x · y = ±‖x‖‖y‖; the + case is 8.7 (giving c > 0, or x = 0 = 0·y), and the − case applied to the pair −x, y gives −x = c′y with c′ > 0, that is x = (−c′)y.
機制與 5.12 的下半場同款:把 x 換成 −x 再引用一次原不等式,正負兩側各得一道牆,帶寬翻譯 5.11(d) 一開,絕對值收工。取等的討論按符號分兩案,各自退回 8.7 的取等條件(x = 0 的邊界寫成 0 · y 收進「任意實倍數」裡)——例行分案。
正負通吃的估計到手——日後出勤的多半是這個絕對值版。∎
反向三角(補遺):與一維的 5.12 一樣,三角不等式附贈下限——| ‖x‖ − ‖y‖ | ≤ ‖x ± y‖。證法原封搬運 5.12 的繞道:‖x‖ = ‖(x + y) − y‖ ≤ ‖x + y‖ + ‖y‖ 移項得單邊,角色互換得另一邊,帶寬翻譯合體;x − y 版把 y 換成 −y(8.5(iii) 保長度不變)。這筆帳常被留給讀者,此處結清。
—— 第二階段到此結束 ——

兩份規格書立好:內積五條(8.3)、norm 四條(8.5);主定理 8.7 一箭三鵰——內積開根號是合格的 norm、Schwarz 不等式隨貨附贈、三角不等式順流而下,8.8 再補上正負通吃的絕對值版。下一篇 §8-3 把這套裝備安在 ℝᵖ 上正式定調:距離、球、以及「分量與長度互相控制」的換算表。先起來伸展一下手臂。臨走前一則:影子向本人抗議待遇不公,本人回——「Schwarz 說了,你最多跟我一樣長,還得同方向。」