研一数学基础复习笔记（三）：线性空间、基与正交化
1. 为什么面试前要看这个问题？
前两篇主要围绕矩阵展开：矩阵可以描述多自由度系统的耦合关系，分块矩阵可以帮助我们理解复杂系统的自由度划分和子结构耦合。
但如果继续往后看，比如模态分析、振型展开、POD 降阶、Galerkin 投影，就会发现还有一个更基础的问题：
我们到底是在什么“空间”里表示解？
例如一个结构系统的位移向量可以写成：
$$ \mathbf{u} = \begin{bmatrix} u_1 \\ u_2 \\ \vdots \\ u_n \end{bmatrix} $$这个向量不是孤立存在的，它属于一个 $n$ 维向量空间。我们可以选择不同的基来表示它，比如：
- 用节点自由度作为基；
- 用模态振型作为基；
- 用 POD 模态作为基；
- 用有限元形函数作为基。
这就是“线性空间”和“基”的意义。
所以本篇的核心不是单纯复习定义，而是理解：
基决定了我们如何表示问题，正交基决定了我们能否更方便地投影、展开和降维。
这对面试非常重要。因为很多数值方法本质上都是：
在某个函数空间或向量空间中，选取一组基函数，把无限维或高维问题转化成有限维代数问题。
2. 核心概念
2.1 什么是线性组合？
给定一组向量：
$$ \mathbf{x}_1,\mathbf{x}_2,\cdots,\mathbf{x}_s $$如果某个向量 $\mathbf{y}$ 可以写成：
$$ \mathbf{y} = k_1\mathbf{x}_1 + k_2\mathbf{x}_2 + \cdots + k_s\mathbf{x}_s $$则称 $\mathbf{y}$ 是这组向量的线性组合。
其中 $k_1,k_2,\cdots,k_s$ 是组合系数。
从工程角度看，线性组合就是“用若干基本形态叠加出一个复杂形态”。
例如结构动力学中的振型叠加法，就是把结构响应写成若干振型的线性组合：
$$ \mathbf{u}(t) \approx q_1(t)\boldsymbol{\phi}_1 + q_2(t)\boldsymbol{\phi}_2 + \cdots + q_r(t)\boldsymbol{\phi}_r $$其中：
- $\boldsymbol{\phi}_i$ 是第 $i$ 阶振型；
- $q_i(t)$ 是对应的广义坐标；
- $r$ 是保留的模态数。
这就是线性组合在力学中的典型应用。
2.2 什么是线性相关和线性无关？
如果存在一组不全为零的系数：
$$ k_1,k_2,\cdots,k_s $$使得：
$$ k_1\mathbf{x}_1 + k_2\mathbf{x}_2 + \cdots + k_s\mathbf{x}_s = \mathbf{0} $$则称这组向量线性相关。
如果只有当所有系数都为零时，等式才成立，即：
$$ k_1=k_2=\cdots=k_s=0 $$则称这组向量线性无关。
直观理解：
- 线性相关：这组向量中存在“多余方向”，某个向量可以由其他向量线性表示；
- 线性无关：每个向量都提供了一个新的独立方向。
在数值计算中，线性无关非常重要。
如果选取的基函数线性相关，就会导致矩阵奇异或病态，进而影响方程求解。
例如在有限元或 Ritz 方法中，如果试函数不是线性无关的，最后形成的代数方程组可能无法稳定求解。
2.3 什么是基？
在一个 $n$ 维线性空间 $V$ 中，如果一组向量：
$$ \mathbf{x}_1,\mathbf{x}_2,\cdots,\mathbf{x}_n $$满足两个条件：
- 它们线性无关；
- 空间中任意向量都可以由它们线性表示；
那么这组向量就称为空间 $V$ 的一组基。
也就是说，任意向量 $\mathbf{y}$ 都可以写成：
$$ \mathbf{y} = k_1\mathbf{x}_1 + k_2\mathbf{x}_2 + \cdots + k_n\mathbf{x}_n $$其中：
$$ k_1,k_2,\cdots,k_n $$就是向量 $\mathbf{y}$ 在这组基下的坐标。
这说明：
基是描述空间的基本方向，坐标是某个向量在这些基本方向上的展开系数。
2.4 同一个向量可以有不同坐标
基不是唯一的。
同一个向量，在不同基下会有不同的坐标。
例如在二维平面中，一个点既可以用直角坐标系表示，也可以用斜坐标系表示。点本身没有变，但坐标值变了。
这件事在力学和数值计算中非常重要。
比如同一个位移向量 $\mathbf{u}$：
可以用节点自由度表示：
$$ \mathbf{u} = \begin{bmatrix} u_1 \\ u_2 \\ \vdots \\ u_n \end{bmatrix} $$也可以用模态坐标表示：
$$ \mathbf{u} = \mathbf{\Phi}\mathbf{q} $$其中：
- $\mathbf{\Phi}$ 是由模态向量组成的基矩阵；
- $\mathbf{q}$ 是模态坐标。
这里的 $\mathbf{u}$ 没变，只是表示方式从“物理坐标”变成了“模态坐标”。
这就是换基思想。
3. 关键公式
3.1 基矩阵与坐标
设一组基为：
$$ \mathbf{x}_1,\mathbf{x}_2,\cdots,\mathbf{x}_n $$把这些基向量按列组成矩阵：
$$ \mathbf{A} = \begin{bmatrix} \mathbf{x}_1 & \mathbf{x}_2 & \cdots & \mathbf{x}_n \end{bmatrix} $$如果：
$$ \mathbf{y} = k_1\mathbf{x}_1 + k_2\mathbf{x}_2 + \cdots + k_n\mathbf{x}_n $$则可以写成矩阵形式：
$$ \mathbf{A}\mathbf{k} = \mathbf{y} $$其中：
$$ \mathbf{k} = \begin{bmatrix} k_1 \\ k_2 \\ \vdots \\ k_n \end{bmatrix} $$这里的 $\mathbf{k}$ 就是 $\mathbf{y}$ 在基 $\mathbf{x}_1,\mathbf{x}_2,\cdots,\mathbf{x}_n$ 下的坐标。
如果 $\mathbf{A}$ 的列向量线性无关，那么 $\mathbf{k}$ 是唯一的。
这说明：
线性方程组有唯一解，本质上要求系数矩阵的列向量线性无关。
3.2 换基矩阵
设：
$$ \mathbf{x}_1,\mathbf{x}_2,\cdots,\mathbf{x}_n $$和：
$$ \mathbf{y}_1,\mathbf{y}_2,\cdots,\mathbf{y}_n $$是同一个线性空间中的两组基。
如果每个 $\mathbf{y}_i$ 都可以用 $\mathbf{x}_1,\mathbf{x}_2,\cdots,\mathbf{x}_n$ 表示，那么可以写成：
$$ \begin{bmatrix} \mathbf{y}_1 & \mathbf{y}_2 & \cdots & \mathbf{y}_n \end{bmatrix} = \begin{bmatrix} \mathbf{x}_1 & \mathbf{x}_2 & \cdots & \mathbf{x}_n \end{bmatrix} \mathbf{K} $$其中 $\mathbf{K}$ 称为两组基之间的转换矩阵。
从工程角度看，换基矩阵的作用是：
把同一个物理量从一种表示方式转换到另一种表示方式。
例如模态分析中，从物理坐标转换到模态坐标，本质上就是一种换基。
3.3 正交基
如果一组基中的任意两个不同向量满足：
$$ \mathbf{x}_i^{\mathrm{T}}\mathbf{x}_j=0 \quad (i\ne j) $$则称这组基为正交基。
如果进一步满足：
$$ \mathbf{x}_i^{\mathrm{T}}\mathbf{x}_i=1 $$则称为标准正交基。
也就是说，标准正交基满足：
$$ \mathbf{x}_i^{\mathrm{T}}\mathbf{x}_j = \delta_{ij} $$其中：
$$ \delta_{ij} = \begin{cases} 1, & i=j \\ 0, & i\ne j \end{cases} $$正交基的好处是非常明显的：
不同方向之间互不干扰，投影和展开都更简单。
如果：
$$ \mathbf{y} = \sum_{i=1}^{n}k_i\mathbf{x}_i $$且 $\mathbf{x}_i$ 是标准正交基，那么系数可以直接通过内积得到：
$$ k_i = \mathbf{x}_i^{\mathrm{T}}\mathbf{y} $$这就是正交基在计算中的优势。
3.4 Gram-Schmidt 正交化
如果已有一组线性无关的基：
$$ \boldsymbol{\alpha}_1, \boldsymbol{\alpha}_2, \cdots, \boldsymbol{\alpha}_n $$可以通过 Gram-Schmidt 方法构造一组正交基：
$$ \boldsymbol{\beta}_1, \boldsymbol{\beta}_2, \cdots, \boldsymbol{\beta}_n $$首先令：
$$ \boldsymbol{\beta}_1 = \boldsymbol{\alpha}_1 $$然后：
$$ \boldsymbol{\beta}_2 = \boldsymbol{\alpha}_2 - \frac{ \boldsymbol{\alpha}_2^{\mathrm{T}}\boldsymbol{\beta}_1 }{ \boldsymbol{\beta}_1^{\mathrm{T}}\boldsymbol{\beta}_1 } \boldsymbol{\beta}_1 $$一般地：
$$ \boldsymbol{\beta}_i = \boldsymbol{\alpha}_i - \sum_{j=1}^{i-1} \frac{ \boldsymbol{\alpha}_i^{\mathrm{T}}\boldsymbol{\beta}_j }{ \boldsymbol{\beta}_j^{\mathrm{T}}\boldsymbol{\beta}_j } \boldsymbol{\beta}_j $$这个公式的含义是：
从当前向量中减去它在前面所有基向量方向上的投影，剩下的部分就与前面的方向正交。
如果还要得到标准正交基，可以进一步归一化：
$$ \boldsymbol{\gamma}_i = \frac{ \boldsymbol{\beta}_i }{ \sqrt{ \boldsymbol{\beta}_i^{\mathrm{T}}\boldsymbol{\beta}_i } } $$于是：
$$ \boldsymbol{\gamma}_1, \boldsymbol{\gamma}_2, \cdots, \boldsymbol{\gamma}_n $$就是一组标准正交基。
4. 和力学/数值计算的联系
4.1 基决定了解的表示方式
在力学问题中，我们关心的未知量通常是位移场、速度场、应力场等。
如果是连续问题，未知函数可能是无限维的。
如果经过离散化，未知量就变成有限维向量。
例如有限元中常写：
$$ u(x) \approx \sum_{i=1}^{n}N_i(x)u_i $$其中：
- $N_i(x)$ 是形函数；
- $u_i$ 是节点自由度。
这其实就是用一组基函数 $N_i(x)$ 表示未知位移场。
所以有限元的核心思想之一就是：
用有限个基函数近似连续场变量。
这和线性空间中的“用基表示向量”是一致的。
4.2 模态分析本质上是一种换基
结构动力学方程通常可以写成：
$$ \mathbf{M}\ddot{\mathbf{u}} + \mathbf{K}\mathbf{u} = \mathbf{F} $$如果直接在物理坐标 $\mathbf{u}$ 下求解，系统可能是耦合的。
模态分析中，可以令：
$$ \mathbf{u} = \mathbf{\Phi}\mathbf{q} $$其中：
- $\mathbf{\Phi}$ 是振型矩阵；
- $\mathbf{q}$ 是模态坐标。
这一步本质上就是换基。
如果振型满足关于质量矩阵和刚度矩阵的正交性，那么原来的耦合方程可以被解耦成若干独立方程。
这就是正交基在结构动力学中的重要作用。
4.3 POD 降阶也依赖正交基
在降阶模型中，经常希望用少量基向量表示高维系统状态。
例如：
$$ \mathbf{u} \approx \mathbf{\Phi}_r\mathbf{a} $$其中：
- $\mathbf{\Phi}_r$ 是保留的低维基；
- $\mathbf{a}$ 是低维坐标；
- $r \ll n$。
如果 $\mathbf{\Phi}_r$ 是一组正交基，那么高维变量到低维坐标的投影会非常方便。
例如：
$$ \mathbf{a} = \mathbf{\Phi}_r^{\mathrm{T}}\mathbf{u} $$这就是 POD、Galerkin 投影、模态截断等方法中的基础思想。
所以线性空间、基和正交化并不是抽象概念，而是降维计算的数学基础。
4.4 正交化可以改善数值稳定性
如果一组基函数之间非常接近，虽然理论上可能线性无关，但在数值计算中会导致矩阵病态。
病态矩阵会带来几个问题：
- 求解结果对误差非常敏感；
- 小扰动可能引起大变化；
- 数值迭代收敛变慢；
- 矩阵求逆或线性方程组求解不稳定。
通过正交化，可以让不同基向量之间尽量独立，从而改善数值稳定性。
因此，在 Krylov 子空间方法、QR 分解、Arnoldi 方法、POD 模态构造中，正交化都是非常重要的步骤。
5. 面试中可以怎么回答？
如果面试官问：
什么是线性相关和线性无关？
可以这样回答：
如果一组向量中存在某个向量可以由其他向量线性表示，那么这组向量就是线性相关的；如果每个向量都提供了一个新的独立方向，只有所有系数都为零时线性组合才等于零向量，那么这组向量就是线性无关的。在线性方程组和数值计算中，线性无关非常重要，因为它关系到解的唯一性和矩阵是否奇异。
如果面试官问：
你怎么理解“基”？
可以这样回答：
我理解基就是描述一个线性空间的一组基本方向。空间中的任意向量都可以由这组基线性表示，而且这种表示是唯一的。不同基下，同一个向量会有不同坐标。在力学中，比如物理坐标、模态坐标、POD 坐标，本质上都是对同一个状态变量采用了不同的基来表示。
如果面试官问：
正交基有什么好处？
可以这样回答：
正交基的好处是不同方向之间互不耦合，投影和展开都更简单。如果是标准正交基，展开系数可以直接通过内积得到。在模态分析中，振型正交性可以帮助解耦动力学方程；在 POD 降阶中，正交基可以方便地把高维状态投影到低维空间中。
如果面试官问：
Gram-Schmidt 正交化的思想是什么？
可以这样回答：
Gram-Schmidt 正交化的核心思想是逐个处理向量。对于当前向量，减去它在前面已构造正交向量方向上的投影，剩下的部分就与前面的向量正交。最后再进行归一化，就可以得到标准正交基。它的作用是把一组线性无关向量转化为一组正交基，方便后续投影和数值计算。
如果面试官问：
这些内容和有限元、模态分析有什么关系？
可以这样回答：
有限元中用形函数作为基函数来近似位移场，模态分析中用振型作为基来表示结构响应，POD 降阶中用少量正交模态作为低维基来近似高维状态。所以线性空间和基的概念是这些方法的共同数学基础，而正交性则可以简化投影、解耦方程并改善数值稳定性。
6. 这一篇的核心总结
这一篇主要复习了线性空间、基、坐标和正交化。
可以总结为三句话：
- 线性空间中的向量可以由一组基线性表示，基决定了变量的表示方式。
- 正交基可以简化投影和展开，是模态分析、POD 降阶和 Galerkin 方法的重要基础。
- Gram-Schmidt 正交化的本质是不断减去已有方向上的投影，从而构造互相正交的基。
所以，线性空间不是抽象的数学概念，而是数值力学中“如何表示解”的基础。
从有限元形函数，到模态振型，再到 POD 降阶基，本质上都是在回答同一个问题：
用什么基来表示未知解，才能既准确又高效？
7. 下一篇预告
下一篇准备整理：
研一数学基础复习笔记（四）：特征值与系统固有性质
下一篇会重点讨论行列式、逆矩阵、特征值、特征向量、瑞利商和谱半径，并进一步联系结构动力学中的固有频率、振型和模态分析。