【笔记】Normal Distribution and Ex4

基于各种笔记的总结归纳；

原目的是求正态分布下的E(x^4)，结果找到了许多之前遗忘的知识点。

正态分布

$$f(x)=\frac1{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$$

我们知道求标准正态分布下的 $E(x^k)$ 有很多种方法，可以用极坐标转换推，本文章的第一步就先把这两种基础方法不快乐地各推一遍，再引入矩母函数用更快乐更多样的方法求值.

极坐标转换第一种

为了简单按 $N(0,1)$ 为例子，但可以套用其他系数（虽然过程会特别麻烦）

$$\begin{align} E(x)&=\int x^4\frac1{\sqrt{2\pi}}e^{-\frac{x^2}{2}}dx\\ &=\frac1{\sqrt{2\pi}}\int x^4e^{-\frac{x^2}{2}}dx\\ (换元t=\frac{x}{\sqrt2})&=\frac1{\sqrt{2\pi}}\int 4t^4e^{-t^2}\sqrt 2dt\\ &=\frac4{\sqrt{\pi}}\int t^4e^{-t^2}dt\\ \end{align}$$

换元的这一步主要是把$exp$上面的系数换掉，如果存在$\mu$,也要加上去，虽然会变得比较麻烦.

接下来极坐标转换, 注意转换的时候要乘$\rho$

$$\begin{bmatrix} \frac{\partial x}{\partial\theta}&\frac{\partial x}{\partial \rho}\\ \frac{\partial y}{\partial\theta}&\frac{\partial y}{\partial \rho} \end{bmatrix} =\begin{bmatrix} -\rho sin\theta&cos\theta\\ \rho cos\theta&sin\theta \end{bmatrix} =\rho$$

Jacobian Matrix

$$\begin{align} E(x)&=\int x^4e^{-x^2}dx\int y^4e^{-y^2}dy\\ &=\int\int x^4y^4e^{-(x^2+y^2)}dxdy \end{align}$$ $$x=\rho cos\theta,\quad y=\rho sin\theta$$ $$\begin{align} E(x)&=\int_0^\infty\int_0^{2\pi} \rho^8cos\theta^4sin\theta^4e^{-\rho^2}\times\rho\ d\theta d\rho\\ &=\frac12\int_0^\infty\rho^8e^{-\rho^2} d\rho^2\int_0^{2\pi} cos\theta^4sin\theta^4d\theta \\ \end{align}$$

接下来分成两部分相乘，主要如果原分布含有$\mu$, 此时会有许多相加的项，但也按同样的方法分成两部分计算

第一部分

令 $t=\rho^2$

$$\begin{align} &\int_0^\infty t^4e^{-t}dt\\ =&-\int_0^\infty t^4de^{-t}\\ =&-t^4e^{-t}|_0^\infty+4\int_0^\infty e^{-t}t^3dt\\ =&-4\int_0^\infty t^3de^{-t}\\ =&-4t^3e^{-t}|_0^\infty+4\times3\int_0^\infty e^{-t}t^2dt\\ =&4!\int_0^\infty e^{-t}dt\\ =&-4!e^{-t}|_0^\infty=4!=24 \end{align}$$

可以得到规律

$$\int_0^\infty t^{n}e^{-t}dt=n!$$

当我们的次数 $n$ 变换时也可以直接套用

第二部分

当存在 $\mu$ 时，这部分会有不同的组合，可能会遍历 $sin^n x \times cos^m x,\quad m,n\in (1,2,…,k)$ 的所有可能. 但由于其从0到2pi的定积分有以下特性：

1. 当n为奇数时,被积函数是奇函数,所以积分等于0

2. 当m为奇数时, $m=2k+1$, 原式化为$sin^n x * (1-sin^2 x)^k dsinx$ 在-pi到+pi的积分,然后这个式子等于0

因此只取 $n,m$ 都为双数和整数的部分，如果 $k=4$, 只取 $x^2$,$y^2$,$x^4$,$y^4$,$x^2y^2$,$x^2y^4$,$x^4y^2$,$x^4y^4$和整数的部分.

然后争取把所有项凑成 $m,n$ 相同的形式，配合 常用三角函数公式大全 ，$sin\theta^2cos\theta^2=(\frac{sin2\theta}{2})^2$，,$sin\theta^4cos\theta^4=(\frac{sin2\theta}{2})^4$

$$\begin{align} &\int_0^{2\pi}(\frac{sin2\theta}{2})^4d\theta\\ =&\frac 1{16}\int_0^{2\pi}sin2\theta^4d\theta\\ =&\frac 1{16}\int_0^{2\pi}(\frac{1-cos4\theta}2)^4d\theta\\ =&\frac 1{64}\int_0^{2\pi}(1-2cos4\theta+\frac{1+cos8\theta}2)d\theta\\ =&\frac 1{64}\times\frac 32\times2\pi=\frac{3}{64}\pi \end{align}$$

最终得到

$$E(x)=\frac4{\sqrt{\pi}}\times\sqrt{\frac12\times 24\times\frac{3}{64}\pi}=3$$

运用好 Matlab 的 符号运算 和 simplify(f) 对符号表达式进行化简

极坐标转换第二种

为了简单按 $N(0,1)$ 为例子，但可以转到 $N(0,\sigma^2)$

If $X\sim N(0,\sigma^2)$, $Y=\frac{x-0}\sigma=\frac x\sigma\sim N(0,1)$

$$\mathbb E[\frac{x^4}{\sigma^4}]=3\Rightarrow E[x^4]=3\sigma^4$$

开始求

$$\begin{align} &\int_{-\infty}^\infty x^4\frac1{\sqrt{2\pi}}e^{-\frac{x^2}2}dx\\ =&2\int_0^\infty x^4\frac1{\sqrt{2\pi}}e^{-\frac{x^2}2}dx\\ =&(-2)\int_0^\infty x^3\frac1{\sqrt{2\pi}}de^{-\frac{x^2}2}\\ =&-\frac2{\sqrt{2\pi}}(x^3e^{-\frac{x^2}2}|_0^\infty-3\int_0^\infty e^{-\frac{x^2}2}x^2dx)\\ =&\frac6{\sqrt{2\pi}}\int_0^\infty e^{-\frac{x^2}2}x^2dx\\ =&-\frac6{\sqrt{2\pi}}\int_0^\infty xde^{-\frac{x^2}2}\\ =&-\frac6{\sqrt{2\pi}}(xe^{-\frac{x^2}2}|_0^\infty-\int_0^\infty e^{-\frac{x^2}2}dx)\\ =&\frac6{\sqrt{2\pi}}\int_0^\infty e^{-\frac{x^2}2}dx \end{align}$$

这部分感觉能直接说是 CDF 的一半，就是 $\frac 12$，结果等于 3 , 但是up主继续求了，不确定有没有坑.

极坐标转换

$$\begin{align} &\int_0^\infty\int_0^\infty e^{-\frac{x^2}2} e^{-\frac{y^2}2} dxdy\\ (只在第一象限)=&\int_0^\frac{\pi}2\int_0^\infty e^{-\frac{r^2}2}rdrd\theta\\ =&\int_0^\frac{\pi}2 [e^{-\frac{r^2}2}|_\infty^0]d\theta\\ =&\frac\pi2 \end{align}$$

原式子等于

$$\frac6{\sqrt{2\pi}}\sqrt{\frac{\pi}2}=3$$

矩母函数

$$M_x(t)=\mathbb E(e^{tx})$$

对于正态分布 $x\sim N(\mu,\sigma^2)$

$$\begin{align} M_x(t)&=\int\frac1{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}+tx}dx\\ &=\int\frac1{\sqrt{2\pi}\sigma}e^{-\frac{x^2+\mu^2-2(\mu+t\sigma^2)x}{2\sigma^2}}dx\\ &=\int\frac1{\sqrt{2\pi}\sigma}e^{-\frac{[x-(\mu+t\sigma^2)]^2+\mu^2-(\mu+t\sigma^2)^2}{2\sigma^2}}dx\\ &=e^{-\frac{\mu^2-(\mu^2+t^2\sigma^4+2\mu\sigma^2 t)}{2\sigma^2}}\int\frac1{\sqrt{2\pi}\sigma}e^{-\frac{[x-(\mu+t\sigma^2)]^2}{2\sigma^2}}dx\\ &=e^{\frac{t^2\sigma^2}2+\mu t} \end{align}$$

通过 Moment Generating Function 的特性可知

$$e^{uY}=1+uY+\frac{u^2Y^2}{2!}+\frac{u^3Y^3}{3!}+...$$ $$M_Y(u)=\mathbb E[e^{uY}]=1+u\mathbb E(Y)+\frac{u^2\mathbb E(Y^2)}{2!}+\frac{u^3\mathbb E(Y^3)}{3!}+...$$ $$M_Y^{(k)}(0)=E(Y^k)$$

【补充】

补充使用 Ito 求$\mathbb E(W^6(T))$的方法

如果要求 $\mathbb E(W^6(T))$, 设 $f(t,x)=x^6$, $f_t=0, f_x=6x^5, f_{xx}=30x^4$

$$\begin{align} df(t,W(t))=dW^6(T)&=6W(t)^5dW(t)+\frac1230W(t)^4dW(t)dW(t)\\ &=6W(t)^5dW(t)+15W(t)^4dt \end{align}$$ $$W^6(T)-W^6(0)=I_W[6W^5](T)+\int_0^T15W^4(t)dt$$ $$\mathbb E[W^6(T)]=0+\int_0^T15·3t^2dt=15T^3$$

当然也可以直接查表

---

Reference

1. 标准正态分布的E(X^4)积分求解
2. [金融工程][Jerry Xu的金工小知识]Stochastc Calculus布朗运动(Part 3)
3. 矩母函数、正态分布、二次型
4. Ito积分练习题(Part 2)