【笔记】Poisson Process

基于B站 up Jerry Xu 的视频《Poisson过程》；

为了跳变打铺垫；

指数分布

If $\tau\sim Exp(\lambda)$

$$\ f_\tau(t)=\begin{cases}\lambda e^{-\lambda t}&t\ge 0\\0&t<0\end{cases}$$ $$F_\tau(t)=\begin{cases}1-e^{-\lambda t}&t\ge0\\0&t<0\end{cases}$$ $$\mathbb E\tau=\int_0^\infty tf_\tau(t)dt=\frac1\lambda$$ $$\mathbb E\tau^2=\int_0^\infty t^2f\tau(t)dt=\frac2{\lambda^2}$$ $$Var\tau=\frac1{\lambda^2}$$

分部积分

• Memorylessness

  $\mathbb P(\tau>u)=\mathbb P(\tau>u+v|\tau>v)$

泊松过程

• $\{\tau_k\}_{k=1}^\infty$：Interarrival times

• $S_n=\sum_{k=1}^n\tau_k$：Arrival times $\sim Gamma(n,\lambda)$

  $$g_{S_n}(S)=\frac{(\lambda S)^{n-1}}{(n-1)!}\lambda e^{-\lambda S}$$

• $\lambda$：Intensity

• $N(t)$：The number of jumps that occur at or before$\sim Poisson(\lambda t)$

  $$\mathbb P(N(t)=k)=\frac{(\lambda t)^k}{k!}e^{-\lambda t}$$
  • $N(t_{j+1})-N(t_j)\sim Poi((t_{j+1}-t_j)\lambda)$ is stationary
  • $\mathbb E[N(t)-N(s)]=\lambda(t-s)$
  • $Var[N(t)-N(s)]=\lambda(t-s)$

证明 $S_n$ 密度函数（归纳法）

1. $$S_1=\tau_1=\lambda e^{-\lambda t}\sim Gamma(1,\lambda)$$

2. 证明当 $S_k$ 符合时，$S_{k+1}$ 也符合

PDF：

$$g_{\tau_{k+1}}(u)=\lambda e^{-\lambda u}$$ $$g_{S_k}=\frac{(\lambda S)^{k-1}}{(k-1)!}\lambda e^{-\lambda S}$$

Joint PDF：

$$g_{S_k\tau_{k+1}}(S,u)=g_{S_k}g_{\tau_{k+1}}(u)=\lambda e^{-\lambda u}\frac{(\lambda S)^{k-1}}{(k-1)!}\lambda e^{-\lambda S}$$

CDF：

$$\begin{align} G_{S_{k+1}}(x)&=\mathbb P(S_{k+1}\leq x)=\mathbb P(S_k+\tau_{k+1}\leq x)\\ &=\int\int_{s+u\leq x}\lambda e^{-\lambda u}\frac{(\lambda S)^{k-1}}{(k-1)!}\lambda e^{-\lambda S}dSdu\\ &=\frac{(\lambda)^{k+1}}{(k-1)!}[\int_0^x e^{-\lambda S}S^{k-1}dS\int_0^{x-S} e^{-\lambda u}du]\\ &=\frac{(\lambda)^{k}}{(k-1)!}[\int_0^x e^{-\lambda S}S^{k-1}dS[e^{-\lambda u}|^0_{x-S}]]\\ &=\frac{(\lambda)^{k}}{(k-1)!}[\int_0^x e^{-\lambda S}S^{k-1}(1-e^{\lambda(S-x)})dS]\\ &=\frac{(\lambda)^{k}}{(k-1)!}[\int_0^x e^{-\lambda S}S^{k-1}-e^{\lambda(S-x)}e^{-\lambda S}S^{k-1}dS]\\ &=\frac{(\lambda)^{k}}{(k-1)!}[\int_0^x e^{-\lambda S}S^{k-1}-e^{-\lambda x}S^{k-1}dS]\\ &=\frac{(\lambda)^{k}}{(k-1)!}[\int_0^x e^{-\lambda S}S^{k-1}dS-\frac1ke^{-\lambda x}S^k|_0^x]\\ &=\frac{(\lambda)^{k}}{(k-1)!}[\int_0^x e^{-\lambda S}S^{k-1}dS-\frac{e^{-\lambda x}x^k}k]\\ \end{align}$$

PDF：$S_{k+1}$

$$\begin{align} g_{S_{k+1}}(x)&=\frac d{dx}G_{S_{k+1}}(x)\\ &=\frac{(\lambda)^{k}}{(k-1)!}[e^{-\lambda x}x^{k-1}-\frac{ke^{-\lambda x}x^{k-1}-\lambda e^{-\lambda x}x^k}k]\\ &=\frac{(\lambda)^{k}}{(k-1)!}\frac{\lambda e^{-\lambda x}x^k}k\\ &=\frac{(\lambda x)^{k}}{k!}\lambda e^{-\lambda x}\\ \end{align}$$

结论成立

证明 $N(t)$ 的分布

$N(t)\ge k\Rightarrow S_k\leq t$

$$\begin{align} \mathbb P(N(t)\ge k)&=\mathbb P(S_k\leq t)\\ &=\int_0^t \frac{(\lambda S)^{k-1}}{(k-1)!}\lambda e^{-\lambda S} ds \end{align}$$ $$\begin{align} \mathbb P(N(t)\ge k+1)&=\mathbb P(S_{k+1}\leq t)\\ &=\int_0^t \frac{(\lambda S)^k}{k!}\lambda e^{-\lambda S} ds\\ &=\frac{(\lambda)^k}{k!}\int_t^0 S^k de^{-\lambda S}\\ &=\frac{(\lambda)^k}{k!}(S^ke^{-\lambda S}|_t^0-\int_t^0 kS^{k-1} e^{-\lambda S}dS)\\ &=\frac{(\lambda)^k}{k!}(-t^ke^{-\lambda t}+k\int_0^t S^{k-1} e^{-\lambda S}dS)\\ &=-\frac{(\lambda)^k}{k!}t^ke^{-\lambda t}+\frac{(\lambda)^k}{(k-1)!}\int_0^t S^{k-1} e^{-\lambda S}dS)\\ \end{align}$$ $$\mathbb P(N(t)=k)=\mathbb P(N(t)\ge k)-\mathbb P(N(t)\ge k+1)=\frac{(\lambda t)^k}{k!}e^{-\lambda t}$$

Compensated Poisson Process

转变成鞅

• $M(t)=N(t)-\lambda t$

证明鞅 (s<t)

$$\begin{align} \mathbb E[M(t)|M(s)]&=\mathbb E[N(t)-\lambda t|\mathscr F(s)]\\ &=\mathbb E[N(t)|\mathscr F(s)]-\lambda t\\ &=\mathbb E[N(t)-N(s)+N(s)|\mathscr F(s)]-\lambda t\\ &=\mathbb E[N(t)-N(s)|\mathscr F(s)]+\mathbb E[N(s)|\mathscr F(s)]-\lambda t\\ &=\lambda (t-s)+N(s)-\lambda t\\ &=N(s)-\lambda s=M(s) \end{align}$$

Compound Poisson Process

跳了不确定的值

• $Q(t)=\sum_{i=1}^{N(t)}Y_i$：总跳变距离

  • $N(t)\sim Poi(\lambda t)$

  • $Y_1,Y_2,…$ be a sequence of iid with mean $\beta$

  • $Q(t_{j+1})-Q(t_j)$ is stationary

    $Y_i$ 不影响时间轴上的随机性

求期望

期望迭代法则/全概率公式

$$\mathbb E[Q(t)|N(t)=k]=k\beta$$ $$\begin{align} \mathbb E[\mathbb E[Q(t)|W(t)]]&=\sum_{k=1}^\infty k\beta·\mathbb P(N(t)=k)\\ &=\sum_{k=1}^\infty k\beta\frac{(\lambda t)^k}{k!}e^{-\lambda t}\\ &=\sum_{k=1}^\infty \beta\frac{(\lambda t)^k}{(k-1)!}e^{-\lambda t}\\ (l=k-1)&=\sum_{l=0}^\infty \beta\lambda t\frac{(\lambda t)^l}{l!}e^{-\lambda t}\\ &=\beta\lambda t \end{align}$$

如果 $Y_i$ 为离散随机变量

$Y_i$ 只能取 M 个定值

• $Q(t)=\sum_{i=1}^{N(t)}Y_i$
• $N(t)=\sum_{m=1}^MN_m(t)$
  • $N_1,N_2…$ 所有的次数相和等于总次数
• $Q(t)=\sum_{m=1}^MY_mN_m(t)$
  • $Y_1,Y_2…$所有距离乘对应次数相加之后等于总距离

---

Reference

1. 浅谈全概率公式和贝叶斯公式

2. 期望迭代法则具体指的是什么？