確率分布関数の話をしましたが、公理的確率論では以下のように定義されます。

確率分布

前記事において事象族$\mathcal{F}$に対して写像である確率$P$を定義しました。また、前記事において確率変数$X$により、例えば根元事象$\img[-0.2em]{/images/d1s.png}$を1に写像することを説明しました。確率変数の定義を再度掲載すれば、

Borel加法族が$\mathbb{B}(\mathbb{R}^n)=\mathbb{B}^n$であり、$X:\Omega\rightarrow\mathbb{R}^n$のとき、 $$\forall B\in\mathbb{B}^n\to X^{-1}(B)=\{\omega\in\Omega;X(\omega)\in B\}\in\mathcal{F}$$ となる写像$X$を$\mathcal{F}$可測写像、あるいは確率変数と呼ぶ。

$X$により事象族$\mathcal{F}$がBorel加法族$\mathbb{B}$に写像されます。すると、$P$と同様な確率測度$P_X$が定義でき、

確率変数$X$に対して $$B\in\mathbb{B}^n\to P_X(B)=P(X^{-1}(B))=P(\{\omega\in\Omega;X(\omega)\in B\})=P(X\in B)\ $$ により定まる可測空間$(\mathbb{R}^n, \mathbb{B}^n)$上の確率測度$P_X$を、確率変数$X$の確率分布と呼ぶ。

確率分布関数

確率分布が集合関数であるのに対して、確率分布関数は点関数(普通の関数)です。確率分布関数は、確率変数が$x$以下である確率を意味します。

$$F_X(x)=P_X(\{X\in\mathbb{R}^n;X_i<=x_i (i=1, 2, ...,n)\})=P(X\leq x)$$ を確率分布関数(Cumulative Distribution Function, CDF)と呼ぶ。

確率密度関数

確率分布関数$F_X(x)$が微分可能である場合、 $$f_X(x)=\frac{\partial^n}{\partial x_1...\partial x_n}F_X(x)$$ を確率密度関数(Probability Density Function, PDF)と呼ぶ。

測度としては面積($\mathbb{R}^2$)、体積($\mathbb{R}^3$)のアナロジーで理解されるように、確率測度を$n$次元ユークリッド空間で考えていますが、故障確率を考える上では1次元で十分です。従って、CDF及びPDFはそれぞれ

$$F_X(x)=P_X(\{X\in\mathbb{R};X<=x\})=P(X\leq x)$$ $$f_X(x)=\frac{d}{dx}F_X(x)$$

となります。

前のブログ 次のブログ

前記事の図181.1を生成したコードは以下のようなもので、i番目の部品が稼働していたら(life[i]==1)サイコロを振り、故障率で示される範囲に入っていたら故障とする(life[i] = 0)ものです。そのときの稼働時刻t-1を(tは不稼働時刻であるため)FFOTに格納します。

for (t = 0; t < TIMEMAX; t++) {
    for (int i = 0; i < IMAX; i++) {
        if ((life[i] == 1) && (genrand_real1() < lambda)) {
            life[i] = 0; // failed
            ffot[i] = t-1; // t-1 is the failure free operating time
        }
    }
}

コードを見るとわかるようにどこにも指数関数は使用していませんが、前図181.1のように指数分布になります。このことは過去記事(#1～#5)でも解説しているように、簡単に示すことができます。ここで故障率$\lambda$は定数とします。

時刻$t=0$では全ての部品が良品(信頼度=1)であり、時刻$t$において、1時間後の信頼度の減少は故障率に比例することから、信頼度についての差分方程式が得られます。 $$R(t+1)-R(t)=-\lambda\cdot R(t)$$ 1時間後ではなく、$\Delta t$時間後として、これを0に限りなく近づければ、差分方程式は信頼度について微分方程式となり、 $$\lim_{\Delta t\to 0}\frac{1}{\Delta t}\cdot[R(t+\Delta t)-R(t)]=\frac{dR(t)}{dt}=-\lambda\cdot R(t)\\ -\lambda=\frac{1}{R(t)}\frac{dR(t)}{dt}=\frac{d}{dt}\ln R(t)\\ -\int\lambda dt=-\lambda t+C_1=\ln R(t)+C_2\\ R(t)=e^{-\lambda t+C_1-C_2}$$ ここで、$R(0)=1$を用いれば、積分定数はゼロとなり、 $$\therefore R(t)=e^{-\lambda t}\\ $$ このように故障率を一定として微分方程式を立て、積分して分布関数を求めると、上記のように信頼度が求まります。不信頼度(CDF, 累積分布関数)は以下のようになります。 $$F(t)=1-R(t)=1-e^{-\lambda t}$$

前のブログ 次のブログ

確率変数

次は(実数)確率変数の定義です。

確率変数$X$は標本空間$\Omega$の要素$\omega$に対して、実数値$x\in\mathbb{R}$(正確には$\mathbb{R}^n$)を写像する関数で、その逆像が$\Omega$の部分集合となるような可測関数です。

$$X:\omega\in\Omega\rightarrow x\in\mathbb{R}$$ あるいはこれを簡単に $$X:\Omega\rightarrow\mathbb{R}$$ と表したとき、 $$X(\omega)=x\in\mathbb{R},\ X^{-1}(x)=\omega\in\Omega$$

実は、サイコロを振った事象をJupyter Notebookで表せるように$\{1, 2\}$等としていましたが、本来はサイコロ事象なので、$\{\img[-0.2em]{/images/d1s.png}, \img[-0.2em]{/images/d2s.png}\}$等とすべきでした。しかし、これでは計算が困難なため、(根元)事象を数値にマッピングすると便利です。その写像が上記で定義した確率変数です。

無故障稼働時間

具体例を示します。例えば確率変数がFFOT(Failure Free Operating Time; 無故障稼働時間)を表す時、部品が1,000個ある場合の故障状況をExcelでシミュレーションしてみます。ここで部品の故障率は皆同じで、$1.0\times 10^{-4}$とします。

図181.1 (1)の縦軸は1,000個の部品番号を示します。横軸は時間$t$[h]です。1,000個の部品が時間$t$に従って、ランダムに故障する状況を示しています。

図181.1 (2)はそれを故障した順番(つまりFFOTの短い順)にソートしたものです。

ここでは修理が無いため故障した部品はもう故障しないので、故障していない部品のみが故障することから、上記のFFOTの長さでソートすると、図181.1 (2)に示すとおり、一定の法則が見られます。これを確率分布(時間に関する確率分布は特に確率過程と呼ばれます)と呼び、故障率一定の場合は指数分布となります。

前のブログ 次のブログ

ほとんど確実に

確率空間$(\Omega,\mathcal{F},P)$が定義されたので、確率が0になる事象に関して有用な概念をいくつか説明します。

ある事象$N\in\mathcal{F}$で、$P(N)=0$なるものをP零集合あるいは零事象と呼ぶ。

例えば、今度は1から4までの目のあるサイコロにおいて、出目が2以下かどうかを観察します。 $$\Omega=\{\img[-0.2em]{/images/d1s.png}, \img[-0.2em]{/images/d2s.png}, \img[-0.2em]{/images/d3s.png}, \img[-0.2em]{/images/d4s.png}\}$$ $$\mathcal{F}=\{\varnothing, \{\img[-0.2em]{/images/d1s.png}, \img[-0.2em]{/images/d2s.png}\}, \{\img[-0.2em]{/images/d3s.png}, \img[-0.2em]{/images/d4s.png}\}, \{\img[-0.2em]{/images/d1s.png}, \img[-0.2em]{/images/d2s.png}, \img[-0.2em]{/images/d3s.png}, \img[-0.2em]{/images/d4s.png}\}\}$$ であるときに、たまたま歪んだサイコロで、 $$P(\{\img[-0.2em]{/images/d3s.png}, \img[-0.2em]{/images/d4s.png}\})=0$$ であった場合、事象$N=\{\img[-0.2em]{/images/d3s.png}, \img[-0.2em]{/images/d4s.png}\}$は零事象と呼びます。

ある事象$E\in\mathcal{F}$で、$P(E)=1$であるとき、$E\ (a.s.)$等と書き、Eはほとんど確実に起こるという。

上記零事象$N=\{\img[-0.2em]{/images/d3s.png}, \img[-0.2em]{/images/d4s.png}\}$を全事象から除いた余事象$N^c=\{\img[-0.2em]{/images/d1s.png}, \img[-0.2em]{/images/d2s.png}\}$ですが、全事象ではないものの、 $$P(\{\img[-0.2em]{/images/d1s.png}, \img[-0.2em]{/images/d2s.png}\})=1$$ となり、事象$\{\img[-0.2em]{/images/d1s.png}, \img[-0.2em]{/images/d2s.png}\}\ (a.s.)$となります。

一般に零事象の部分集合は、元の$\mathcal{F}$の元になっているとは限りません。実際に上記零事象$N=\{\img[-0.2em]{/images/d3s.png}, \img[-0.2em]{/images/d4s.png}\}$の部分集合$E_3=\{\img[-0.2em]{/images/d3s.png}\}$や$E_4=\{\img[-0.2em]{/images/d4s.png}\}$は

$$\mathcal{F}=\{\varnothing, \{\img[-0.2em]{/images/d1s.png}, \img[-0.2em]{/images/d2s.png}\}, \{\img[-0.2em]{/images/d3s.png}, \img[-0.2em]{/images/d4s.png}\}, \{\img[-0.2em]{/images/d1s.png}, \img[-0.2em]{/images/d2s.png}, \img[-0.2em]{/images/d3s.png}, \img[-0.2em]{/images/d4s.png}\}\}$$ に含まれません。一方、

零事象$N$の部分集合が全て事象$\tilde{\mathcal{F}}$に含まれている場合は、確率空間$(\Omega,\tilde{\mathcal{F}},\tilde{P})$は完備であるという。

上記のように完備でない確率空間の場合、完備化は容易です。事象族$\mathcal{F}$に$E_3$と$E_4$及び、それらと元の元の和集合を含めれば良いだけです。実際にやってみると、 $$\tilde{\mathcal{F}}=\{\varnothing, \{\img[-0.2em]{/images/d3s.png}\}, \{\img[-0.2em]{/images/d4s.png}\}, \{\img[-0.2em]{/images/d1s.png}, \img[-0.2em]{/images/d2s.png}\}, \{\img[-0.2em]{/images/d3s.png}, \img[-0.2em]{/images/d4s.png}\}, \{\img[-0.2em]{/images/d1s.png}, \img[-0.2em]{/images/d2s.png}, \img[-0.2em]{/images/d3s.png}\}, \{\img[-0.2em]{/images/d1s.png}, \img[-0.2em]{/images/d2s.png}, \img[-0.2em]{/images/d4s.png}\}, \{\img[-0.2em]{/images/d1s.png}, \img[-0.2em]{/images/d2s.png}, \img[-0.2em]{/images/d3s.png}, \img[-0.2em]{/images/d4s.png}\}\}$$ が、完備化された事象です。ここで$E_3$や$E_4$の確率を求めると、もともと $$P(\{\img[-0.2em]{/images/d3s.png}\cup\img[-0.2em]{/images/d4s.png}\})=P(\{\img[-0.2em]{/images/d3s.png}\})+P(\{\img[-0.2em]{/images/d4s.png}\})=0$$ であることから、$P(A)\geq 0$より、 $$P(\{\img[-0.2em]{/images/d3s.png}\})=P(\{\img[-0.2em]{/images/d4s.png}\})=0$$ このように、それらは加法公理から零事象となるため、定量的な議論には影響がありません。従って、議論の対象となる確率空間$(\Omega,\mathcal{F},P)$は完備であると前提しても良いわけです。

前のブログ 次のブログ

測度

次は測度です。

可測空間$(S,\mathfrak{B})$に対し、$\mathfrak{B}$上で定義された集合関数$\mu$(あるいは写像$\mu:\mathfrak{B}\rightarrow\mathbb{R}$)が次の2条件を満たすとき、$\mu$を可測空間$(S,\mathfrak{B})$上の測度と呼ぶ。

1. 任意の$E\in\mathfrak{B}$に対し、 $$\mu(\varnothing)=0, 0\le\mu(E)\le \infty$$
2. $E_n\in\mathfrak{B} (n=1,2,...)$において、$j\ne k$ならば$E_j\cap E_k=\varnothing$であるとき、 $$\mu(\bigcup_{n=1}^{\infty}E_n)=\sum_{n=1}^{\infty}\mu(E_n)$$ また、$(S,\mathfrak{B},\mu)$を測度空間と呼ぶ。

これらの公理から、測度の有限加法性、単調性、劣加法性、上方連続性、下方連続性を導くことができます。測度が加法性を持つことは、測度がモノの長さや面積に対する抽象化であることを意味しています。

確率

確率論は測度論を基礎としており、いよいよ確率の定義です。

以下の条件を満たす測度空間$(\Omega,\mathcal{F},P)$を確率空間と呼び、その$P$を確率(測度)と呼ぶ。

$$P(\Omega)=1$$

つまり、確率という、分かったようで分からない概念は、長さや面積と同様、測度の一種だったのです。この$\mathcal{F}$上の確率測度$P$は、写像$P:\mathcal{F}\rightarrow[0, 1]$と同じことです。事象を0から1までの数値にマッピングするものです。

さらに、確率空間$(\Omega,\mathcal{F},P)$において、集合$\Omega$は標本空間(または全事象)で、$\Omega$の元$\omega_n$を根元事象と呼びます。従って、 $$\omega_n\in\Omega$$ また、$\mathcal{F}$の元$E_n$を事象と呼びます。従って、 $$E_n\in\mathcal{F}$$

具体例

標本空間を$\Omega$として、$\img[-0.2em]{/images/d1s.png}$から$\img[-0.2em]{/images/d3s.png}$までの目のあるサイコロを表す集合を考えます。目が6までないのは、全てを書き表すと数が多くなるため、単に目の組み合わせの数を減らしたいためです。この$\img[-0.2em]{/images/d1s.png}$から$\img[-0.2em]{/images/d3s.png}$までの目はこれ以上分割できない事象であるため、根元事象$\omega\in\Omega$と呼びます。つまり、 $$\Omega=\{\omega_n;n=1,2,3\}=\{\omega_1, \omega_2, \omega_3\}=\{\img[-0.2em]{/images/d1s.png}, \img[-0.2em]{/images/d2s.png}, \img[-0.2em]{/images/d3s.png}\}$$ この集合の取り出し方法(目の出方、事象)$E_n$の集合が事象$\mathcal{F}$となります。例えば、サイコロを非常にたくさん振った時の目の出方を考えます。一つ一つの目を区別する測り方としますが、この測り方により事象が変わってきます。目の出方の組み合わせは最大$2^3=8$通りあります。つまり、 $$E_n (n=1,2,...8)\in\mathcal{F}$$ 例えば$E=\{\img[-0.2em]{/images/d1s.png}, \img[-0.2em]{/images/d2s.png}\}$は、出た目が$\img[-0.2em]{/images/d1s.png}$または$\img[-0.2em]{/images/d2s.png}$と考えます。

そして、8個の元全てに対して$[0,1]$の値を写像する関数$P$を考え、これを確率測度とします。

同じくJupyter Notebookで試してみると、

Ω=FiniteSet(1, 2, 3)
Ω

{1,2,3}

generate_sigma_algebra(Ω,FiniteSet({1},{2},{3}))

{∅,{1},{2},{3},{1,2},{1,3},{2,3},{1,2,3}}

この$\{\{1\},\{2\},\{3\}\}$は、標本空間$\Omega$に対して、目の一つずつを見分けるという、識別の仕方を示しています。同じ出目であっても、識別の仕方で確率は変わってきます。

Ω.powerset()

{∅,{1},{2},{3},{1,2},{1,3},{2,3},{1,2,3}}

生成された事象集合$\mathcal{F}$は$\Omega$のべき集合$2^\Omega$となっています。

ここで確率$P$の具体例を見てみます。公理から、 $$P(\varnothing)=0\\ P(\{\img[-0.2em]{/images/d1s.png}, \img[-0.2em]{/images/d2s.png}, \img[-0.2em]{/images/d3s.png}\})=1$$ 全ての根元事象の確率が等しいと仮定すれば、 $$P(\{\img[-0.2em]{/images/d1s.png}\})=P(\{\img[-0.2em]{/images/d2s.png}\})=P(\{\img[-0.2em]{/images/d3s.png}\})=\frac{1}{3}$$ となります。上記$\sigma$加法族が示すように、目の出方の残りは、 $$P(\{\img[-0.2em]{/images/d1s.png}, \img[-0.2em]{/images/d2s.png}\})=P(\{\img[-0.2em]{/images/d2s.png}, \img[-0.2em]{/images/d3s.png}\})=P(\{\img[-0.2em]{/images/d1s.png}, \img[-0.2em]{/images/d3s.png}\})=\frac{2}{3}$$ となります。

事象のべき集合$2^\Omega$は、確率が定義できる可測空間の中で最大のものであり、もっと小さいものも定義できます。以下の集合が最小の事象集合です。 $$\mathcal{F}=\{\varnothing, \Omega\}$$ これは事象の識別の仕方を前とは変えたものです。目を全く区別せず、目が出るか出ないかのみに着目した$\sigma$加法族です。それぞれの事象の確率はいうまでもなく0と1です。

前のブログ 次のブログ

確率とは何か

測度・確率・ルベーグ積分 応用への最短コース (KS理工学専門書)によれば、「確率とは何か。この深遠な問題に対する完全な解答を我々は持っていないが、この問題から相当の部分を捨象した数学的定義としては、20世紀に入ってコルモゴロフ(Kolmogorov, Al.L., 1903-1987)によって与えられた、公理に基づく確率空間と確率の定義が、現状では理論と応用の両面で最も成功している」とのことです。

そのため本ブログでも公理的確率論を解説します。公理的確率論とは、確率とはこうであると定義するのではなく(それだと、こういうものは確率なのかと様々な疑問が出る)、こういう性質を持つものを確率と呼ぶと、公理から出発する方法論です。これにより、公理、つまり正しいと認めたものから出発するため、疑いようのないものになります。

確率論の準備として$\sigma$加法族の定義から始めます。

$\sigma$加法族の定義

空でない集合$S$の、様々な部分集合$E_n$を元とする集合族$\mathfrak{B}$が、次の3つの条件を満たすとき、$\mathfrak{B}$を$\sigma$加法族(もしくは$\sigma$-field、$\sigma$-algebra)と呼ぶ。

1. $$\varnothing\in\mathfrak{B}$$
2. $$E\in\mathfrak{B}\Rightarrow E^c\in\mathfrak{B}$$
3. $$E_n\in\mathfrak{B}(n=1,2,...)\Rightarrow\bigcup_{n=1}^{\infty}E_n\in\mathfrak{B}$$

また、$S$の部分集合で$\sigma$加法族$\mathfrak{B}$に属する$E$を$\mathfrak{B}$可測であるという。さらに、$(S,\mathfrak{B})$のペアを可測空間と呼ぶ。

無限の記号$\infty$があることより判りますが、$\sigma$加法族の元は可算無限個です。

生成された$\sigma$加法族

空でない集合$S$の、様々な部分集合$E_n$を元とする集合族$\mathfrak{B}_0$に対して、この$\mathfrak{B}_0$を含むような$\sigma$加法族のうち最小のものが存在する。これを$\sigma[\mathfrak{B}_0]$と書き、$\mathfrak{B}_0$から生成された$\sigma$加法族と呼ぶ。

実例

$\sigma$加法族が抽象的で分かりにくいので、具体例で見てみます。$\sigma$加法族は頭で考えても書き下せるものの、往々にして抜け漏れが出ます。そのため、プログラムで確認することにします。確認には以下のpythonプログラムを使用しました。 https://qiita.com/ktsysd/items/97f75330f9492e727799

from sympy import FiniteSet, EmptySet
from itertools import combinations

def is_sigma_algebra(Om, FF):
    return (Om in FF) \
        and (all(Om - e in FF for e in FF)) \
        and (all(l + r in FF for l, r in combinations(FF, 2)))

def append_complements(Om, F):
    return sum((FiniteSet(Om - e) for e in F), F)

def append_unions(F):
    return sum((FiniteSet(l + r) for l, r in combinations(F, 2)), F)

def generate_sigma_algebra(Om, F):
    cur_F = F + FiniteSet(Om)
    prev_F = EmptySet()
    while prev_F != cur_F:
        prev_F = cur_F
        cur_F = append_complements(Om, cur_F)
        cur_F = append_unions(cur_F)
    assert is_sigma_algebra(Om, cur_F)
    return cur_F

これをJupyter Notebookに入力して、(有限ですが)$\sigma$加法族の生成を行ってみます。まず、集合$S$が$S=\{1, 2, 3, 4\}$であるときを考えます。集合Sは数の集合でなくても良いので、例えばサイコロの目の集合$S=\{\img[-0.2em]{/images/d1s.png}, \img[-0.2em]{/images/d2s.png}, \img[-0.2em]{/images/d3s.png}, \img[-0.2em]{/images/d4s.png}\}$でも構いませんし、確率の議論ではむしろその方が良く出てきます。ですが、Jupyter Notebookで扱うためには数値でなければならないので、数値に置き換えます。

まず簡単なほうから。$E_1=\{1, 2\}$、$E_2=\{3, 4\}$とします。これらを元とする$\mathfrak{B}_0=\{E_1, E_2\}$によって生成される$\sigma[\mathfrak{B}_0]=\sigma[\{E_1, E_2\}]$は、

generate_sigma_algebra(FiniteSet(1, 2, 3, 4), FiniteSet({1, 2},{3,4}))

{∅,{1,2},{3,4},{1,2,3,4}}

生成された集合は$\sigma$加法族構造を持ち、上記の公理を満足しています。

次に$E_1=\{1, 2\}$、$E_2=\{1, 3\}$のように変えると、次の例のように生成される元の数が非常に多くなります。同じくこれらを元とする$\mathfrak{B}_1=\{E_1, E_2\}$によって生成される$\sigma[\mathfrak{B}_1]=\sigma[\{E_1, E_2\}]$は、

generate_sigma_algebra(FiniteSet(1, 2, 3, 4), FiniteSet({1, 2},{1,3}))

{∅,{1},{2},{3},{4},{1,2},{1,3},{1,4},{2,3},{2,4},{3,4},{1,2,3},{1,2,4},{1,3,4},{2,3,4},{1,2,3,4}}

len(generate_sigma_algebra(FiniteSet(1, 2, 3, 4), FiniteSet({1, 2},{1,3})))

16

元の数が$2^4=16$であることから、これはSのべき集合$2^S$であることが判ります。

前のブログ 次のブログ