第1種極値分布

\pi

 

離散選択でおなじみの第1種極値分布の好きなところを書いてみます。

 

好きなところその1、最大統計量も極値分布に従う。 

d個の確率変数$Y_1, Y_2, \dots, Y_d$がlocation parameterを$\alpha_1, \alpha_2, \dots, \alpha_d$、scale parameterをsとする第1種極値分布にそれぞれ従うとする。

この時、

$$F_{Y_i}(y) = P(Y_i \leq y) = \exp\left(-\exp\left(-\frac{y - \alpha_i}{s}\right)\right)$$

 である。

以下のようにして最大統計量の分布を計算できる。

\begin{align*}P(\max{Y_i}\leq x) &=\Pi_i \exp\left(-\exp\left(\frac{x - \alpha_i}{s}\right)\right) = \exp\left(-\sum_i \exp\left(-\frac{x-\alpha_i}{s}\right)\right)\\ &= \exp\left(-e^{-\frac{x}{s}}\sum_i \exp\left(\frac{\alpha_i}{s}\right)\right) = \exp\left(-\exp\left(-\frac{x-s\ {\rm log}\ \sum_i e^{\frac{\alpha_i}{s}}}{s}\right)\right)\end{align*}

これからわかるように、最大統計量はlocation parameterが$s\ {\rm log}\ \sum_i e^{\frac{\alpha_i}{s}}$でscale parameterがsの第1種極値分布に従う。

 

好きなところその2、平均値にオイラー定数が出てくる。

locationが$\alpha$でscaleがsの第1種極値分布に従う確率変数xの期待値は以下のように計算できます。

$$E[x] = \int_{-\infty}^{\infty} x \frac{1}{s}\exp\left(-\frac{x-\alpha}{s}\right)\exp\left(-\exp\left(-\frac{x-\alpha}{s}\right)\right)\mathrm{d}x$$

$y = \exp\left(-\frac{x-\alpha}{s}\right)$で変数変換すると、

\begin{align*}&= -\int_{0}^{\infty} (\alpha - s{\rm log}\ y)\exp\left(-y\right)\frac{y}{s}\left(-\frac{s}{y}\mathrm{d}y\right)\\&=\alpha \int_0^{\infty}\exp(-y)\mathrm{d}y + s\int_0^{\infty} {\rm log}\ y \exp(-y) \mathrm{d}y\\&=\alpha + s\gamma\end{align*}

ここで$\gamma$はオイラー定数と呼ばれる自然対数の底$e$や$\pi$などと同じような数学定数です。定義は上の式からもわかるように

$$\gamma = \int_0^{\infty} {\rm log}\ y \exp(-y) \mathrm{d}y$$

です。（他にも定義の仕方があります。）

計算すると0.57721...ぐらいらしいです。ここだけでなく数学のいろんなところに出てくるのでググると幸せになれます。

選択確率について2

\pi

Williams-Daly-Zachery theromについて書きます。

expected value functionをmean utilityで微分するとその選択肢の選択確率になるよっていうやつです。

 

Expected value functionはMcFadden's social surplus functionとも呼ばれます。確率項を$\epsilon$として、それについてvalue functionの期待値をとったものがexpected value functionです。これをstate (x)の関数として$V(x)$と書く。

 

これを使ってstate (x)とaction (d)を変数に持つaction specific value functionは以下のように書ける。ただし$f(x^{'}| x, d)$は現在のstateとactionによって確定する遷移確率とする。

$$v(x, d) = u(x, d) + \beta \int V(x^{'}) f(x^{'} | x, d) \mathrm{d} x^{'}$$

 

確率項についてadditive separabilityを仮定、つまりある選択肢から得る効用はその選択肢についてのdeterministicな項と確率項の和でかけるものとする。

この時、expected value functionは以下のように表現できる。ただし$g(\epsilon | x)$は確率項の分布とする。action spaceを$\left\{ 1,\dots, D\right\}$

$$V(x) = \int \dots \int \max_{d} \left\{ v(x, d) + \epsilon(d) \right\} g(\epsilon(1)\dots \epsilon(D) | x) \mathrm{d}\epsilon(1) \dots \mathrm{d}\epsilon(D)$$

 

$g(\epsilon | x)$をlocation parameterが0でscale parameterが$s$のextreme value distributionとする。ただし確率項は選択肢においてiidとする。

この時$v(x, d) + \epsilon(d)$はlocation parameterが$v(x, d)$でscale parameterが$s$のextreme value distributionである。この時、最大統計量の分布関数は以下のようである。

$$P(\max_{d} V(x, d) + \epsilon(d) \leq x) = \exp(-\exp(\frac{-(x - \alpha)}{s}))$$

ただし、$\alpha = s\ {\rm log} \sum_{d} \exp(\frac{v(x, d)}{s})$

 

要するに最大統計量はlocation parameterが$\alpha$のextreme value distributionである。

先のexpected value functionの定義式はこれを使ってextreme value distributionの期待値として以下のように書き換えられる。ただし$\gamma$はオイラー定数。

$$V(x) = \alpha + s \gamma$$

 

以上をもとにexpected value functionの微分を考える。

\begin{align*}\frac{\partial V(x)}{\partial v(x,d)} &= \int \dots \int \frac{\partial}{\partial v(x,d)}\max_{d^{'}}\left\{ v(x,d^{'})+\epsilon(d^{'})\right\} g(\epsilon(1)\ \dots \epsilon(D) | x) \mathrm{d}\epsilon(1)\dots \epsilon(D)\\[10pt] &= \int \dots \int \left\{ d=\delta(\epsilon(1),\dots,\epsilon(D)) \right\} g(\epsilon \dots \epsilon(D)|x) \mathrm{d}\epsilon(1) \dots \mathrm{d}\epsilon(D)\\[10pt] &= P(d | x)\end{align*}

最初の等式はbouded convergence theoremによる。$\delta(\epsilon(1),\dots, \epsilon(D))$は確率項の関数として選択する選択肢を示す関数である。

 

以上の結果より

\begin{align*}\frac{\partial V(x)}{\partial v(x,d)} = \frac{\partial}{\partial v(x,d)} \left[ \alpha + s\ \gamma \right] = \frac{\exp(\frac{v(x,d)}{s})}{\sum_{d} \exp(\frac{v(x,d)}{s})}\end{align*}

を得る。

 

別のところでextreme value distributionの最大統計量の分布導出とオイラー定数について書きます。

選択確率について1

\pi

以下の二つの計算過程を書きます

  1. Extreme Value Distributionから直接計算
  2. Williams-Daly-Zachary Theoremから求める

 この記事では1だけ書きます。

1　Extreme Value Distributionからの計算

Extreme Value Distributionはガンベル分布とも呼ばれ、PDFとCDFは以下です。

$$f_X(x) = \exp(-x) \exp(-\exp(-x))$$

$$F_X(x) = \exp(-\exp(-x))$$

 

n個の財から最大の効用をもたら財を選択するんですが、研究者からはその全てを観測することはできず、playerのprivate informationとして効用に確率的な誤差項を付加します。仮定としてadditive separability、つまり確率的な誤差項を観察されるvalueと足し算することでplayerに取っての効用を記述できるとします。

 

ここでplayerが同質の時、財iのplayerにとっての効用は以下のように書ける。ただし$\epsilon_i$はExtreme Value distributionに従い、財ごとにiidとする。

$$u_i = v_i + \epsilon_i$$

 

この設定の時、財iの選択確率は以下のように計算できる。

\begin{align*}P(choose\ i) &= P(u_i \geq u_j)\ \text{for all j}\\&= P(v_i + \epsilon_i \geq v_j + \epsilon_j)\ \text{for all j}\\&= P(\epsilon_i + v_i - v_j \geq \epsilon_j)\ \text{for all j}\\&= \int_{-\infty}^{\infty} \Pi_{j \neq i} \left( F(\epsilon_i + v_i - v_j) \right) f(\epsilon_i) \mathrm{d}\epsilon_i\\&=\int_{-\infty}^{\infty} \Pi_{j \neq i} \left( \exp(-\exp(-\epsilon_i +v_i -v_j)) \right) \exp(-\epsilon_i) \exp(-\exp(-\epsilon_i)) \mathrm{d}\epsilon_i\\&=\int_{-\infty}^{\infty} \Pi_j \left( \exp(-\exp(-(\epsilon_i +v_i - v_j))) \right) \exp(-\epsilon_i) \mathrm{d}\epsilon_i \\&= \int_{-\infty}^{\infty} \exp(-\sum_j \exp(-(\epsilon_i + v_i - v_j))) \exp(-\epsilon_i) \mathrm{d}\epsilon_i\\&= \int_{-\infty}^{\infty} \exp(-\exp(-\epsilon_i)\sum_j \exp(-(v_i -v_j))) \exp(-\epsilon_i) \mathrm{d}\epsilon_i\end{align*}

 

ここで$t = \exp(-\epsilon_i)$で変数変換すると、

\begin{align*} \int_{-\infty}^{\infty} \exp(-t\sum_j \exp(-(v_i - v_j))) \mathrm{d}t&= \frac{1}{\sum_j \exp(-(v_i - v_j))} = \frac{\exp(v_i)}{\sum_j \exp(v_j)} \end{align*}

 

ということで離散選択の確率が計算できました。

肝は最初に$\epsilon_j$を上側から抑える確率にして畳み込んじゃうこと。