Cursul 3. Populații finite și selecția simplă. Funcția cuantilă. Existența eșantioanelor independente

Statistică · Cursul 3

Alexandru Amărioarei

Universitatea din București · Facultatea de Matematică și Informatică · 2026–2027

Planul cursului

În Cursul 2, eșantionul este un șir de v.a. i.i.d. Astăzi ne întrebăm de unde provin astfel de variabile. Practic: cum extragem indivizii dintr-o populație finită și ce se întâmplă cu precizia mediei când extragerile se fac fără revenire? Teoretic: există un câmp de probabilitate cu un șir infinit de v.a. independente cu repartiții date?

  1. media și varianța mediei eșantionului la selecția simplă cu revenire și fără revenire (covarianța extragerilor, factorul de corecție \(\frac{N-n}{N-1}\)) și estimarea nedeplasată a acestei varianțe;
  2. funcția cuantilă: lema fundamentală \(F^{-1}(u)\le x\iff u\le F(x)\), monotonia, relațiile dintre \(F\) și \(F^{-1}\); exemple: exponențiala, Cauchy, repartițiile discrete;
  3. universalitatea repartiției uniforme: \(F^{-1}(U)\sim F\) pentru orice \(F\) și \(F(X)\sim\Unif(0,1)\) pentru \(F\) continuă;
  4. teorema de existență a șirurilor de v.a. independente cu repartiții date, în trei pași: Bernoulli \(\to\) uniforme independente \(\to\) repartiții arbitrare.

Structura: populații finite și selecția simplă (cu o privire asupra altor planuri de selecție); funcția cuantilă; universalitatea uniformei; existența eșantioanelor independente; exerciții rezolvate.

Recapitulare

Rezultate din cursurile anterioare folosite azi

Din Cursul 1:

  • continuitatea probabilității (Propoziția 3 din Cursul 1): dacă \(A_n\nearrow A\) sau \(A_n\searrow A\), atunci \(\PP(A_n)\to\PP(A)\);
  • funcția de repartiție (Propoziția 14 din Cursul 1): (a) \(F\) este crescătoare; (b) \(\lim_{x\to-\infty}F(x)=0\), \(\lim_{x\to+\infty}F(x)=1\); (c) \(F\) este continuă la dreapta; (d) \(F(x_0-)=\PP(X<x_0)\) și \(\PP(X=x_0)=F(x_0)-F(x_0-)\); în plus, funcția de repartiție determină repartiția (fapt admis);
  • măsurabilitatea (Definiția 11 din Cursul 1 și criteriul care o urmează): \(X\) este o variabilă aleatoare dacă și numai dacă \(\{X\le x\}\in\F\) pentru orice \(x\in\R\);
  • independența v.a. (Definiția 37 din Cursul 1, forma cu boreliene): \(\PP(X_1\in B_1,\dots,X_n\in B_n)=\prod_i\PP(X_i\in B_i)\); pentru v.a. discrete: factorizarea funcției de masă comune (Propoziția 38 din Cursul 1); funcții de v.a. independente sunt independente (Propoziția 39 din Cursul 1).

Recapitulare (continuare)

Rezultate din cursurile anterioare folosite azi (continuare)
  • Media și varianța (Cursul 1): liniaritatea mediei (Propoziția 23 din Cursul 1), formula de transport (Teorema 22 din Cursul 1), \(\Var(X)=\E[X^2]-(\E X)^2\) și \(\Var(aX)=a^2\Var(X)\) (Propoziția 25 din Cursul 1), \(\Var\big(\sum_iY_i\big)=\sum_i\Var(Y_i)+\sum_{i\ne j}\Cov(Y_i,Y_j)\) (Propoziția 42 din Cursul 1); pentru v.a. necorelate cu media \(\mu\) și varianța \(\sigma^2\): \(\E[\Xbar]=\mu\) și \(\Var(\Xbar)=\sigma^2/n\) (Corolarul 43 din Cursul 1).
  • Din Cursul 2: eșantionul de volum \(n\) din populația \(Q\) (Definiția 8 din Cursul 2) și câmpul produs \(\big(\R^n,\B(\R^n),Q^{\otimes n}\big)\) (Definiția 9 din Cursul 2), care, cu proiecțiile \(X_i(x_1,\dots,x_n)=x_i\), oferă un eșantion de volum \(n\) din \(Q\).

Construcția produs rezolvă existența eșantionului pentru \(n\) finit. Rămân două întrebări:

  • practică: în sondaje extragem dintr-o populație finită, de obicei fără revenire; observațiile nu mai sunt independente. Cât contează pentru precizia mediei?
  • teoretică: legea numerelor mari și teorema limită centrală privesc un șir infinit de v.a. i.i.d. pe același câmp de probabilitate. Există un astfel de câmp?

Populații finite. Selecția simplă cu și fără revenire

Populația finită

Definiția 1 (Populație finită)

O populație finită este o mulțime \(\mathcal{U}=\{1,2,\dots,N\}\) de indivizi, fiecărui individ \(j\) fiindu-i asociată o valoare numerică (deterministă) \(u_j\) a mărimii studiate. Media populației, totalul populației și varianța populației sunt \[ \mu=\frac1N\sum_{j=1}^Nu_j,\qquad \tau=\sum_{j=1}^Nu_j=N\mu,\qquad \sigma^2=\frac1N\sum_{j=1}^N(u_j-\mu)^2=\frac1N\sum_{j=1}^Nu_j^2-\mu^2 . \] Un plan de selecție (metodă de selecție, plan de eșantionare) este o regulă probabilistă de alegere a unei submulțimi (sau a unui șir) de indivizi din \(\mathcal{U}\).

A doua expresie a lui \(\sigma^2\): \(\frac1N\sum_j(u_j^2-2\mu u_j+\mu^2)=\frac1N\sum_ju_j^2-2\mu\cdot\mu+\mu^2\). Exemple: alegătorii unei țări (\(u_j=1\) dacă alegătorul \(j\) susține un candidat și \(0\) altfel: \(\mu\) este o proporție), piesele unui lot (\(u_j\) = diametrul), gospodăriile unui oraș (\(u_j\) = venitul lunar). Singura sursă de aleatorism este planul de selecție: valorile \(u_j\) sunt fixe, dar necunoscute (Rice 2007, cap. 7).

Selecția aleatoare simplă

Definiția 2 (Selecția aleatoare simplă)

Fie \(1\le n\le N\).

  1. Selecția simplă cu revenire de volum \(n\): se extrage de \(n\) ori, independent, un individ uniform la întâmplare din \(\mathcal{U}\) (individul extras este „pus înapoi”). Indicii extrași \(J_1,\dots,J_n\) sunt i.i.d. uniformi pe \(\{1,\dots,N\}\) și observăm \(X_i=u_{J_i}\).

  2. Selecția simplă fără revenire de volum \(n\): fiecare submulțime de \(n\) indivizi are aceeași probabilitate \(1/\binom Nn\) de a fi aleasă. Echivalent, extragem succesiv \(n\) indivizi, la fiecare pas uniform dintre cei încă neextrași: indicii ordonați \((J_1,\dots,J_n)\) sunt uniform repartizați pe mulțimea celor \(N(N-1)\cdots(N-n+1)\) aranjamente de \(n\) elemente distincte, iar observăm \(X_i=u_{J_i}\).

Echivalența din (ii). Un aranjament fixat are probabilitatea \(\frac1N\cdot\frac1{N-1}\cdots\frac1{N-n+1}\) (formula înmulțirii); o submulțime are \(n!\) ordonări, deci probabilitatea \(\frac{n!}{N(N-1)\cdots(N-n+1)}=\frac{n!\,(N-n)!}{N!}=\frac{1}{\binom Nn}\). În R: sample(u, n) (fără revenire), sample(u, n, replace = TRUE) (cu revenire).

Descompunerea sumei pătratelor abaterilor

Lema 3 (Descompunerea sumei pătratelor abaterilor)

Pentru orice numere reale \(x_1,\dots,x_n\), cu media \(\bar x=\frac1n\sum_ix_i\), și orice \(c\in\R\), \[ \sum_{i=1}^n(x_i-c)^2=\sum_{i=1}^n(x_i-\bar x)^2+n(\bar x-c)^2 . \]

Demonstrație. Scriem \(x_i-c=(x_i-\bar x)+(\bar x-c)\) și ridicăm la pătrat: \[ (x_i-c)^2=(x_i-\bar x)^2+2(\bar x-c)(x_i-\bar x)+(\bar x-c)^2 . \] Sumăm după \(i=1,\dots,n\): cum \(\sum_i(x_i-\bar x)=n\bar x-n\bar x=0\), termenul din mijloc dispare, iar ultimul termen, constant, dă \(n(\bar x-c)^2\).■

Selecția cu revenire

Propoziția 4 (Selecția simplă cu revenire)

La selecția simplă cu revenire, variabilele \(X_1,\dots,X_n\) sunt i.i.d., fiecare cu repartiția uniformă discretă pe valorile \(u_1,\dots,u_N\): \(\ \PP(X_i=v)=\frac{\#\{j:\ u_j=v\}}{N}\), \(\E[X_i]=\mu\), \(\Var(X_i)=\sigma^2\). În consecință, \(\E[\Xbar]=\mu\), \(\Var(\Xbar)=\frac{\sigma^2}{n}\) și \(\E[S_n^2]=\sigma^2\) (pentru \(n\ge2\)).

Demonstrație. Pasul 1. \(\PP(J_1=k_1,\dots,J_n=k_n)=\frac{1}{N^n}=\prod_{i}\PP(J_i=k_i)\), deci \(J_1,\dots,J_n\) sunt independente (Propoziția 38 din Cursul 1); \(X_i=g(J_i)\), cu \(g(k)=u_k\), sunt i.i.d. (Propoziția 39 din Cursul 1).

Pasul 2. \(\PP(X_i=v)=\PP\big(J_i\in\{j:u_j=v\}\big)\); formula de transport (Teorema 22 din Cursul 1): \(\E[X_i]=\sum_{k}u_k\frac1N=\mu\), \(\Var(X_i)=\sum_{k}(u_k-\mu)^2\frac1N=\sigma^2\). Pasul 3. Independente, deci necorelate: \(\E[\Xbar]=\mu\), \(\Var(\Xbar)=\sigma^2/n\) (Corolarul 43 din Cursul 1).

Pasul 4. Lema 3 cu \(c=\mu\): \(\sum_i(X_i-\Xbar)^2=\sum_i(X_i-\mu)^2-n(\Xbar-\mu)^2\). Luând media, \(\E\big[\sum_i(X_i-\Xbar)^2\big]=n\sigma^2-n\cdot\frac{\sigma^2}{n}=(n-1)\sigma^2\), deci \(\E[S_n^2]=\sigma^2\).■

Selecția fără revenire

Fără revenire, \(X_i\) nu mai sunt independente (o valoare mare extrasă nu mai poate reapărea, deci următoarele tind să fie mai mici), dar fiecare \(X_i\) are aceeași repartiție marginală ca în cazul cu revenire.

Teorema 5 (Selecția simplă fără revenire)

Fie \(X_1,\dots,X_n\) valorile obținute prin selecție simplă fără revenire de volum \(n\le N\) dintr-o populație finită cu media \(\mu\) și varianța \(\sigma^2\), cu \(N\ge2\). Atunci:

  1. fiecare \(J_i\) este uniform pe \(\{1,\dots,N\}\), iar pentru \(i\ne j\), \(\PP(J_i=k,J_j=l)=\frac{1}{N(N-1)}\) dacă \(k\ne l\) și \(0\) dacă \(k=l\); în particular, \(\E[X_i]=\mu\) și \(\Var(X_i)=\sigma^2\);

  2. \(\Cov(X_i,X_j)=-\frac{\sigma^2}{N-1}\) pentru \(i\ne j\);

  3. \(\E[\Xbar]=\mu\) și \(\ \Var(\Xbar)=\frac{\sigma^2}{n}\cdot\frac{N-n}{N-1}\);

  4. \(\E[S_n^2]=\frac{N}{N-1}\,\sigma^2\) (pentru \(n\ge2\)).

Referințe: (Knight 2000, Ex. 2.11), (Kupper et al. 2013, Ex. 4.80), (Rice 2007, sec. 7.3).

Selecția fără revenire: demonstrația părții (a)

Demonstrație. Pasul 1 (repartițiile marginale și ale perechilor). Aranjamentele \((k_1,\dots,k_n)\) sunt egal probabile, fiecare cu probabilitatea \(1/[N(N-1)\cdots(N-n+1)]\) (Definiția 2). Fixăm \(i\) și \(k\): aranjamentele cu \(k_i=k\) sunt \((N-1)(N-2)\cdots(N-n+1)\) (celelalte \(n-1\) poziții se completează, în ordine, cu elemente distincte dintre cele \(N-1\) rămase), deci \[ \PP(J_i=k)=\frac{(N-1)\cdots(N-n+1)}{N(N-1)\cdots(N-n+1)}=\frac1N . \] Așadar \(X_i=u_{J_i}\) are repartiția de la selecția cu revenire, iar Pasul 2 din demonstrația Propoziției 4 dă \(\E[X_i]=\mu\), \(\Var(X_i)=\sigma^2\). Pentru \(i\ne j\) și \(k\ne l\), celelalte \(n-2\) poziții se completează în \((N-2)\cdots(N-n+1)\) moduri (produs gol, egal cu \(1\), dacă \(n=2\)): \[ \PP(J_i=k,J_j=l)=\frac{(N-2)\cdots(N-n+1)}{N(N-1)\cdots(N-n+1)}=\frac{1}{N(N-1)}, \] iar \(\PP(J_i=k,J_j=k)=0\), deoarece indicii extrași sunt distincți.■

Selecția fără revenire: covarianța extragerilor

Demonstrație (continuare). Pasul 2 (covarianța). Notăm \(d_k=u_k-\mu\): \(\sum_kd_k=N\mu-N\mu=0\) și \(\sum_kd_k^2=N\sigma^2\). Din formula de transport pentru perechea \((J_i,J_j)\) și Pasul 1 (doar perechile \(k\ne l\) au probabilitate nenulă), \[ \begin{aligned} \Cov(X_i,X_j)&=\E\big[(X_i-\mu)(X_j-\mu)\big]=\frac{1}{N(N-1)}\sum_{k\ne l}d_kd_l =\frac{1}{N(N-1)}\Big[\Big(\sum_{k}d_k\Big)^2-\sum_{k}d_k^2\Big]\\ &=\frac{1}{N(N-1)}\big[0-N\sigma^2\big]=-\frac{\sigma^2}{N-1}, \end{aligned} \] unde \(\big(\sum_kd_k\big)^2=\sum_kd_k^2+\sum_{k\ne l}d_kd_l\) (pătratul unei sume).

O verificare independentă. \(c=\Cov(X_i,X_j)\) depinde doar de repartiția perechii \((J_i,J_j)\), care nu depinde de \(n\). Pentru \(n=N\), \(\sum_{i=1}^NX_i=\sum_{k}u_k\) este constantă, deci \(0=\Var\big(\sum_{i=1}^NX_i\big)=N\sigma^2+N(N-1)\,c\), adică \(c=-\frac{\sigma^2}{N-1}\).■

Selecția fără revenire: factorul de corecție și media lui \(S_n^2\)

Demonstrație (continuare). Pasul 3. \(\E[\Xbar]=\frac1n\sum_i\E[X_i]=\mu\); varianța sumei are \(n\) varianțe și \(n(n-1)\) covarianțe egale: \[ \begin{aligned} \Var(\Xbar)&=\frac1{n^2}\Big(\sum_{i=1}^n\Var(X_i)+\sum_{i\ne j}\Cov(X_i,X_j)\Big)=\frac1{n^2}\Big(n\sigma^2-n(n-1)\frac{\sigma^2}{N-1}\Big)\\ &=\frac{\sigma^2}{n}\Big(1-\frac{n-1}{N-1}\Big)=\frac{\sigma^2}{n}\cdot\frac{(N-1)-(n-1)}{N-1}=\frac{\sigma^2}n\cdot\frac{N-n}{N-1}. \end{aligned} \]

Pasul 4. Lema 3 cu \(c=\mu\), apoi media, cu \(\E[(X_i-\mu)^2]=\sigma^2\) și \(\E[(\Xbar-\mu)^2]=\Var(\Xbar)\): \[ \E\Big[\sum_{i=1}^n(X_i-\Xbar)^2\Big]=n\sigma^2-n\cdot\frac{\sigma^2}{n}\cdot\frac{N-n}{N-1} =\sigma^2\,\frac{n(N-1)-(N-n)}{N-1}=\sigma^2\,\frac{N(n-1)}{N-1}, \] căci \(n(N-1)-(N-n)=nN-N=N(n-1)\); împărțind la \(n-1\), \(\E[S_n^2]=\frac{N}{N-1}\sigma^2\).■

Factorul de corecție pentru populație finită

Observație
  1. Cazurile extreme verifică formula: pentru \(n=1\) factorul este \(1\) (o singură extragere nu „știe” dacă urmează reveniri), iar pentru \(n=N\) el este \(0\) (am observat întreaga populație, deci \(\Xbar=\mu\) fără eroare). (2) Covarianța negativă \(-\sigma^2/(N-1)\) formalizează intuiția: valorile extrase se „resping” reciproc. (3) Simetria planului (toate submulțimile sunt egal probabile) a fost folosită la Pasul 1; pentru planuri în care indivizii au probabilități inegale de a fi selectați formulele se schimbă. (4) La selecția fără revenire, \(S_n^2\) estimează nu pe \(\sigma^2\), ci pe \(\frac{N}{N-1}\sigma^2=\frac{1}{N-1}\sum_j(u_j-\mu)^2\); de aceea, în teoria sondajelor, varianța populației se definește adesea cu numitorul \(N-1\).
  • \(\frac{N-n}{N-1}\le1\) este factorul de corecție pentru populație finită: selecția fără revenire este întotdeauna cel puțin la fel de precisă ca selecția cu revenire.
  • Câștigul este neglijabil când fracția de selecție \(f=n/N\) este mică: pentru \(n=1\,000\) și \(N=10^6\), factorul este \(\frac{999\,000}{999\,999}\approx0.999\). De aceea modelul i.i.d. se folosește și pentru selecțiile fără revenire, cu condiția ca \(n/N\) să fie mic (practic \(n\le0.05N\)).

Estimarea erorii standard

Corolarul 6 (Estimarea erorii standard la selecția fără revenire)

În condițiile Teoremei 5, cu \(n\ge2\) și \(f=n/N\), statistica \(\ \widehat{\Var}(\Xbar)=(1-f)\,\dfrac{S_n^2}{n}\ \) este un estimator nedeplasat al lui \(\Var(\Xbar)\), iar \(N\Xbar\) este un estimator nedeplasat al totalului \(\tau\), cu \(\Var(N\Xbar)=N^2\Var(\Xbar)\).

Demonstrație. Din Teorema 5(d) și liniaritatea mediei, \[ \E\Big[(1-f)\frac{S_n^2}{n}\Big]=\frac{N-n}{N}\cdot\frac1n\cdot\frac{N}{N-1}\sigma^2=\frac{\sigma^2}{n}\cdot\frac{N-n}{N-1}=\Var(\Xbar), \] conform părții (c). Pentru total, \(\E[N\Xbar]=N\mu=\tau\) și \(\Var(N\Xbar)=N^2\Var(\Xbar)\) (Propoziția 25 din Cursul 1).■

La ce folosește eroarea standard

Eroarea standard estimată a mediei este \(\sqrt{(1-f)S_n^2/n}\); pentru selecția cu revenire (sau \(f\approx0\)) se folosește \(S_n/\sqrt n\). Aplicăm aceste formule în Exercițiul 1.

Observație (La ce folosește eroarea standard)

Pentru \(n\) și \(N-n\) mari (și o populație fără valori extreme dominante), media eșantionului este aproximativ normal repartizată și la selecția fără revenire, deși observațiile nu sunt independente: este o variantă a Teoremei limită centrale pentru populații finite, pe care o admitem (Rice 2007, sec. 7.3).

Prin urmare, cu o probabilitate de aproximativ \(0.95\), media \(\mu\) a populației se află la cel mult \(1.96\) erori standard de \(\Xbar\), unde \(1.96\approx z_{0.975}\) este cuantila de ordin \(0.975\) a repartiției normale standard (Exemplul 9).

Cantitatea \(1.96\sqrt{\Var(\Xbar)}\), estimată prin \(1.96\sqrt{(1-f)S_n^2/n}\), se numește marja de eroare a sondajului; o folosim în Exercițiul 2 pentru a alege volumul eșantionului.

Exemplu: toate eșantioanele pentru \(N=6\)

Exemplul 3 (Enumerarea tuturor eșantioanelor pentru N=6)

O populație are \(N=6\) indivizi, cu valorile \(2,4,5,7,9,15\); se extrage un eșantion de volum \(n=2\). Verificăm Teorema 5 prin enumerarea tuturor eșantioanelor posibile.

Parametrii populației. \(\mu=42/6=7\); abaterile \(u_j-\mu\) sunt \(-5,-3,-2,0,2,8\), cu suma pătratelor \(25+9+4+0+4+64=106\), deci \(\sigma^2=106/6=53/3\approx17.667\).

Formulele. Cu revenire, \(\Var(\Xbar)=\sigma^2/n=\frac{53}{6}\approx8.833\). Fără revenire, \[ \Var(\Xbar)=\frac{53}{6}\cdot\frac{6-2}{6-1}=\frac{106}{15}\approx7.067,\qquad \E[S_2^2]=\frac65\cdot\frac{53}{3}=\frac{106}{5}=21.2 . \]

Enumerarea fără revenire. Cele \(\binom62=15\) submulțimi sunt egal probabile. Mediile lor, \(3\), \(3.5\), \(4.5\), \(5.5\), \(8.5\), \(4.5\), \(5.5\), \(6.5\), \(9.5\), \(6\), \(7\), \(10\), \(8\), \(11\), \(12\), au suma \(105\) și suma abaterilor pătratice față de \(\mu=7\) egală cu \(106\): \(\E[\Xbar]=\frac{105}{15}=7=\mu\) și \(\Var(\Xbar)=\frac{106}{15}\). Pentru \(\{a,b\}\), \(s^2=\frac{(a-b)^2}{2}\); suma valorilor \(s^2\) este \(\frac{636}2=318\), deci \(\E[S_2^2]=\frac{318}{15}=21.2\).

Toate eșantioanele pentru \(N=6\): selecția cu revenire și verificarea în R

Exemplu (Enumerarea tuturor eșantioanelor pentru N=6 (continuare))

Enumerarea cu revenire. Cele \(36\) de perechi ordonate \((i,j)\) sunt egal probabile, cu abaterile mediilor \(\frac{d_i+d_j}{2}\) (\(d_i=u_i-\mu\), \(\sum_id_i=0\), \(\sum_id_i^2=106\)): \(\sum_{i,j}\big(\frac{d_i+d_j}{2}\big)^2=\frac{6\cdot106+6\cdot106+0}{4}=318\), deci \(\Var(\Xbar)=\frac{318}{36}=\frac{53}6\approx8.833\).

u <- c(2, 4, 5, 7, 9, 15); mu <- mean(u)
E <- combn(u, 2)                          # cele 15 eșantioane fără revenire
m_fara <- colMeans(E)                     # mediile lor
m_cu <- as.vector(outer(u, u, "+")) / 2   # cele 36 de perechi ordonate
c(E_medie = mean(m_fara), var_fara = mean((m_fara - mu)^2),
  var_cu = mean((m_cu - mu)^2), E_S2 = mean(apply(E, 2, var)))
#>  E_medie var_fara   var_cu     E_S2 
#>    7.000    7.067    8.833   21.200

Raportul varianțelor, \(\frac{106/15}{53/6}=\frac45\), este chiar factorul de corecție: un câștig de \(20\%\) din varianță.

Proporții și repartiția hipergeometrică

Exemplul 4 (Proporții și repartiția hipergeometrică)

Fie o populație cu \(K\) indivizi „marcați” (\(u_j=1\)) și \(N-K\) nemarcați (\(u_j=0\)). Atunci \(\mu=K/N=:p\) și, cum \(u_j^2=u_j\), \(\sigma^2=\frac1N\sum_ju_j^2-\mu^2=p-p^2=p(1-p)\). Numărul \(Y=n\Xbar\) de indivizi marcați dintr-un eșantion fără revenire de volum \(n\) are repartiția hipergeometrică \(\HGeom(N,K,n)\), \(\ \PP(Y=y)=\binom Ky\binom{N-K}{n-y}\big/\binom Nn\), deoarece dintre cele \(\binom Nn\) submulțimi egal probabile, exact \(\binom Ky\binom{N-K}{n-y}\) conțin \(y\) indivizi marcați și \(n-y\) nemarcați. Din Teorema 5, \[ \E[Y]=n\mu=np,\qquad \Var(Y)=n^2\Var(\Xbar)=n^2\cdot\frac{p(1-p)}{n}\cdot\frac{N-n}{N-1}=n\,p(1-p)\,\frac{N-n}{N-1}, \] adică formulele cunoscute, obținute fără niciun calcul cu coeficienți binomiali. Prin comparație, la selecția cu revenire \(Y\sim\Bin(n,p)\) și \(\Var(Y)=np(1-p)\). De exemplu, pentru \(N=50\), \(K=15\), \(n=10\): \(p=0.3\), \(\E[Y]=3\) și \(\Var(Y)=10\cdot0.21\cdot\frac{40}{49}\approx1.714\), față de \(2.1\) la binomială.

Repartiția hipergeometrică: populații mari

Exemplu (Proporții și repartiția hipergeometrică (continuare))

Populații mari. Pentru \(n\) și \(y\) fixați, scriind coeficienții binomiali ca produse (\(\binom Ky=\frac1{y!}\prod_{i=0}^{y-1}(K-i)\) și analoagele), \[ \PP(Y=y)=\binom ny\,\frac{\prod_{i=0}^{y-1}(K-i)\ \prod_{i=0}^{n-y-1}(N-K-i)}{\prod_{i=0}^{n-1}(N-i)} =\binom ny\ \prod_{i=0}^{y-1}\frac{K-i}{N-i}\ \prod_{i=0}^{n-y-1}\frac{N-K-i}{N-y-i} . \] Dacă \(N\to\infty\) și \(K/N\to p\in(0,1)\), fiecare factor al primului produs tinde la \(p\), iar fiecare factor al celui de-al doilea produs tinde la \(1-p\), deci \[ \PP(Y=y)\ \longrightarrow\ \binom nyp^y(1-p)^{n-y}. \] Pentru o populație mare în raport cu eșantionul, repartiția hipergeometrică este practic binomială: selecția fără revenire nu se mai distinge de cea cu revenire, nu doar la nivelul varianței, ci și al repartiției.

Indivizi repetați la selecția cu revenire

Exemplul 5 (Indivizi repetați la selecția cu revenire)

De ce este selecția cu revenire mai puțin precisă? Același individ poate fi extras de mai multe ori, iar o valoare repetată nu aduce informație nouă. Populație de \(N\) indivizi, eșantion de volum \(n\).

  1. Probabilitatea ca un individ fixat \(j\) să apară în eșantion. Fără revenire, evenimentele \(\{J_1=j\},\dots,\{J_n=j\}\) sunt disjuncte și fiecare are probabilitatea \(\frac1N\) (Teorema 5(a)), deci probabilitatea este \(\frac nN\). Cu revenire, extragerile sunt independente și \(\PP(J_i\ne j)=1-\frac1N\), deci \(\PP(j\text{ nu apare})=\big(1-\frac1N\big)^n\) și \(\PP(j\text{ apare})=1-\big(1-\frac1N\big)^n\).

  2. Numărul mediu de indivizi distincți din eșantionul cu revenire. Fie \(I_j'\) indicatorul evenimentului „individul \(j\) apare cel puțin o dată”. Atunci \(D=\sum_{j=1}^NI_j'\), iar din liniaritatea mediei (care nu cere independența indicatorilor) și din (a), \(\ \E[D]=\sum_{j=1}^N\PP(I_j'=1)=N\big(1-\big(1-\frac1N\big)^n\big)\).

Numeric, \(N=1\,000\), \(n=100\): fără revenire, probabilitatea de la (a) este \(0.1\); cu revenire, \(0.999^{100}\approx0.9048\), deci \(\approx0.0952\), iar \(\E[D]\approx95.2\): în medie, aproape \(5\) dintre cele \(100\) de extrageri repetă un individ.

Verificare prin simulare: \(N=200\), \(n=50\), \(B=10^4\) eșantioane

set.seed(2026); N <- 200; n <- 50; B <- 1e4; fpc <- (N - n) / (N - 1)
u <- round(rgamma(N, shape = 2, rate = 1 / 1.5), 2)   # populația (fixată)
mu <- mean(u); sig2 <- mean((u - mu)^2)               # media și varianța ei
stat <- function(x) c(mean(x), var(x))                # media și S^2
cu   <- replicate(B, stat(sample(u, n, replace = TRUE)))
fara <- replicate(B, stat(sample(u, n)))
rez  <- function(m) c(E_medie = mean(m[1, ]), sd_medie = sd(m[1, ]),
                      E_S2 = mean(m[2, ]))
round(rbind(cu_simulat = rez(cu), cu_teoretic = c(mu, sqrt(sig2 / n), sig2),
            fara_simulat = rez(fara),
            fara_teoretic = c(mu, sqrt(sig2 / n * fpc), sig2 * N / (N - 1))), 3)
#>               E_medie sd_medie  E_S2
#> cu_simulat      3.176    0.313 4.916
#> cu_teoretic     3.175    0.314 4.933
#> fara_simulat    3.177    0.275 4.973
#> fara_teoretic   3.175    0.273 4.957

Simularea: repartiția mediei eșantionului

Ambele repartiții sunt centrate în \(\mu\approx3.175\) (linia întreruptă). Abaterea standard a mediei scade de la \(\sigma/\sqrt n\approx0.314\) (cu revenire) la \(\approx0.273\) (fără revenire): raportul este \(\sqrt{(N-n)/(N-1)}=\sqrt{150/199}\approx0.868\), rădăcina factorului de corecție.

Alte planuri de selecție

Informațiile suplimentare despre populație (o împărțire în categorii, o listă ordonată) pot da estimatori mai preciși sau mai ieftini. Doar ca idee, fără demonstrații (Rice 2007, cap. 7):

  • Selecția stratificată. Populația este împărțită în \(H\) straturi disjuncte, de volume \(N_h\) și ponderi \(W_h=N_h/N\), pe cât posibil omogene în interior; din fiecare strat se extrage, independent, o selecție simplă de volum \(n_h\), cu media \(\bar X_h\). Estimatorul stratificat \(\bar X_{st}=\sum_{h=1}^HW_h\bar X_h\) este nedeplasat, iar la varianța lui contribuie numai variabilitatea din interiorul straturilor. Împărțirea lui \(n=n_1+\dots+n_H\) între straturi se numește alocare: proporțională (volumul extras din fiecare strat este proporțional cu ponderea lui) sau Neyman (optimă), care minimizează varianța pentru un volum total dat.
  • Selecția sistematică. Un punct de plecare ales la întâmplare printre primii \(k\) indivizi ai unei liste, apoi fiecare al \(k\)-lea individ: precisă când lista este ordonată după o mărime legată de cea studiată, foarte imprecisă când lista are o periodicitate legată de pasul \(k\).
  • Selecția pe grupuri. Se aleg la întâmplare câteva grupuri (blocuri de locuințe, școli, loturi) și se observă toți indivizii din ele: ieftină, dar de regulă mai puțin precisă decât selecția simplă, fiindcă indivizii din același grup seamănă între ei.

Funcția cuantilă

De ce o inversă generalizată?

Pentru \(F\) continuă și strict crescătoare, \(F(x)=u\) are soluția unică \(x=F^{-1}(u)\). Pentru a construi (și, în Cursul 4, a simula) variabile cu o repartiție oarecare avem nevoie de o inversă pentru orice \(F\); dar \(F(x)=u\) poate avea o infinitate de soluții (palier) sau nicio soluție (salt). Alegem mereu „cea mai mică soluție a inecuației \(F(x)\ge u\)” (Panaretos 2016, Def. 6.6); punctul roșu marchează \(F^{-1}(u)\).

Funcția cuantilă

Definiția 7 (Funcția cuantilă (inversa generalizată))

Fie \(F\) o funcție de repartiție. Funcția \(F^{-1}:(0,1)\to\R\), \[ F^{-1}(u)=\inf\{x\in\R:\ F(x)\ge u\},\qquad u\in(0,1), \] se numește funcția cuantilă (sau inversa generalizată) asociată lui \(F\). Pentru \(p\in(0,1)\), numărul \(q_p=F^{-1}(p)\) se numește cuantila de ordin \(p\) a repartiției. Cuantila de ordin \(\frac12\) este mediana, \(\mathrm{Me}=q_{1/2}\); \(Q_1=q_{1/4}\) și \(Q_3=q_{3/4}\) sunt prima și a treia cuartilă, iar \(Q_3-Q_1\) este abaterea intercuartilică.

  • Faptul că infimumul este un număr real (și nu \(\pm\infty\)) face parte din lema următoare.
  • Pentru \(u=0\), \(\{x:F(x)\ge0\}=\R\) are infimumul \(-\infty\); pentru \(u=1\) mulțimea poate fi vidă (de exemplu pentru \(F=\Phi\)): de aceea restrângem definiția la \(u\in(0,1)\).
  • Definiția are sens pentru funcția de repartiție \(F(x)=\mu\big((-\infty,x]\big)\) a oricărei probabilități \(\mu\) pe \(\big(\R,\B(\R)\big)\) (funcția de repartiție indusă de \(\mu\)).

Lema fundamentală a funcției cuantilă

Lema 8 (Lema fundamentală a funcției cuantilă)

Fie \(F\) o funcție de repartiție. Pentru orice \(u\in(0,1)\) și orice \(x\in\R\), \[ F^{-1}(u)\le x\quad\Longleftrightarrow\quad u\le F(x). \] Echivalent, \(\{x\in\R:\ F(x)\ge u\}=\big[F^{-1}(u),\infty\big)\), cu \(F^{-1}(u)\in\R\): infimumul din definiție este atins.

Schema demonstrației. Arătăm că \(I_u=\{x\in\R:\ F(x)\ge u\}\), al cărei infimum este \(F^{-1}(u)\), este o semidreaptă închisă \([a,\infty)\) cu \(a\in\R\); fiecare proprietate (a)–(c) a lui \(F\) este folosită exact o dată: \[ \begin{aligned} &\text{Pasul 1: } I_u\ne\emptyset &&\big(\textstyle\lim_{x\to\infty}F(x)=1\ \text{și}\ u<1\big)\\ &\text{Pasul 2: } x\in I_u\ \Rightarrow\ [x,\infty)\subseteq I_u &&(\text{monotonia lui } F)\\ &\text{Pasul 3: } a=\inf I_u\in\R\ \ \text{și}\ \ (a,\infty)\subseteq I_u\subseteq[a,\infty) &&\big(\textstyle\lim_{x\to-\infty}F(x)=0\ \text{și}\ u>0\big)\\ &\text{Pasul 4: } a\in I_u,\ \text{deci}\ I_u=[a,\infty) &&(\text{continuitatea la dreapta}) \end{aligned} \]

Lema fundamentală: demonstrație

Demonstrație. Fixăm \(u\in(0,1)\).

Pasul 1: \(I_u\) este nevidă (folosim \(\lim_{x\to\infty}F(x)=1\) și \(u<1\)). Cum \(F(x)\to1\) pentru \(x\to\infty\) și \(1-u>0\), există \(x_0\) cu \(F(x)>1-(1-u)=u\) pentru orice \(x\ge x_0\); în particular \(x_0\in I_u\).

Pasul 2: \(I_u\) este un interval nemărginit la dreapta (folosim monotonia lui \(F\)). Dacă \(x\in I_u\) și \(y>x\), atunci \(F(y)\ge F(x)\ge u\), deci \(y\in I_u\). Așadar \([x,\infty)\subseteq I_u\) pentru orice \(x\in I_u\).

Pasul 3: \(I_u\) este mărginită inferior (folosim \(\lim_{x\to-\infty}F(x)=0\) și \(u>0\)). Există \(x_1\) cu \(F(x)<u\) pentru orice \(x\le x_1\); atunci \(I_u\subseteq(x_1,\infty)\), deci \(x_1\) este un minorant al lui \(I_u\) și, împreună cu Pasul 1, \(a:=\inf I_u\) este un număr real. Din Pasul 2, \[ (a,\infty)\subseteq\bigcup_{x\in I_u}[x,\infty)\subseteq I_u\subseteq[a,\infty) \] (prima incluziune: dacă \(y>a\), atunci \(y\) nu este un minorant al lui \(I_u\), deci există \(x\in I_u\) cu \(x<y\); ultima: \(a\) este un minorant). Deci \(I_u\) este \((a,\infty)\) sau \([a,\infty)\).■

Lema fundamentală: demonstrație (continuare)

Demonstrație (continuare). Pasul 4: \(I_u\) este un interval închis, adică \(a\in I_u\) (folosim continuitatea la dreapta a lui \(F\)). Fie \(x_n=a+\frac1n\), \(n\ge1\). Din Pasul 3, \(x_n\in(a,\infty)\subseteq I_u\), adică \(F(x_n)\ge u\) pentru orice \(n\). Cum \(x_n\searrow a\), continuitatea la dreapta a lui \(F\) în \(a\) dă \[ F(a)=\lim_{n\to\infty}F\Big(a+\frac1n\Big)\ge u , \] deci \(a\in I_u\) și \(I_u=[a,\infty)\).

Concluzia. \(a=\inf I_u=F^{-1}(u)\) și, pentru orice \(x\in\R\), \(u\le F(x)\iff x\in I_u\iff x\ge a=F^{-1}(u)\).■

Observație

Fiecare ingredient contează. Fără continuitatea la dreapta (Pasul 4), infimumul nu ar mai fi atins. Cu inegalitatea strictă, \(u\mapsto\inf\{x:F(x)>u\}\) diferă de \(F^{-1}\) la nivelurile palierelor lui \(F\): pentru \(X\sim\Bern(1/2)\), \(\inf\{x:F(x)>\frac12\}=1\ne F^{-1}(\frac12)=0\), iar echivalența ar cădea (\(\frac12\le F(0)\), dar \(1>0\)).

Proprietățile funcției cuantilă

Propoziția 9 (Proprietățile funcției cuantilă)

Fie \(F\) o funcție de repartiție și \(F^{-1}\) funcția cuantilă asociată. Atunci:

  1. \(F^{-1}(u)\in\R\) pentru orice \(u\in(0,1)\), iar \(F^{-1}\) este crescătoare (nedescrescătoare) și boreliană pe \((0,1)\);
  2. \(F\big(F^{-1}(u)\big)\ge u\) și \(F\big(F^{-1}(u)-\big)\le u\) pentru orice \(u\in(0,1)\); în particular, dacă \(F\) este continuă în \(F^{-1}(u)\) (de exemplu, dacă \(F\) este continuă), atunci \(F\big(F^{-1}(u)\big)=u\);
  3. \(F^{-1}\big(F(x)\big)\le x\) pentru orice \(x\) cu \(0<F(x)<1\), cu egalitate dacă și numai dacă \(F(x')<F(x)\) pentru orice \(x'<x\);
  4. \(F^{-1}\) este continuă la stânga pe \((0,1)\);
  5. \(F(x)<u\iff x<F^{-1}(u)\), pentru orice \(u\in(0,1)\) și \(x\in\R\);
  6. dacă \(F\) este continuă și strict crescătoare pe un interval \((a,b)\) (\(-\infty\le a<b\le\infty\)), cu \(F(a+)=0\) și \(F(b-)=1\), atunci \(F^{-1}\) este inversa obișnuită a bijecției \(F:(a,b)\to(0,1)\).

Proprietățile funcției cuantilă: demonstrație (punctele 1–3)

Demonstrație. Ideea. Lema 8 transformă fiecare afirmație despre \(F^{-1}\) într-o afirmație despre \(F\); păstrăm notația \(I_u=\{x:\ F(x)\ge u\}=[F^{-1}(u),\infty)\).

1. Finitudinea este parte a lemei. Pentru \(0<u\le v<1\), \(I_v\subseteq I_u\), deci \(F^{-1}(u)=\inf I_u\le\inf I_v=F^{-1}(v)\). Măsurabilitatea: din lemă, \(\{u\in(0,1):\ F^{-1}(u)\le x\}=(0,F(x)]\cap(0,1)\) este un interval, deci o mulțime boreliană (criteriul de măsurabilitate cu semidrepte din Cursul 1).

2. Lema cu \(x=F^{-1}(u)\): cum \(F^{-1}(u)\le F^{-1}(u)\), rezultă \(u\le F(F^{-1}(u))\). Fie \(q=F^{-1}(u)\) și \(x<q\): \(F^{-1}(u)\le x\) este falsă, deci și \(u\le F(x)\), adică \(F(x)<u\). Pe \(x_n=q-\frac1n\nearrow q\), \(F(q-)=\lim_nF(q-\frac1n)\le u\). Dacă \(F\) este continuă în \(q\), \(F(q)=F(q-)\) și cele două inegalități dau \(F(q)=u\).

3. Fie \(u=F(x)\in(0,1)\). Cum \(u\le F(x)\), lema dă \(F^{-1}(F(x))\le x\). Dacă există \(x'<x\) cu \(F(x')=F(x)\), atunci \(x'\in I_{F(x)}\) și \(F^{-1}(F(x))\le x'<x\). Dacă \(F(x')<F(x)\) pentru orice \(x'<x\), atunci \(I_{F(x)}\subseteq[x,\infty)\) și \(F^{-1}(F(x))\ge x\), deci \(F^{-1}(F(x))=x\).■

Proprietățile funcției cuantilă: demonstrație (punctele 4–6)

Demonstrație (continuare). 4. Fie \(u\in(0,1)\) și \(u_n\nearrow u\), \(u_n\in(0,1)\). Din 1, șirul \(\big(F^{-1}(u_n)\big)_n\) este crescător și majorat de \(F^{-1}(u)\), deci are o limită \(\ell\le F^{-1}(u)\). Invers: pentru orice \(m\), monotonia lui \(F\) și punctul 2 dau \(F(\ell)\ge F\big(F^{-1}(u_m)\big)\ge u_m\); pentru \(m\to\infty\), \(F(\ell)\ge u\), iar lema (cu \(x=\ell\)) dă \(F^{-1}(u)\le\ell\).

5. Negăm ambii membri ai echivalenței din lemă: \(x<F^{-1}(u)\iff F(x)<u\).

6. \(F:(a,b)\to(0,1)\) este bijectivă: valorile sunt în \((0,1)\) și \(F\) este injectivă (stricta monotonie), iar surjectivitatea rezultă din teorema valorilor intermediare (\(F\) continuă, \(F(a+)=0<u<1=F(b-)\)). Fie \(x_u\in(a,b)\) unicul punct cu \(F(x_u)=u\); atunci \(x_u\in I_u\). Pentru \(x<x_u\): dacă \(x\in(a,x_u)\), \(F(x)<F(x_u)=u\); dacă \(x\le a\), \(F(x)\le F(a+)=0<u\). Deci niciun \(x<x_u\) nu aparține lui \(I_u\) și \(F^{-1}(u)=\inf I_u=x_u\). Detalii: în notă.■

Punctele 2 și 3: \(F^{-1}\) este o inversă „pe jumătate”, \(F\circ F^{-1}\ge\mathrm{id}\) și \(F^{-1}\circ F\le\mathrm{id}\); inegalitățile pot fi stricte.

Salturi și paliere

Corolarul 10 (Salturi și paliere)
  1. Dacă funcția de repartiție \(F\) are un salt în \(x_0\), adică \(F(x_0-)<F(x_0)\), atunci \(F^{-1}(u)=x_0\) pentru orice \(u\in\big(F(x_0-),F(x_0)\big]\cap(0,1)\); pentru un astfel de \(u<F(x_0)\), \(F(F^{-1}(u))=F(x_0)>u\).

  2. Dacă funcția de repartiție \(F\) are un palier la nivelul \(u_0\in(0,1)\), adică \(F(x)=u_0\) pentru \(x\in[x_1,x_2)\) și \(F(x)<u_0\) pentru \(x<x_1\), atunci \(F^{-1}(u_0)=x_1\), iar \(F^{-1}(u)\ge x_2\) pentru orice \(u>u_0\): \(F^{-1}\) are în \(u_0\) un salt de mărime cel puțin \(x_2-x_1\); pentru \(x\in(x_1,x_2)\), \(F^{-1}(F(x))=x_1<x\).

Demonstrație.

  1. Fie \(u\) ca în enunț. Cum \(F(x_0)\ge u\), lema dă \(F^{-1}(u)\le x_0\); pentru \(x<x_0\), \(F(x)\le F(x_0-)<u\), deci \(I_u\subseteq[x_0,\infty)\) și \(F^{-1}(u)\ge x_0\). (b) \(x_1\in I_{u_0}\) și niciun \(x<x_1\) nu este în \(I_{u_0}\), deci \(F^{-1}(u_0)=x_1\); pentru \(u>u_0\) și \(x<x_2\), \(F(x)\le u_0<u\), deci \(F^{-1}(u)\ge x_2\).

■

Funcția cuantilă a unei repartiții mixte

Exemplul 7 (Funcția cuantilă a unei repartiții mixte)

Fie \(F(x)=0\) pentru \(x<0\), \(F(x)=0.4x\) pentru \(0\le x<1\), \(F(x)=0.6\) pentru \(1\le x<2\), \(F(x)=0.6+0.4(x-2)\) pentru \(2\le x<3\) și \(F(x)=1\) pentru \(x\ge3\) (cu probabilitatea \(0.4\) uniformă pe \((0,1)\), cu \(0.2\) egală cu \(1\), cu \(0.4\) uniformă pe \((2,3)\)). \(F\) are un salt în \(x_0=1\) (de la \(F(1-)=0.4\) la \(F(1)=0.6\)) și un palier la nivelul \(0.6\) pe \([1,2)\).

Funcția cuantilă. Pentru \(u\in(0,0.4)\): \(0.4x=u\) dă \(x=u/0.4\), iar pentru \(x<u/0.4\), \(F(x)<u\); deci \(F^{-1}(u)=2.5u\) (și \(F^{-1}(0.4)=1\): \(F(x)<0.4\) pentru \(x<1\), \(F(1)=0.6\)). Pentru \(u\in(0.4,0.6]\), Corolarul 10(a) dă \(F^{-1}(u)=1\). Pentru \(u\in(0.6,1)\), cel mai mic \(x\) cu \(F(x)\ge u\) se află pe ramura \([2,3)\): \(0.6+0.4(x-2)=u\). Așadar \[ F^{-1}(u)=\begin{cases}2.5\,u, & 0<u\le0.4,\\ 1, & 0.4<u\le0.6,\\ 2+2.5\,(u-0.6), & 0.6<u<1,\end{cases} \] cu un palier (imaginea saltului lui \(F\)) și un salt de la \(1\) la \(2\) în \(u=0.6\) (imaginea palierului lui \(F\)).

Repartiția mixtă: cuantile și grafic

Cuantile. \(\mathrm{Me}=F^{-1}(0.5)=1\), \(Q_1=F^{-1}(0.25)=0.625\), \(Q_3=F^{-1}(0.75)=2+2.5\cdot0.15=2.375\).

Inegalitățile din Propoziția 9 sunt stricte în punctele „speciale”:

  • \(F(F^{-1}(0.5))=F(1)=0.6>0.5\) (salt);
  • \(F^{-1}(F(1.5))=F^{-1}(0.6)=1<1.5\) (palier).

Interpretarea cuantilei

Corolarul 11 (Interpretarea cuantilei)

Fie \(X\) o v.a. cu funcția de repartiție \(F\), \(p\in(0,1)\) și \(q_p=F^{-1}(p)\). Atunci \[ \PP(X\le q_p)\ge p\qquad\text{și}\qquad\PP(X\ge q_p)\ge1-p , \] iar \(q_p\) este cel mai mic număr real \(m\) cu \(\PP(X\le m)\ge p\).

Demonstrație. Prima inegalitate este \(F(F^{-1}(p))\ge p\) (punctul 2). Apoi \(\PP(X\ge q_p)=1-\PP(X<q_p)=1-F(q_p-)\ge1-p\), deoarece \(F(q_p-)\le p\) (punctul 2; Propoziția 14 din Cursul 1). În fine, dacă \(F(m)\ge p\), lema (cu \(u=p\), \(x=m\)) dă \(m\ge q_p\).■

Cuantila de ordin \(p\) lasă „cel puțin \(p\)” din masă la stânga și „cel puțin \(1-p\)” la dreapta; convenția \(F^{-1}\) alege cel mai mic număr cu această proprietate (pentru \(\Bern(1/2)\): mediana \(0\)).

Cuantilele repartițiilor continue: uniforma și exponențiala

Exemplul 9 (Cuantilele unor repartiții continue)
  1. Uniforma. Pentru \(X\sim\Unif(a,b)\), \(F(x)=\frac{x-a}{b-a}\) pe \([a,b]\) este continuă și strict crescătoare pe \((a,b)\), cu \(F(a+)=0\) și \(F(b-)=1\); din punctul 6, \(F^{-1}(u)\) este soluția ecuației \(\frac{x-a}{b-a}=u\), adică \(F^{-1}(u)=a+(b-a)u\). Pentru \(\Unif(0,1)\), \(F^{-1}(u)=u\).

  2. Exponențiala. Pentru \(X\sim\Exp(\lambda)\), \(F(x)=\int_0^x\lambda e^{-\lambda t}\dd t=1-e^{-\lambda x}\) pentru \(x\ge0\) și \(F(x)=0\) pentru \(x<0\). Pe \((0,\infty)\), \(F\) este continuă și strict crescătoare (\(F'(x)=\lambda e^{-\lambda x}>0\)), cu \(F(0+)=0\) și \(F(\infty-)=1\), deci \[ 1-e^{-\lambda x}=u\iff e^{-\lambda x}=1-u\iff -\lambda x=\ln(1-u)\iff x=-\frac{\ln(1-u)}{\lambda}=F^{-1}(u). \] Mediana este \(\frac{\ln2}{\lambda}\approx\frac{0.693}{\lambda}\), mai mică decât media \(\frac1\lambda\) (repartiția este asimetrică la dreapta), iar cuartilele sunt \(Q_1=\frac{\ln(4/3)}\lambda\approx\frac{0.288}\lambda\) și \(Q_3=\frac{\ln4}\lambda\approx\frac{1.386}\lambda\).

Cuantilele repartițiilor continue: Cauchy

Exemplu (Cuantilele unor repartiții continue (continuare))
  1. Cauchy. Pentru \(X\sim\Cauchy(0,1)\), cu densitatea \(f(x)=\frac{1}{\pi(1+x^2)}\), \(x\in\R\), cum \((\arctan t)'=\frac1{1+t^2}\) și \(\lim_{t\to-\infty}\arctan t=-\frac\pi2\), \[ F(x)=\int_{-\infty}^x\frac{\dd t}{\pi(1+t^2)}=\frac1\pi\Big(\arctan x+\frac\pi2\Big)=\frac12+\frac1\pi\arctan x . \] \(F\) este continuă și strict crescătoare pe \(\R\), cu limitele \(0\) și \(1\) la \(\mp\infty\), deci punctul 6 se aplică cu \((a,b)=\R\): \[ \frac12+\frac1\pi\arctan x=u\iff\arctan x=\pi\Big(u-\frac12\Big)\iff x=\tan\Big(\pi\Big(u-\frac12\Big)\Big)=F^{-1}(u) \] (a doua echivalență: \(\pi\big(u-\frac12\big)\in\big(-\frac\pi2,\frac\pi2\big)\), interval pe care \(\tan\) este inversa funcției \(\arctan\)). Mediana este \(F^{-1}\big(\frac12\big)=\tan0=0\), iar cuartilele sunt \(Q_{1,3}=\tan\big(\mp\frac\pi4\big)=\mp1\).

Cuantilele repartițiilor continue: normala

Exemplu (Cuantilele unor repartiții continue (continuare))
  1. Normala. Pentru \(X\sim\Norm(\mu,\sigma^2)\), \(F(x)=\PP\big(\frac{X-\mu}{\sigma}\le\frac{x-\mu}{\sigma}\big)=\Phi\big(\frac{x-\mu}\sigma\big)\) este continuă și strict crescătoare pe \(\R\), cu limitele \(0\) și \(1\) la \(\mp\infty\); punctul 6 se aplică, atât pentru \(F\), cât și pentru \(\Phi\), deci \[ F(x)=p\iff\Phi\Big(\frac{x-\mu}\sigma\Big)=p\iff\frac{x-\mu}\sigma=z_p\iff x=\mu+\sigma z_p , \] unde \(z_p=\Phi^{-1}(p)\) (qnorm(p)); așadar \(F^{-1}(p)=\mu+\sigma z_p\). Densitatea normală standard fiind pară, \(\Phi(-x)=1-\Phi(x)\); pentru \(x=z_p\) obținem \(\Phi(-z_p)=1-p\), adică \(z_{1-p}=-z_p\).

Mediana este \(\mu+\sigma z_{1/2}=\mu\) (\(\Phi(0)=\frac12\), deci \(z_{1/2}=0\)), iar, cu \(z_{0.75}\approx0.6745\), cuartilele sunt \(Q_{1,3}=\mu\mp0.6745\,\sigma\), deci \(Q_3-Q_1=2z_{0.75}\,\sigma\approx1.349\,\sigma\); de aici estimatorul robust \(\mathrm{IQR}/1.349\) al lui \(\sigma\). Cuantila \(z_{0.975}\approx1.96\) va apărea la toate intervalele de încredere de nivel \(0.95\).

În R: qexp(0.5, 2) întoarce \(\ln2/2\approx0.3466\), qcauchy(0.75) întoarce \(1\), iar qnorm(0.975) întoarce \(1.959964\approx1.96\).

Cuantilele repartițiilor discrete

Exemplul 10 (Cuantilele repartițiilor discrete)

Fie \(X\sim\begin{pmatrix}x_1&x_2&\cdots\\p_1&p_2&\cdots\end{pmatrix}\) cu \(x_1<x_2<\cdots\) (în număr finit sau numărabil), \(s_0=0\) și \(s_k=p_1+\dots+p_k\). Funcția de repartiție este în scară: \(F(x)=0\) pentru \(x<x_1\) și \(F(x)=s_k\) pentru \(x_k\le x<x_{k+1}\).

Fie \(u\in(0,1)\) și \(k\) cel mai mic indice cu \(s_k\ge u\) (există: \(s_K=1\) dacă \(X\) are \(K\) valori, respectiv \(s_k\nearrow1>u\)); atunci \(s_{k-1}<u\le s_k\). Pentru \(x\ge x_k\), \(F(x)\ge s_k\ge u\), iar pentru \(x<x_k\), \(F(x)\le s_{k-1}<u\); deci \(I_u=[x_k,\infty)\) și \[ F^{-1}(u)=x_k\quad\text{pentru}\quad s_{k-1}<u\le s_k,\qquad\text{adică}\qquad F^{-1}(u)=\sum_{k\ge1}x_k\,\Ind_{(s_{k-1},\,s_k]}(u). \] Intervalul \((0,1]\) este tăiat în bucăți de lungimi \(p_1,p_2,\dots\), iar valoarea \(x_k\) este atribuită bucății a \(k\)-a: este cazul (a) al Corolarului 10, fiecare atom devenind un palier al lui \(F^{-1}\).

Cuantilele repartițiilor discrete: exemple

Exemplu (Cuantilele repartițiilor discrete (continuare))
  1. Bernoulli. Pentru \(X\sim\Bern(p)\): \(x_1=0\), \(x_2=1\), \(s_1=1-p\), deci \(F^{-1}(u)=0\) pentru \(u\le1-p\) și \(F^{-1}(u)=1\) pentru \(u>1-p\). Pentru \(p=\frac12\), mediana este \(0\).

  2. O variabilă cu patru valori. Pentru \(X\sim\begin{pmatrix}0&1&2&5\\0.1&0.4&0.3&0.2\end{pmatrix}\), sumele cumulate sunt \(s_1=0.1\), \(s_2=0.5\), \(s_3=0.8\), \(s_4=1\), deci \(F^{-1}(u)=0\) pentru \(u\le0.1\), \(F^{-1}(u)=1\) pentru \(0.1<u\le0.5\), \(F^{-1}(u)=2\) pentru \(0.5<u\le0.8\) și \(F^{-1}(u)=5\) pentru \(u>0.8\). Mediana este \(F^{-1}(0.5)=1\), iar cuartilele sunt \(Q_1=F^{-1}(0.25)=1\) și \(Q_3=F^{-1}(0.75)=2\).

  3. Poisson. Pentru \(X\sim\Pois(3)\), \(F(2)=e^{-3}\big(1+3+\frac92\big)\approx0.4232<0.5\) și \(F(3)=F(2)+e^{-3}\frac{27}{6}\approx0.6472\ge0.5\), deci mediana este \(F^{-1}(0.5)=3\), iar \(F(\mathrm{Me})\approx0.647>0.5\): inegalitatea din Corolarul 11 este strictă. În R, funcțiile qpois, qbinom, qgeom etc. calculează exact cel mai mic \(x\) cu \(F(x)\ge u\): qpois(0.5, 3) întoarce \(3\).

Universalitatea repartiției uniforme

Teorema de universalitate

Orice repartiție pe \(\R\) se obține dintr-o singură variabilă uniformă printr-o transformare deterministă, iar o variabilă cu funcție de repartiție continuă devine uniformă prin propria funcție de repartiție (Dalang and Conus 2018, Ex. 4.30).

Teorema 12 (Universalitatea repartiției uniforme)

Fie \(X\) o variabilă aleatoare reală cu funcția de repartiție \(F\) și \(U\sim\Unif(0,1)\). Atunci:

  1. variabila aleatoare \(F^{-1}(U)\) are aceeași repartiție ca \(X\): \(\PP\big(F^{-1}(U)\le x\big)=F(x)\) pentru orice \(x\in\R\);
  2. dacă \(F\) este continuă, atunci \(F(X)\sim\Unif(0,1)\).

Ideea demonstrației. Lema 8 transformă evenimentul \(\{F^{-1}(U)\le x\}\), despre care nu știm nimic direct, în evenimentul \(\{U\le F(x)\}\), a cărui probabilitate este cunoscută. Pentru punctul 2 folosim forma strictă a lemei (punctul 5 al Propoziției 9) și continuitatea lui \(F\).

Universalitatea: demonstrația punctului 1

Demonstrație. Pasul 0 (buna definire). \(F^{-1}\) este definită doar pe \((0,1)\). Cum \(\PP(U=0)=\PP(U=1)=0\), \(F^{-1}(U)\) este bine definită a.s.; pe evenimentul neglijabil \(\{U\in\{0,1\}\}\) îi dăm o valoare constantă arbitrară, fără a schimba repartiția. \(F^{-1}\) este boreliană (punctul 1 al Propoziției 9), deci \(F^{-1}(U)\) este o v.a.

Pasul 1 (repartiția lui \(F^{-1}(U)\)). Fie \(x\in\R\). Aplicând lema în fiecare \(\omega\) cu \(U(\omega)\in(0,1)\), obținem egalitatea de evenimente (până la o mulțime neglijabilă) \[ \{\omega:\ F^{-1}(U(\omega))\le x\}=\{\omega:\ U(\omega)\le F(x)\}. \] Cum \(\PP(U\le t)=t\) pentru \(t\in[0,1]\) și \(F(x)\in[0,1]\), \[ \PP\big(F^{-1}(U)\le x\big)=\PP\big(U\le F(x)\big)=F(x),\qquad\forall x\in\R , \] deci \(F^{-1}(U)\) are funcția de repartiție \(F\), adică aceeași repartiție ca \(X\) (funcția de repartiție determină repartiția).■

Universalitatea: demonstrația punctului 2

Demonstrație (continuare). Pasul 2 (repartiția lui \(F(X)\) pentru \(F\) continuă). \(F(X)\in[0,1]\). Fixăm \(u\in(0,1)\) și \(q=F^{-1}(u)\). Punctul 5 al Propoziției 9, aplicat în \(x=X(\omega)\), dă \(\{F(X)<u\}=\{X<q\}\), deci \[ \PP\big(F(X)<u\big)=\PP(X<q)=F(q-)=F(q)=F\big(F^{-1}(u)\big)=u , \] folosind, pe rând, \(\PP(X<q)=F(q-)\) (Propoziția 14 din Cursul 1), continuitatea lui \(F\) în \(q\) și punctul 2 al Propoziției 9. Pentru \(n\) suficient de mare (\(u+\frac1n<1\)), evenimentele \(\{F(X)<u+\frac1n\}\) descresc către \(\{F(X)\le u\}\), iar continuitatea probabilității (Propoziția 3 din Cursul 1) dă \[ \PP\big(F(X)\le u\big)=\lim_{n\to\infty}\PP\Big(F(X)<u+\frac1n\Big)=\lim_{n\to\infty}\Big(u+\frac1n\Big)=u . \] În sfârșit, \(\PP(F(X)\le u)=0\) pentru \(u<0\) și \(=1\) pentru \(u\ge1\), iar \(\PP(F(X)\le0)=\lim_n\PP(F(X)\le\frac1n)=0\): funcția de repartiție a lui \(F(X)\) este cea a repartiției \(\Unif(0,1)\).■

Continuitatea este esențială

Atenție!

Ipoteza de continuitate din punctul 2 este esențială. Dacă \(X\sim\Bern(1/2)\), atunci \(F(0)=\frac12\) și \(F(1)=1\), deci \(F(X)\in\{\frac12,1\}\) nu este uniformă. În demonstrație, pasul care cade este \(F(q-)=F(q)\): pentru \(u=0.3\) avem \(q=F^{-1}(0.3)=0\) și \(\PP(F(X)<0.3)=\PP(X<0)=F(0-)=0\ne0.3\).

Mai mult, \(F(X)\) este uniformă dacă și numai dacă \(F\) este continuă: dacă \(F\) are un salt în \(x_0\), atunci \(\PP\big(F(X)=F(x_0)\big)\ge\PP(X=x_0)=F(x_0)-F(x_0-)>0\), pe când repartiția uniformă nu are atomi.

În schimb, punctul 1 este valabil pentru orice funcție de repartiție, inclusiv pentru cele discrete sau mixte.

Caracterizarea funcțiilor de repartiție

Proprietățile (a)–(c) caracterizează funcțiile de repartiție (Billingsley 1995, sec. 14):

Corolarul 13 (Orice funcție cu proprietățile (a)–(c) este o funcție de repartiție)

Fie \(F:\R\to[0,1]\) crescătoare, continuă la dreapta, cu \(\lim_{x\to-\infty}F(x)=0\) și \(\lim_{x\to+\infty}F(x)=1\). Atunci există un câmp de probabilitate și o v.a. \(Y\) definită pe el cu \(F_Y=F\); echivalent, există o unică probabilitate \(\mu\) pe \(\big(\R,\B(\R)\big)\) cu \(\mu\big((-\infty,x]\big)=F(x)\) pentru orice \(x\).

Demonstrație. Pasul 1. Demonstrația Lemei 8 folosește doar cele trei proprietăți, deci \(F^{-1}(u)=\inf\{x:F(x)\ge u\}\in\R\) și \(F^{-1}(u)\le x\iff u\le F(x)\). Pasul 2 (existența). Pe \(\big((0,1),\B((0,1)),\lambda\big)\), cu \(\lambda\) lungimea (măsura Lebesgue, a cărei existență este admisă (Durrett 2019, sec. 1.1)), fie \(Y(\omega)=F^{-1}(\omega)\): \(\{Y\le x\}=\{\omega\in(0,1):\ \omega\le F(x)\}=(0,F(x)]\cap(0,1)\), un interval (deci \(Y\) este o v.a.) de lungime \(F(x)\). Așadar \(F_Y=F\), iar \(\mu=\lambda\circ Y^{-1}\) convine. Pasul 3 (unicitatea). Funcția de repartiție determină repartiția (fapt admis în Cursul 1).■

Construcția unei variabile cu repartiție dată

Punctul 1 al Teoremei 12 dă un algoritm de construcție a unei variabile aleatoare cu funcția de repartiție \(F\):

  1. generăm \(U\sim\Unif(0,1)\);
  2. calculăm \(X=F^{-1}(U)\); atunci \(X\) are funcția de repartiție \(F\).
Exemplul 11 (Repartiția exponențială și o repartiție discretă)
  1. Pentru \(X\sim\Exp(\lambda)\), \(F^{-1}(u)=-\frac1\lambda\ln(1-u)\) (Exemplul 9), deci, dacă \(U\sim\Unif(0,1)\), atunci \(-\frac1\lambda\ln(1-U)\sim\Exp(\lambda)\). Cum și \(1-U\sim\Unif(0,1)\) (pentru \(u\in[0,1]\), \(\PP(1-U\le u)=\PP(U\ge1-u)=1-(1-u)=u\)), avem și \(-\frac1\lambda\ln U\sim\Exp(\lambda)\). Verificare directă: pentru \(x\ge0\), \(\PP\big(-\frac1\lambda\ln U\le x\big)=\PP\big(U\ge e^{-\lambda x}\big)=1-e^{-\lambda x}\).

  2. Pentru repartiția \(\Cauchy(0,1)\), \(F^{-1}(u)=\tan\big(\pi(u-\frac12)\big)\) (Exemplul 9), deci \(\tan\big(\pi(U-\frac12)\big)\sim\Cauchy(0,1)\).

Construcția unei variabile cu repartiție dată: cazul discret și punctul 2

Exemplu (Repartiția exponențială și o repartiție discretă (continuare))
  1. Pentru o v.a. discretă, Exemplul 10 și Teorema 12 dau \[ \begin{aligned} F^{-1}(U)&=\sum_{k\ge1}x_k\,\Ind_{\{s_{k-1}<U\le s_k\}},\\ \PP\big(F^{-1}(U)=x_k\big)&=\PP(s_{k-1}<U\le s_k)=s_k-s_{k-1}=p_k , \end{aligned} \] confirmare directă a punctului 1: \(F^{-1}(U)\) ia valoarea \(x_k\) exact când \(U\) cade în bucata a \(k\)-a a intervalului \((0,1]\). Aceste „rețete” stau la baza metodei inverse de simulare din Cursul 4.

  2. Punctul 2 al teoremei se verifică și el direct pentru repartiția exponențială: \(F(X)=1-e^{-\lambda X}\) ia valori în \([0,1)\) și, pentru \(u\in(0,1)\), \[ \PP\big(1-e^{-\lambda X}\le u\big)=\PP\Big(X\le-\frac1\lambda\ln(1-u)\Big)=1-e^{\ln(1-u)}=u,\qquad\text{deci}\quad F(X)\sim\Unif(0,1). \]

Construcția unei variabile cu repartiție dată: verificare în R

Algoritmul pentru \(\Exp(2)\) și pentru variabila cu patru valori din Exemplul 10(b):

set.seed(7)
U <- runif(1e5)                               # 100 000 de uniforme
X <- -log(1 - U) / 2                          # F^{-1}(U) pentru Exp(2)
c(medie = mean(X), teoretic = 1 / 2,
  P_X_sub_1 = mean(X <= 1), F_1 = pexp(1, 2))
x <- c(0, 1, 2, 5); p <- c(0.1, 0.4, 0.3, 0.2)
s <- c(0, cumsum(p))                          # s_0, s_1, ..., s_4
Y <- x[findInterval(U, s, left.open = TRUE)]  # k: s_{k-1} < U <= s_k
rbind(frecvente = as.vector(table(Y)) / 1e5, p = p)
#>     medie  teoretic P_X_sub_1       F_1 
#>    0.4995    0.5000    0.8649    0.8647 
#>             [,1]   [,2]   [,3]   [,4]
#> frecvente 0.1009 0.3992 0.3003 0.1996
#> p         0.1000 0.4000 0.3000 0.2000

Uniforma discretă și extragerea unui individ

Exemplul 13 (Uniforma discretă și extragerea unui individ)

Repartiția uniformă pe \(\{1,\dots,N\}\) are valorile \(x_k=k\) cu probabilitățile \(p_k=\frac1N\), deci \(s_k=\frac kN\), \(k=0,1,\dots,N\). Din Exemplul 10, pentru \(u\in(0,1)\), \(F^{-1}(u)=k\) dacă și numai dacă \(s_{k-1}<u\le s_k\), adică \[ \frac{k-1}{N}<u\le\frac kN\iff k-1<Nu\le k\iff k=\lceil Nu\rceil \] (\(\lceil y\rceil\) este unicul întreg \(k\) cu \(k-1<y\le k\)). Deci \(F^{-1}(u)=\lceil Nu\rceil\) și, din punctul 1 al Teoremei 12, dacă \(U\sim\Unif(0,1)\), atunci \(\lceil NU\rceil=F^{-1}(U)\) este uniformă pe \(\{1,\dots,N\}\). Verificare directă: \(\PP(\lceil NU\rceil=k)=\PP\big(\frac{k-1}{N}<U\le\frac kN\big)=\frac kN-\frac{k-1}N=\frac1N\).

Aceasta este regula prin care se extrage un individ la întâmplare dintr-o populație finită: dacă \(U_1,\dots,U_n\) sunt independente și uniforme pe \((0,1)\), atunci indicii \(J_i=\lceil NU_i\rceil\) sunt i.i.d. uniformi pe \(\{1,\dots,N\}\) (Propoziția 39 din Cursul 1), adică formează o selecție simplă cu revenire de volum \(n\) (Definiția 2).

Existența eșantioanelor independente

Teorema de existență

Pentru \(\Xbar\asto\mu\) sau \(\sqrt n(\Xbar-\mu)/\sigma\dto\Norm(0,1)\) avem nevoie de un șir infinit de v.a. independente, cu repartiții date, pe același câmp. Îl construim pe \([0,1)\) cu măsura Lebesgue \(\lambda\) (lungimea: \(\lambda([a,b))=b-a\); existența ei este admisă (Durrett 2019, sec. 1.1)), pe care \(U(\omega)=\omega\sim\Unif(0,1)\).

Teorema 14 (Existența șirurilor de variabile aleatoare independente)

Fie \((\mu_n)_{n\ge1}\) un șir de măsuri de probabilitate pe \(\big(\R,\B(\R)\big)\). Atunci există un câmp de probabilitate \((\Omega,\F,\PP)\) și un șir \((X_n)_{n\ge1}\) de variabile aleatoare independente definite pe el, astfel încât repartiția lui \(X_n\) este \(\mu_n\), adică \(\PP\circ X_n^{-1}=\mu_n\), pentru orice \(n\ge1\). Mai mult, putem lua \((\Omega,\F,\PP)=\big([0,1),\B([0,1)),\lambda\big)\).

Pentru \(\mu_n=Q\): un șir i.i.d. din populația \(Q\) (eșantioane de orice volum, pe același câmp). Demonstrația are trei pași (Billingsley 1995, sec. 20), (Jacod and Protter 2004, cap. 10): \[ \underbrace{\Bern(q_n)}_{\text{Pasul 1}}\ \ \longrightarrow\ \ \underbrace{\Unif(0,1)}_{\text{Pasul 2}}\ \ \longrightarrow\ \ \underbrace{\mu_n\ \text{arbitrare}}_{\text{Pasul 3}}. \]

Pasul 1: șiruri de variabile Bernoulli

Propoziția 15 (Pasul 1: șiruri de variabile Bernoulli)

Fie \(p_n\in[0,1]\), \(q_n=1-p_n\), \(n\ge1\). Pe \(\big([0,1),\B([0,1)),\lambda\big)\) există un șir \((X_n)_{n\ge1}\) de v.a. independente cu \(\PP(X_n=0)=p_n\) și \(\PP(X_n=1)=q_n\).

Construim variabilele inductiv, prin subdivizări succesive ale lui \([0,1)\): la fiecare nivel, fiecare interval se taie în proporția \(p_n:q_n\), partea stângă primind valoarea \(0\), iar cea dreaptă valoarea \(1\).

  • Nivelul 1. \([0,1)\) se împarte în \(I_0\) și \(I_1\), de lungimi \(p_1\) și \(q_1\); punem \(X_1=0\) pe \(I_0\) și \(X_1=1\) pe \(I_1\). Atunci \(\PP(X_1=0)=\lambda(I_0)=p_1\) și \(\PP(X_1=1)=\lambda(I_1)=q_1\).
  • Nivelul 2. \(I_0\) se împarte în \(I_{00}\) și \(I_{01}\), de lungimi \(p_1p_2\) și \(p_1q_2\), iar \(I_1\) în \(I_{10}\) și \(I_{11}\), de lungimi \(q_1p_2\) și \(q_1q_2\); punem \(X_2=0\) pe \(I_{00}\cup I_{10}\) și \(X_2=1\) pe \(I_{01}\cup I_{11}\). Atunci \(\PP(X_2=0)=p_1p_2+q_1p_2=p_2\) și, de exemplu, \[ \PP(X_1=0,X_2=0)=\lambda(I_{00})=p_1p_2=\PP(X_1=0)\,\PP(X_2=0). \]

Pasul 1: împărțirea succesivă a intervalului \([0,1)\)

Construcția pentru \(p_1=0.4\), \(p_2=0.6\), \(p_3=0.5\) (\(p_k=\PP(X_k=0)\)): la nivelul \(k\), fiecare interval pe care \((X_1,\dots,X_{k-1})\) este constant se împarte în proporția \(p_k:q_k\); \(X_k=0\) pe părțile albastre și \(X_k=1\) pe cele roșii. Sub fiecare interval este scrisă lungimea lui, produsul factorilor \(p_j\) sau \(q_j\).

Pasul 1: demonstrație

Demonstrație. Pasul 1a (construcția, prin inducție). Pentru \(n=1\): \(I_0=[0,p_1)\), \(I_1=[p_1,1)\), \(X_1=0\) pe \(I_0\), \(X_1=1\) pe \(I_1\). Presupunem construite intervalele \(I_{e_1\dots e_n}\) (\(e_k\in\{0,1\}\)), de forma \([a,b)\) cu \(a\le b\), care formează o partiție a lui \([0,1)\) în \(2^n\) intervale, cu \[ \lambda(I_{e_1\dots e_n})=\prod_{k=1}^np_k^{1-e_k}q_k^{e_k}\quad(0^0=1),\qquad X_k(\omega)=e_k\ \ \forall k\le n\iff\omega\in I_{e_1\dots e_n}. \] Împărțim fiecare \(I_{e_1\dots e_n}=[a,b)\) în \(I_{e_1\dots e_n0}=[a,\,a+p_{n+1}(b-a))\) și \(I_{e_1\dots e_n1}=[a+p_{n+1}(b-a),\,b)\) și punem \(X_{n+1}(\omega)=e_{n+1}\) pe \(I_{e_1\dots e_ne_{n+1}}\). Noile intervale formează o partiție în \(2^{n+1}\) intervale, cu \[ \lambda(I_{e_1\dots e_n0})=\lambda(I_{e_1\dots e_n})\,p_{n+1},\qquad\lambda(I_{e_1\dots e_n1})=\lambda(I_{e_1\dots e_n})\,q_{n+1}, \] adică formula produsului la rangul \(n+1\). Echivalența se transmite: „\(X_k(\omega)=e_k\) pentru \(k\le n+1\)” înseamnă „\(\omega\in I_{e_1\dots e_n}\)” (inducție) și „\(\omega\) este în partea \(e_{n+1}\) a acestui interval”.■

Pasul 1: demonstrație (continuare)

Demonstrație (continuare). Prin urmare, pentru orice \(n\) și orice \(e_1,\dots,e_n\in\{0,1\}\), \[ \PP(X_1=e_1,\dots,X_n=e_n)=\lambda(I_{e_1\dots e_n})=\prod_{k=1}^np_k^{1-e_k}q_k^{e_k}. \] Pasul 1b (repartițiile marginale). Sumăm după \(e_1,\dots,e_{n-1}\); suma se factorizează: \[ \PP(X_n=e_n)=\Big(\prod_{k=1}^{n-1}\sum_{e_k\in\{0,1\}}p_k^{1-e_k}q_k^{e_k}\Big)\,p_n^{1-e_n}q_n^{e_n}=\Big(\prod_{k=1}^{n-1}(p_k+q_k)\Big)\,p_n^{1-e_n}q_n^{e_n}=p_n^{1-e_n}q_n^{e_n}. \]

Pasul 1c (independența). Fiecare \(X_n\) este constantă pe intervalele partiției de rang \(n\), deci este o v.a. Din Pasul 1b, \(\PP(X_1=e_1,\dots,X_n=e_n)=\prod_{k=1}^n\PP(X_k=e_k)\): \(X_1,\dots,X_n\) sunt independente pentru orice \(n\) (Propoziția 38 din Cursul 1), deci șirul \((X_n)_{n\ge1}\) este format din v.a. independente.■

Construcția de la Pasul 1 pentru un \(\omega\) dat

Exemplul 14 (Construcția de la Pasul 1 pentru un omega dat)

Fie \(p_k=\frac13\) și \(q_k=\frac23\) pentru orice \(k\) și \(\omega=0.5\). Fiecare interval \([a,b)\) se împarte în \([a,\,a+\frac13(b-a))\), pe care noua variabilă ia valoarea \(0\), și \([a+\frac13(b-a),\,b)\), pe care ia valoarea \(1\).

Nivelul 1. \(I_0=[0,\frac13)\) și \(I_1=[\frac13,1)\). Cum \(0.5\ge\frac13\), \(\omega\in I_1\) și \(X_1(\omega)=1\).

Nivelul 2. \(I_1\) are lungimea \(\frac23\) și se împarte în punctul \(\frac13+\frac13\cdot\frac23=\frac59\approx0.556\): \(I_{10}=[\frac13,\frac59)\) și \(I_{11}=[\frac59,1)\). Cum \(0.5<\frac59\), \(\omega\in I_{10}\) și \(X_2(\omega)=0\).

Nivelul 3. \(I_{10}\) are lungimea \(\frac29\) și se împarte în punctul \(\frac13+\frac13\cdot\frac29=\frac{11}{27}\approx0.407\): \(I_{100}=[\frac13,\frac{11}{27})\) și \(I_{101}=[\frac{11}{27},\frac59)\). Cum \(0.5\ge\frac{11}{27}\), \(\omega\in I_{101}\) și \(X_3(\omega)=1\).

Așadar \(\big(X_1(\omega),X_2(\omega),X_3(\omega)\big)=(1,0,1)\), iar \(I_{101}=\big[\frac{11}{27},\frac{15}{27}\big)\) are lungimea \(\frac4{27}=q_1p_2q_3\).

Lungimea lui \(I_{010}\). Din formula produsului, \(\lambda(I_{010})=p_1q_2p_3=\frac13\cdot\frac23\cdot\frac13=\frac2{27}\). Direct: \(I_0=[0,\frac13)\), \(I_{01}=[\frac19,\frac13)\), \(I_{010}=[\frac19,\frac19+\frac13\cdot\frac29)=[\frac{3}{27},\frac{5}{27})\).

Cifrele binare ale unui număr uniform

Pentru \(p_k=\frac12\), intervalele \(I_{e_1\dots e_k}\) sunt intervalele diadice \(\big[\frac{j}{2^k},\frac{j+1}{2^k}\big)\), \(j=\sum_{i=1}^ke_i2^{k-i}\), iar \(X_k(\omega)\) este chiar a \(k\)-a cifră binară a lui \(\omega\).

Lema 16 (Cifrele binare ale unui număr uniform)

Pe \(\big([0,1),\B([0,1)),\lambda\big)\) definim, pentru \(k\ge1\), \(D_k(\omega)=\lfloor2^k\omega\rfloor\bmod2\) (a \(k\)-a cifră a dezvoltării binare a lui \(\omega\), cea care nu se termină cu o infinitate de cifre \(1\)). Atunci:

  1. \(D_1,D_2,\dots\) sunt v.a. independente, cu \(\PP(D_k=0)=\PP(D_k=1)=\frac12\);

  2. \(\omega=\sum_{k\ge1}D_k(\omega)\,2^{-k}\) pentru orice \(\omega\in[0,1)\).

A alege un număr uniform în \([0,1)\) este totuna cu a arunca de o infinitate de ori o monedă echilibrată: de exemplu, evenimentul „primele patru cifre binare sunt \(0110\)” este intervalul \([6/16,7/16)\), de probabilitate \(1/16\). Pasul 2 folosește reciproca: din aruncări independente ale monedei reconstruim numere uniforme.

Cifrele binare: demonstrație

Demonstrație. Ideea. Pentru \(p_k=\frac12\), intervalele construite la Pasul 1 sunt intervalele diadice, iar variabilele \(X_k\) sunt chiar cifrele binare \(D_k\); partea (a) este atunci un caz particular al Propoziției 15.

Pasul 1 (intervalele diadice). Prin inducție după \(k\): \(I_{e_1\dots e_k}=\big[\frac{j}{2^k},\frac{j+1}{2^k}\big)\), unde \(j=\sum_{i=1}^ke_i2^{k-i}\). Pentru \(k=1\): \(I_0=\big[0,\frac12\big)\), \(I_1=\big[\frac12,1\big)\). De la \(k\) la \(k+1\): jumătățile lui \(\big[\frac{j}{2^k},\frac{j+1}{2^k}\big)\) sunt \(\big[\frac{2j}{2^{k+1}},\frac{2j+1}{2^{k+1}}\big)\) și \(\big[\frac{2j+1}{2^{k+1}},\frac{2j+2}{2^{k+1}}\big)\), adică \(I_{e_1\dots e_{k+1}}=\big[\frac{j'}{2^{k+1}},\frac{j'+1}{2^{k+1}}\big)\) cu \(j'=2j+e_{k+1}=\sum_{i=1}^{k+1}e_i2^{k+1-i}\).

Pasul 2 (\(X_k=D_k\)). Fie \(e_i=X_i(\omega)\), \(i\le k\). Atunci \(\omega\in I_{e_1\dots e_k}\), adică \(j\le2^k\omega<j+1\), deci \(\lfloor2^k\omega\rfloor=j=e_k+2\sum_{i=1}^{k-1}e_i2^{k-1-i}\), un număr de aceeași paritate cu \(e_k\): \(D_k(\omega)=j\bmod2=e_k=X_k(\omega)\). Partea (a) rezultă din Propoziția 15.

Pasul 3 (dezvoltarea). \(\sum_{i=1}^kD_i(\omega)2^{-i}=j/2^k\), iar din \(j\le2^k\omega<j+1\) rezultă \(0\le\omega-\sum_{i=1}^kD_i(\omega)2^{-i}<\frac1{2^k}\to0\): seria converge la \(\omega\) (partea (b)). Inegalitatea strictă arată și că dezvoltarea nu se termină cu o infinitate de cifre \(1\).■

Pasul 2: șiruri de variabile uniforme independente

Propoziția 17 (Pasul 2: șiruri de variabile uniforme independente)

Pe \(\big([0,1),\B([0,1)),\lambda\big)\) există un șir \((U_n)_{n\ge1}\) de v.a. independente, cu \(U_n\sim\Unif(0,1)\) pentru orice \(n\).

Din Pasul 1 cu \(p_m=q_m=\frac12\) (sau din Lema 16), există \((X_m)_{m\ge1}\) independente cu \(\PP(X_m=0)=\PP(X_m=1)=\frac12\). Le rearanjăm într-un tablou cu o infinitate de linii, fiecare linie fiind un șir infinit de „aruncări ale monedei”, cu numerotarea pe diagonale a lui Cantor: \[ \phi:\N^*\times\N^*\to\N^*,\quad\phi(n,k)=\frac{(n+k-1)(n+k-2)}{2}+k ,\qquad \big(\phi(n,k)\big)_{1\le n,k\le4}=\begin{pmatrix}1&3&6&10\\2&5&9&14\\4&8&13&19\\7&12&18&25\end{pmatrix}. \] \(\phi\) este o bijecție: cele \(d-1\) perechi de pe diagonala \(n+k=d\) (\(d\ge2\)) primesc, în ordinea crescătoare a lui \(k\), numerele consecutive de la \(\frac{(d-1)(d-2)}{2}+1\) până la \(\frac{d(d-1)}{2}\), iar diagonalele succesive se așază una după alta, fără goluri și fără suprapuneri: \(1;\ 2,3;\ 4,5,6;\ 7,8,9,10;\dots\)

Tabloul uniformelor

Notăm \(X_{n,k}:=X_{\phi(n,k)}\) și definim uniformele linie cu linie: \[ \begin{aligned} U_1&\ \longleftarrow\ X_{1,1},\ X_{1,2},\ X_{1,3},\ \dots\\ U_2&\ \longleftarrow\ X_{2,1},\ X_{2,2},\ X_{2,3},\ \dots\\ &\ \ \vdots\\ U_n&\ \longleftarrow\ X_{n,1},\ X_{n,2},\ X_{n,3},\ \dots \end{aligned} \qquad\qquad U_n=\sum_{k=1}^{\infty}\frac{X_{n,k}}{2^k}, \] adică \(U_n\) este numărul cu cifrele binare \(0.X_{n,1}X_{n,2}X_{n,3}\dots\) De exemplu, \[ U_1=\frac{X_1}{2}+\frac{X_3}{4}+\frac{X_6}{8}+\dots,\qquad U_2=\frac{X_2}{2}+\frac{X_5}{4}+\frac{X_9}{8}+\dots: \] fiecare \(U_n\) „folosește” propria linie a tabloului, iar liniile diferite nu au cifre comune.

Rămâne să arătăm că \(U_n\) sunt independente (din construcție și dintr-un rezultat general despre \(\sigma\)-algebre) și uniforme pe \([0,1]\).

Independența σ-algebrelor

Definiția 18 (Independența σ-algebrelor)

Fie \((\Omega,\F,\PP)\) un câmp de probabilitate și \(\{\F_t:\ t\in T\}\) o familie de sub-\(\sigma\)-algebre ale lui \(\F\). Familia este independentă dacă pentru orice \(k\ge2\), orice indici distincți \(t_1,\dots,t_k\in T\) și orice evenimente \(A_j\in\F_{t_j}\), \[ \PP(A_1\cap\dots\cap A_k)=\PP(A_1)\cdots\PP(A_k). \] Pentru o v.a. \(X\), \(\sigma(X)=\{X^{-1}(B):\ B\in\B(\R)\}\) este \(\sigma\)-algebra generată de \(X\); pentru o familie de v.a. \(\{X_s:s\in S\}\), \(\sigma(X_s:\ s\in S)\) este cea mai mică \(\sigma\)-algebră în raport cu care toate \(X_s\) sunt măsurabile.

  • V.a. \(\{X_t\}\) sunt independente dacă și numai dacă \(\sigma\)-algebrele \(\{\sigma(X_t)\}\) sunt independente: este exact forma cu boreliene din Definiția 37 din Cursul 1, deoarece evenimentele din \(\sigma(X_t)\) sunt \(\{X_t\in B\}\).
  • Orice sub-\(\sigma\)-algebre ale unor \(\sigma\)-algebre independente sunt independente (factorizarea are loc, în particular, pentru evenimentele din sub-\(\sigma\)-algebre).

Asociativitatea independenței

Propoziția 19 (Asociativitatea independenței)

Fie \(\{\F_t:\ t\in T\}\) o familie de \(\sigma\)-algebre independente și \(\{T_s:\ s\in\mathcal{S}\}\) o familie de submulțimi ale lui \(T\), disjuncte două câte două (de exemplu, o partiție a lui \(T\)). Dacă \(\F_{T_s}=\sigma\big(\bigcup_{t\in T_s}\F_t\big)\), atunci \(\{\F_{T_s}:\ s\in\mathcal{S}\}\) este o familie de \(\sigma\)-algebre independente.

  • Admitem acest rezultat: demonstrația lui folosește un instrument de teoria măsurii (teorema \(\pi\)–\(\lambda\) a lui Dynkin) și se găsește în (Durrett 2019, sec. 2.1), (Billingsley 1995, sec. 4) sau (Resnick 1999, cap. 4).
  • El spune că variabile aleatoare construite din blocuri disjuncte de v.a. independente sunt independente: dacă \(X_1,\dots,X_5\) sunt independente, atunci \(X_1+X_2^2\), \(\max(X_3,X_4)\) și \(e^{X_5}\) sunt independente (blocurile \(T_1=\{1,2\}\), \(T_2=\{3,4\}\), \(T_3=\{5\}\)).
  • Blocurile pot fi și infinite: fiecare uniformă \(U_n\) este o funcție de un bloc infinit de variabile Bernoulli, linia \(n\) a tabloului.

Pasul 2: demonstrație

Demonstrație. Demonstrația Propoziției 17. Ideea. Liniile tabloului folosesc blocuri disjuncte de variabile independente, deci (asociativitatea) produc v.a. independente; pe fiecare linie, sumele parțiale sunt uniforme pe o grilă din ce în ce mai fină.

Pasul 2a (buna definire). Seria care definește \(U_n\) are termenii nenegativi, majorați de \(2^{-k}\), cu \(\sum_{k\ge1}2^{-k}=1\): ea converge în fiecare \(\omega\) și \(U_n(\omega)\in[0,1]\). Sumele parțiale \(S_{n,k}=\sum_{i=1}^kX_{n,i}2^{-i}\) cresc către \(U_n\), deci, pentru orice \(x\in\R\), \(\ \{U_n\le x\}=\bigcap_{k\ge1}\{S_{n,k}\le x\}\).

Pasul 2b (măsurabilitatea și independența). Fie \(T_n=\phi\big(\{n\}\times\N^*\big)\) mulțimea indicilor de pe linia \(n\) și \(\F_{T_n}=\sigma\big(X_m:\ m\in T_n\big)\). Mulțimile \(T_n\) sunt disjuncte două câte două (\(\phi\) este injectivă). \(\{S_{n,k}\le x\}\) este o reuniune finită de intersecții finite de evenimente \(\{X_{n,i}=x_i\}\in\F_{T_n}\), deci \(\{U_n\le x\}\in\F_{T_n}\) pentru orice \(x\): din criteriul de măsurabilitate cu semidrepte, \(U_n\) este o v.a. și \(\sigma(U_n)\subseteq\F_{T_n}\). Propoziția 19, aplicată familiei independente \(\{\sigma(X_m):m\ge1\}\) și mulțimilor disjuncte \(\{T_n:n\ge1\}\), arată că \(\sigma\)-algebrele \(\F_{T_n}\) sunt independente, deci și sub-\(\sigma\)-algebrele lor \(\sigma(U_n)\): \((U_n)_{n\ge1}\) sunt v.a. independente.■

Pasul 2: demonstrație (continuare)

Demonstrație (continuare). Pasul 2c (reducerea la sume finite). Fie \(0\le x<1\) (pentru \(x<0\) și \(x\ge1\): \(0\), respectiv \(1\)). Cum \(\{S_{n,k}\le x\}\searrow\{U_n\le x\}\), continuitatea probabilității dă \(\PP(U_n\le x)=\lim_{k}\PP(S_{n,k}\le x)\).

Pasul 2d (repartiția sumelor finite). \(S_{n,k}\) ia valorile \(j/2^k\), \(j=0,\dots,2^k-1\), unde \(j\) are scrierea binară \(x_1x_2\dots x_k\) (\(x_i\) = valoarea lui \(X_{n,i}\)). Scrierea binară fiind unică, din independența variabilelor \(X_{n,1},\dots,X_{n,k}\), \[ \PP\Big(S_{n,k}=\frac{j}{2^k}\Big)=\PP(X_{n,1}=x_1,\dots,X_{n,k}=x_k)=\prod_{i=1}^k\PP(X_{n,i}=x_i)=\frac1{2^k}: \] \(S_{n,k}\) este uniformă pe grila \(\{0,\frac1{2^k},\dots,\frac{2^k-1}{2^k}\}\). Valorile \(j\) cu \(j/2^k\le x\) sunt \(0\le j\le x2^k\), în număr de \(\lfloor x2^k\rfloor+1\), deci \(\PP(S_{n,k}\le x)=\frac{\lfloor x2^k\rfloor+1}{2^k}\).

Pasul 2e (limita). Din \(x2^k-1<\lfloor x2^k\rfloor\le x2^k\): \(\ x<\frac{\lfloor x2^k\rfloor+1}{2^k}\le x+\frac1{2^k}\to x\), deci \(\PP(U_n\le x)=x\) pentru \(x\in[0,1)\), adică \(U_n\sim\Unif(0,1)\).■

Pasul 3: repartiții arbitrare. Demonstrația teoremei

Demonstrație. Demonstrația Teoremei 14. Fie \(F_n(x)=\mu_n\big((-\infty,x]\big)\) funcția de repartiție indusă de \(\mu_n\) și \((U_n)_{n\ge1}\) șirul din Propoziția 17. Definim \(X_n=h_n(U_n)\), unde \(h_n(u)=F_n^{-1}(u)\) pentru \(u\in(0,1)\) și \(h_n(u)=0\) pentru \(u\in\{0,1\}\) (o valoare arbitrară pe mulțimea neglijabilă \(\{U_n\in\{0,1\}\}\)).

Pasul 3a (măsurabilitatea). \(\{u\in[0,1]:\ h_n(u)\le x\}\) este reuniunea dintre \((0,F_n(x)]\cap(0,1)\) (Lema 8) și o submulțime a lui \(\{0,1\}\): \(h_n\) este boreliană, deci \(X_n=h_n\circ U_n\) este o v.a.

Pasul 3b (repartiția). Ca la Pasul 1 al demonstrației Teoremei 12, \(\PP(X_n\le x)=\PP\big(U_n\le F_n(x)\big)=F_n(x)\); cum funcția de repartiție determină repartiția, \(\PP\circ X_n^{-1}=\mu_n\).

Pasul 3c (independența). Pentru \(B_1,\dots,B_m\in\B(\R)\) și \(C_i=h_i^{-1}(B_i)\) (boreliene), \(\{X_i\in B_i\}=\{U_i\in C_i\}\), deci \[ \PP(X_1\in B_1,\dots,X_m\in B_m)=\PP(U_1\in C_1,\dots,U_m\in C_m)=\prod_{i=1}^m\PP(U_i\in C_i)=\prod_{i=1}^m\PP(X_i\in B_i), \] din independența variabilelor \(U_i\) (Pasul 2); la fel pentru orice indici distincți \(n_1,\dots,n_m\).■

Discuție

Observație
  1. Un singur număr \(\omega\) ales uniform în \([0,1)\) conține suficient „aleatorism” pentru a genera un șir infinit de variabile independente cu orice repartiții dorite.

  2. Independența de la Pasul 2 provine din disjuncția liniilor tabloului (asociativitatea), uniformitatea din faptul că fiecare linie este un șir de aruncări echilibrate independente, iar Pasul 3 folosește doar proprietățile (a)–(c) ale fiecărei \(F_n\).

  3. Pe un calculator, generatoarele de numere pseudo-aleatoare (Cursul 4) imită direct un șir i.i.d. \(\Unif(0,1)\), iar Pasul 3 devine metoda inversă de simulare.

  4. Teorema de extensie a lui Kolmogorov asigură, mai general, existența unui șir de v.a. cu orice familie compatibilă de repartiții finit-dimensionale, nu neapărat independente; demonstrația ei folosește teoreme de extensie a măsurilor și depășește cadrul cursului (Durrett 2019, sec. 2.1).

Pașii 2 și 3 în R

Două uniforme din cifrele binare (de rang impar, respectiv par) ale unui singur \(\omega\), transformate în \(\Exp(1)\) și \(\Pois(3)\):

cifre <- function(omega, K = 30) floor(omega * 2^(1:K)) %% 2   # cifre binare
set.seed(9); omega <- runif(5000)
D <- t(sapply(omega, cifre))                            # matrice 5000 x 30
U1 <- as.vector(D[, seq(1, 29, by = 2)] %*% 2^-(1:15))  # cifrele de rang impar
U2 <- as.vector(D[, seq(2, 30, by = 2)] %*% 2^-(1:15))  # cifrele de rang par
c(medie_U1 = mean(U1), var_U1 = var(U1), teoretic = 1/12,
  corelatie = cor(U1, U2))
X1 <- qexp(U1, rate = 1); X2 <- qpois(U2, lambda = 3)   # Pasul 3
c(media_X1 = mean(X1), media_X2 = mean(X2))             # teoretic: 1 și 3
#>  medie_U1    var_U1  teoretic corelatie 
#>  0.502541  0.082248  0.083333 -0.006818 
#> media_X1 media_X2 
#>    1.000    2.994

Două variabile independente dintr-un singur număr uniform

Exemplul 18 (Două variabile independente dintr-un singur număr uniform)

Pe \(\big([0,1),\B([0,1)),\lambda\big)\) fie \(X=\Ind_{[0,0.3)}\) și \(V(\omega)=\omega/0.3\) pentru \(\omega<0.3\), \(V(\omega)=(\omega-0.3)/0.7\) pentru \(\omega\ge0.3\) (poziția relativă a lui \(\omega\) în intervalul care îl conține). Arătăm că \(X\sim\Bern(0.3)\), \(V\sim\Unif(0,1)\) și că \(X\) și \(V\) sunt independente.

Repartiția comună. \(\PP(X=1)=\lambda\big([0,0.3)\big)=0.3\). Fie \(v\in[0,1]\). Pe \(\{X=1\}=[0,0.3)\), \(V\le v\iff\omega\le0.3v\), iar pe \(\{X=0\}=[0.3,1)\), \(V\le v\iff\omega\le0.3+0.7v\); deci \[ \PP(X=1,V\le v)=0.3\,v,\qquad\PP(X=0,V\le v)=0.7\,v,\qquad\PP(V\le v)=0.3v+0.7v=v . \] Așadar \(V\sim\Unif(0,1)\) și \(\PP(X=i,\ V\le v)=\PP(X=i)\,\PP(V\le v)\) pentru orice \(v\in\R\) și \(i\in\{0,1\}\).

Independența. Repartiția lui \(V\) în raport cu \(\PP(\,\cdot\mid X=i)\) are aceeași funcție de repartiție ca \(V\); cum funcția de repartiție determină repartiția, \(\PP(X=i,\ V\in B)=\PP(X=i)\,\PP(V\in B)\) pentru orice \(B\in\B(\R)\).

O pereche independentă cu repartiții date. \(Y=-\ln(1-V)\sim\Exp(1)\) (Exemplul 11) este o funcție de \(V\), deci \(X\) și \(Y\) sunt independente (Propoziția 39 din Cursul 1).

Exerciții rezolvate

Estimarea mediei și a totalului unui lot

Exercițiul 1 (Estimarea mediei și a totalului unui lot)

Un lot conține \(N=40\) de cutii. Din lot se extrag, prin selecție simplă fără revenire, \(n=8\) cutii, în care se numără piesele defecte: \(12,\ 15,\ 9,\ 14,\ 11,\ 16,\ 13,\ 10\). (a) Estimați numărul mediu de piese defecte pe cutie și eroarea standard a estimatorului. (b) Estimați numărul total de piese defecte din lot și eroarea standard corespunzătoare. (c) Cât ar fi fost eroarea standard estimată dacă am fi ignorat faptul că selecția este fără revenire?

Soluție

Modelul. Teorema 5, cu \(N=40\), \(n=8\) și fracția de selecție \(f=8/40=0.2\) (mare, deci corecția contează).

  1. Media. \(\sum_ix_i=12+15+9+14+11+16+13+10=100\), deci \(\bar x=100/8=12.5\) (\(\Xbar\) este nedeplasat pentru \(\mu\)). Varianța eșantionului. Abaterile \(x_i-\bar x\) sunt \(-0.5,\ 2.5,\ -3.5,\ 1.5,\ -1.5,\ 3.5,\ 0.5,\ -2.5\) (suma \(0\)), cu pătratele \(0.25,\ 6.25,\ 12.25,\ 2.25,\ 2.25,\ 12.25,\ 0.25,\ 6.25\) și suma \(42\). Deci \(s^2=\frac{42}{8-1}=6\). Eroarea standard. Din Corolarul 6, \(\widehat{\Var}(\Xbar)=(1-f)\frac{s^2}{n}=0.8\cdot\frac68=0.6\), deci \(\widehat{\mathrm{es}}(\Xbar)=\sqrt{0.6}\approx0.775\).

Lotul — rezolvare (continuare)

Soluție
  1. Totalul. \(\hat\tau=N\bar x=40\cdot12.5=500\) de piese defecte, cu eroarea standard \(N\sqrt{0.6}\approx30.98\).

  2. Ignorând corecția (\(f=0\)): \(\sqrt{s^2/n}=\sqrt{0.75}\approx0.866\), cu aproximativ \(11.8\%\) mai mare (raportul este \(1/\sqrt{1-f}\approx1.118\)); precizia reală este mai bună decât ar indica formula i.i.d.

x <- c(12, 15, 9, 14, 11, 16, 13, 10); N <- 40; n <- length(x); f <- n / N
c(medie = mean(x), s2 = var(x), es = sqrt((1 - f) * var(x) / n),
  total = N * mean(x), es_total = N * sqrt((1 - f) * var(x) / n),
  es_fara_corectie = sqrt(var(x) / n))
#>            medie               s2               es            total 
#>          12.5000           6.0000           0.7746         500.0000 
#>         es_total es_fara_corectie 
#>          30.9839           0.8660

Un sondaj într-o populație mică

Exercițiul 2 (Un sondaj într-o populație mică)

Într-o facultate sunt \(N=1\,200\) de studenți, dintre care o proporție \(p=0.3\) lucrează. Se aleg fără revenire \(n=150\) de studenți și se calculează proporția \(\hat p\) a celor care lucrează. (a) Calculați abaterea standard a lui \(\hat p\) și comparați-o cu cea de la selecția cu revenire. (b) Aproximați \(\PP(|\hat p-p|\le0.05)\) cu ajutorul unei aproximări normale și comparați cu valoarea exactă (hipergeometrică). (c) Ce volum de eșantion (fără revenire) garantează, în cel mai defavorabil caz \(p=1/2\), o marjă de eroare \(0.05\) cu probabilitatea aproximativă \(0.95\)?

Soluție
  1. Din Exemplul 4, \(\sigma^2=p(1-p)=0.21\), iar \(\hat p=\Xbar\). Cu revenire, \(\Var(\hat p)=0.21/150=0.0014\), deci abaterea standard este \(\sqrt{0.0014}\approx0.03742\). Fără revenire, factorul de corecție este \(\frac{N-n}{N-1}=\frac{1050}{1199}\approx0.8757\), deci \(\Var(\hat p)=0.0014\cdot0.8757\approx0.001226\) și \(\sqrt{\Var(\hat p)}\approx0.03501\): abaterea standard scade cu aproximativ \(6.4\%\) (\(f=12.5\%\), \(\sqrt{0.8757}\approx0.936\)).

Sondajul — rezolvare: aproximarea normală

Soluție
  1. Aproximarea normală. \(Y=150\hat p\) este o sumă de \(150\) de v.a. dependente, deci Teorema 64 din Cursul 1 nu se aplică direct. Admitem, fără demonstrație, o variantă a TLC pentru selecția fără revenire, datorată lui Hájek: pentru \(N\) și \(n\) mari și \(f\) nu prea aproape de \(1\), \((\hat p-p)/\sqrt{\Var(\hat p)}\) este aproximativ \(\Norm(0,1)\) (Rice 2007, sec. 7.3). Cu \(Z\sim\Norm(0,1)\) și \(\PP(|Z|\le z)=\Phi(z)-\Phi(-z)=2\Phi(z)-1\), \[ \PP(|\hat p-0.3|\le0.05)\approx2\Phi\Big(\frac{0.05}{0.03501}\Big)-1=2\Phi(1.428)-1\approx0.8467 . \]

Valoarea exactă. \(Y\sim\HGeom(1200,360,150)\) (sunt \(K=0.3\cdot1200=360\) de studenți care lucrează), iar \(|\hat p-0.3|\le0.05\iff|Y-45|\le7.5\iff38\le Y\le52\). Calculul în R dă \(\PP(38\le Y\le52)\approx0.8472\), foarte aproape de aproximare. (Capetele evenimentului \(\{|Y-45|\le7.5\}\) sunt deja la jumătatea distanței dintre două valori întregi, deci aproximarea normală include automat corecția de continuitate.)

Dacă am fi folosit formula i.i.d. (binomială), am fi obținut \(2\Phi(0.05/0.03742)-1\approx0.8186\) (exact binomial: \(\approx0.8189\)), subestimând probabilitatea.

Sondajul — rezolvare: volumul necesar

Soluție
  1. Marja de eroare (la probabilitatea aproximativă \(0.95\)) este \(z_{0.975}\sqrt{\Var(\hat p)}\). Cum \(p(1-p)\le\frac14\), cu egalitate pentru \(p=\frac12\), cerem \[ z_{0.975}\sqrt{\frac{1}{4n}\cdot\frac{N-n}{N-1}}\le0.05 . \] Notând \(n_0=z_{0.975}^2\cdot\frac14/0.05^2=\frac{1.959964^2}{4\cdot0.0025}\approx384.15\) (volumul necesar pentru o populație infinită), condiția devine \[ \frac{N-n}{n(N-1)}\le\frac{1}{n_0}\iff\frac Nn\le1+\frac{N-1}{n_0}\iff n\ge\frac{N\,n_0}{n_0+N-1}=\frac{1200\cdot384.15}{384.15+1199}\approx291.2 . \] Deci \(n=292\) (verificare: marja pentru \(n=292\) este \(\approx0.04991\le0.05\), iar pentru \(n=291\) este \(\approx0.05002>0.05\)). Corecția pentru populație finită reduce volumul necesar de la \(385\) la \(292\), o economie de aproape un sfert.

Sondajul — verificare în R

Calculele de la punctele (a), (b) și (c):

N <- 1200; n <- 150; p <- 0.3
v_cu <- p * (1 - p) / n; v_fara <- v_cu * (N - n) / (N - 1)
c(es_cu = sqrt(v_cu), es_fara = sqrt(v_fara),
  aprox_fara = 2 * pnorm(0.05 / sqrt(v_fara)) - 1,
  exact_fara = phyper(52, 360, 840, n) - phyper(37, 360, 840, n),
  aprox_cu = 2 * pnorm(0.05 / sqrt(v_cu)) - 1,
  exact_cu = pbinom(52, n, p) - pbinom(37, n, p))
n0 <- qnorm(0.975)^2 * 0.25 / 0.05^2
marja <- function(n) qnorm(0.975) * sqrt(0.25 / n * (N - n) / (N - 1))
c(n0 = n0, n_necesar = N * n0 / (n0 + N - 1),
  marja_291 = marja(291), marja_292 = marja(292))
#>      es_cu    es_fara aprox_fara exact_fara   aprox_cu   exact_cu 
#>    0.03742    0.03501    0.84670    0.84721    0.81855    0.81894 
#>        n0 n_necesar marja_291 marja_292 
#> 384.14588 291.17661   0.05002   0.04991

Timpi de funcționare cenzurați

Exercițiul 3 (Timpi de funcționare cenzurați)

Timpul de funcționare \(Y\) al unei componente are repartiția \(\Exp(1)\), dar observăm doar \(X=\min(Y,2)\). Determinați funcția de repartiție și funcția cuantilă ale lui \(X\), mediana și cuantila de ordin \(0.9\), și arătați că \(F_X(X)\) nu este uniformă.

Soluție

Funcția de repartiție. \(X=\min(Y,2)\) ia valori în \([0,2]\). Pentru \(x<0\), \(F_X(x)=0\). Pentru \(0\le x<2\), \(\min(Y,2)\le x\iff Y\le x\), deci \(F_X(x)=\PP(Y\le x)=1-e^{-x}\). Pentru \(x\ge2\), \(F_X(x)=1\). Funcția \(F_X\) are un salt în \(x_0=2\): \(F_X(2-)=1-e^{-2}\approx0.8647\) și \(F_X(2)=1\), adică \(\PP(X=2)=\PP(Y\ge2)=e^{-2}\approx0.1353\).

Funcția cuantilă. Fie \(u\in(0,1)\). Dacă \(u<1-e^{-2}\): pe \((0,2)\), \(F_X\) este continuă și strict crescătoare, iar ecuația \(1-e^{-x}=u\) are soluția \(x_u=-\ln(1-u)\in(0,2)\); pentru \(x<x_u\), \(F_X(x)<u\), deci \(F_X^{-1}(u)=-\ln(1-u)\). Dacă \(u=1-e^{-2}\): \(F_X(x)<u\) pentru orice \(x<2\) și \(F_X(2)=1\ge u\), deci \(F_X^{-1}(u)=2=-\ln(e^{-2})\). Dacă \(u\in(1-e^{-2},1)\), Corolarul 10(a), cu \(x_0=2\), dă \(F_X^{-1}(u)=2\); în acest caz \(-\ln(1-u)>2\).

Timpi cenzurați — rezolvare (continuare)

Soluție

În toate cazurile, \[ F_X^{-1}(u)=\min\big(-\ln(1-u),\,2\big),\qquad u\in(0,1): \] funcția cuantilă a lui \(\min(Y,2)\) este funcția cuantilă a lui \(Y\), trunchiată la \(2\).

Cuantile. Cum \(0.5<1-e^{-2}\), mediana este \(\mathrm{Me}=-\ln(1-0.5)=\ln2\approx0.693\) (aceeași ca pentru \(Y\)); cum \(0.9>1-e^{-2}\approx0.8647\), \(q_{0.9}=2\) (pentru \(Y\) ar fi fost \(-\ln0.1\approx2.303\)).

\(F_X(X)\) nu este uniformă. \(F_X(X)=1\) dacă și numai dacă \(X\ge2\), adică \(X=2\); deci \(\PP\big(F_X(X)=1\big)=e^{-2}>0\), pe când o variabilă uniformă ia orice valoare fixată cu probabilitatea \(0\). Este fenomenul din caseta de atenționare de după Teorema 12: \(F_X\) are un salt.

În schimb, punctul 1 al teoremei rămâne valabil: dacă \(U\sim\Unif(0,1)\), atunci \(\min\big(-\ln(1-U),2\big)\) are aceeași repartiție ca \(X\).

De reținut

De reținut
  • Populație finită: \(\mu=\frac1N\sum_ju_j\), \(\sigma^2=\frac1N\sum_j(u_j-\mu)^2\); valorile sunt fixe, aleatorismul provine din planul de selecție.
  • Selecție simplă cu revenire: \(X_i\) i.i.d., \(\Var(\Xbar)=\sigma^2/n\), \(\E[S_n^2]=\sigma^2\). Fără revenire: \(\Cov(X_i,X_j)=-\frac{\sigma^2}{N-1}\), \(\Var(\Xbar)=\frac{\sigma^2}{n}\cdot\frac{N-n}{N-1}\), \(\E[S_n^2]=\frac{N}{N-1}\sigma^2\), \(\widehat{\Var}(\Xbar)=(1-f)\frac{S_n^2}{n}\), \(f=\frac nN\); pentru proporții, repartiția hipergeometrică.
  • Alte planuri de selecție (doar ca idee): selecția stratificată, cu estimatorul \(\sum_hW_h\bar X_h\) și cu alocarea proporțională sau alocarea Neyman; selecția sistematică; selecția pe grupuri.
  • Funcția cuantilă \(F^{-1}(u)=\inf\{x:F(x)\ge u\}\); lema fundamentală \(F^{-1}(u)\le x\iff u\le F(x)\); \(F^{-1}\) crescătoare și continuă la stânga; \(F(F^{-1}(u))\ge u\) (egalitate pentru \(F\) continuă), \(F^{-1}(F(x))\le x\); salturile lui \(F\) devin paliere ale lui \(F^{-1}\) și invers.

De reținut (continuare)

De reținut (continuare)
  • Exemple: \(F^{-1}(u)=-\frac1\lambda\ln(1-u)\) pentru \(\Exp(\lambda)\); \(F^{-1}(u)=\tan\big(\pi(u-\frac12)\big)\) pentru \(\Cauchy(0,1)\); \(F^{-1}(u)=x_k\) pentru \(s_{k-1}<u\le s_k\) în cazul discret.
  • Universalitatea uniformei: \(F^{-1}(U)\sim F\) pentru orice \(F\); \(F(X)\sim\Unif(0,1)\) dacă și numai dacă \(F\) este continuă.
  • Existență: pe \(\big([0,1),\B([0,1)),\lambda\big)\) există șiruri de v.a. independente cu orice repartiții \(\mu_n\): Bernoulli (subdiviziuni; cifrele binare pentru \(p=\frac12\)) \(\to\) \(U_n=\sum_kX_{n,k}2^{-k}\sim\Unif(0,1)\) (tabloul cu o infinitate de linii și asociativitatea independenței) \(\to\) \(X_n=F_n^{-1}(U_n)\).
  • R: sample(x, n, replace = ...), combn, phyper, findInterval, q+nume pentru funcțiile cuantilă.

Legătura cu cursurile următoare

  • Pasul 3 al teoremei de existență devine, în Cursul 4, metoda inversă de simulare: pornind de la numere pseudo-aleatoare care imită un șir i.i.d. \(\Unif(0,1)\), obținem eșantioane din orice repartiție a cărei funcție cuantilă o putem calcula; când \(F^{-1}\) nu este explicită, vom folosi metoda respingerii.
  • În Cursul 6, proprietățile funcției cuantilă și universalitatea uniformei vor reduce studiul statisticilor de ordine ale unui eșantion oarecare la cazul uniform, iar cuantilele empirice vor fi valorile funcției cuantilă a funcției de repartiție empirice.
  • Faptul că \(F(X)\sim\Unif(0,1)\) pentru \(F\) continuă stă la baza construcției intervalelor de încredere prin metoda pivotului (Cursul 12) și a uniformității \(p\)-valorii (Cursul 14).
  • Formulele pentru selecția cu și fără revenire sunt aplicate și simulate în Seminarul 3, iar funcția cuantilă și metoda inversă, în Seminarul 4.

Bibliografie

Billingsley, Patrick. 1995. Probability and Measure. 3rd ed. Wiley.
Dalang, Robert C., and Daniel Conus. 2018. Introduction à La Théorie Des Probabilités. 2nd ed. Presses polytechniques et universitaires romandes.
Durrett, Rick. 2019. Probability: Theory and Examples. 5th ed. Cambridge University Press.
Jacod, Jean, and Philip Protter. 2004. Probability Essentials. 2nd ed. Springer.
Knight, Keith. 2000. Mathematical Statistics. Texts in Statistical Science. Chapman & Hall/CRC.
Kupper, Lawrence L., Brian H. Neelon, and Sean M. O’Brien. 2013. Exercises and Solutions in Statistical Theory. Chapman & Hall/CRC.
Panaretos, Victor M. 2016. Statistique Pour Mathématiciens. Presses polytechniques et universitaires romandes.
Resnick, Sidney I. 1999. A Probability Path. Birkhäuser.
Rice, John A. 2007. Mathematical Statistics and Data Analysis. 3rd ed. Duxbury Press.