Seminarul 5. Metoda respingerii. Simulare prin transformări

Fișă de lucru (fără rezolvări)

Slide-urile ședinței 5
Deschide slide-urile pe tot ecranul În prezentare: ← → navigare, F ecran complet, M meniu, O privire de ansamblu.

Aceasta este fișa de lucru: enunțurile, exemplele rezolvate, scheletele de cod R și răspunsurile finale pentru exercițiile marcate „Dacă timpul permite” și „Pentru acasă”. Rezolvările complete vor fi publicate ulterior.

Planul seminarului și laboratorului

Ședința continuă simularea începută în Seminarul 4. Acolo am folosit metoda inversă, care cere o funcție cuantilă explicită; azi exersăm cele două metode din a doua parte a Cursul 4 care ocolesc această cerință. Metoda respingerii produce observații dintr-o repartiție condiționată (uniforma pe o mulțime, o repartiție trunchiată) sau dintr-o densitate cunoscută, eventual doar până la o constantă multiplicativă. Simularea prin transformări obține variabila dorită ca funcție de variabile pe care știm deja să le simulăm; repartiția ei se calculează cu Teorema schimbării de variabilă din Cursul 1, iar independența componentelor se citește din forma densității comune (criteriul de factorizare). Fiecare exercițiu are o rezolvare matematică (Seminar) și una în R (Laborator); funcțiile R scrise pe parcurs (repartiția condiționată, distanța Kolmogorov, generatorul Box–Muller) sunt refolosite de la un exercițiu la altul. Formula schimbării de variabilă și factorizarea vor fi folosite din nou în Cursul 5 și Seminarul 7, pentru eșantioanele din populații normale.

Obiective. La sfârșitul ședinței studentul trebuie să poată:

  1. alege, pentru o densitate țintă dată, o propunere potrivită, verifica mărginirea raportului \(f/g\), calcula constanta optimă \(c^*=\sup f/g\) prin studiul unei funcții de o variabilă, simplifica condiția de acceptare și evalua costul (\(T\sim\Geom(1/c)\)), inclusiv optimizând după parametrul propunerii;
  2. recunoaște în metoda respingerii simularea unei repartiții condiționate și simula uniforma pe o mulțime și repartiții trunchiate;
  3. calcula densitatea unei transformări de vectori aleatori (inversa, iacobianul, imaginea, variabila auxiliară, transformări injective pe bucăți) și deduce din ea repartițiile marginale și independența (prin factorizare);
  4. demonstra metoda Box–Muller, metoda polară și reprezentarea repartiției Cauchy ca raport de normale și construi, doar din uniforme, generatoare pentru repartițiile \(\chi^2\), Student, Fisher–Snedecor și Cauchy;
  5. implementa vectorizat în R funcții generale (repartiția condiționată, metoda respingerii) și verifica numeric un generator: rata de acceptare, momente, cuantile, distanța Kolmogorov, grafice cuantilă–cuantilă.

Structura. Breviar; alegerea propunerii și a constantei; uniforma pe o mulțime și repartiții condiționate; transformări de vectori aleatori; metoda Box–Muller și raportul a două normale; exerciții suplimentare; temă. Pentru lecturi suplimentare: (Casella and Berger 2002, sec. 5.6), (Robert and Casella 2004, cap. 2), (Devroye 1986, cap. II).

Planul ședinței

De rezolvat la seminar (în această ordine):

  1. Exercițiul 1, punctele (a)–(c) și (e), fără minimul lui \(c(b)\) — constanta optimă, condiția de acceptare și costul pentru două propuneri; în R, cele două variante și efectul unei constante prea mici;
  2. Exercițiul 4 — respingerea ca simulare a unei repartiții condiționate, coordonatele polare; în R, algoritmul secvențial și funcția resp_conditionat;
  3. Exercițiul 6, punctele (a)–(c) și (e) — schimbarea de variabilă, marginalele, factorizarea și algoritmul de simulare;
  4. Exercițiul 9, punctele (a), (b) și (d), fără metoda polară — metoda Box–Muller prin iacobian; în R, generatoare numai din uniforme.

Dacă timpul permite:

  • Exercițiul 3 — propunere cu parametru pentru o țintă cu suport nemărginit; funcțiile generale respingere și dist_ks;
  • Exercițiul 8 — schimbarea de variabilă pe bucăți;
  • Exercițiul 10 — raportul a două normale și repartiția Cauchy.

Pentru acasă:

  • subpunctele rămase ale exercițiilor de la seminar: Exercițiul 1(d) și minimul lui \(c(b)\) de la (e), Exercițiul 6(d), Exercițiul 9(c) și metoda polară de la (d);
  • Exercițiile 2, 5 și 7;
  • exercițiile suplimentare 11, 12 și 13;
  • tema din Secțiunea 7.

Rezolvările complete vor fi publicate ulterior. Exercițiile marcate „Dacă timpul permite” și „Pentru acasă” au răspunsurile finale imediat după enunț; scheletele de cod R se completează în locurile marcate cu ___.

1 Breviar

În toată nota, \(U,U_1,U_2,\dots\) sunt variabile aleatoare independente, repartizate \(\Unif(0,1)\); \(\phi\) și \(\Phi\) sunt densitatea și funcția de repartiție ale repartiției \(\Norm(0,1)\); \(\lambda_d\) este măsura Lebesgue (lungime, arie, volum) pe \(\R^d\). Repartiția \(\GammaD(\alpha,\lambda)\) are densitatea \(\frac{\lambda^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\lambda x}\), \(x>0\) (\(\lambda\) este parametrul de rată), iar \(\Geom(p)\) este repartiția numărului de încercări până la primul succes. Folosim rezultatele din a doua parte a Cursul 4 (Secțiunile 4 din Cursul 4 și 5 din Cursul 4) și Teorema schimbării de variabilă din Cursul 1; la fiecare pas al rezolvărilor indicăm rezultatul aplicat.

Rezultate din curs folosite azi
  • Repartiția geometrică (tabelul repartițiilor discrete din Cursul 1, Exemplul 23 din Cursul 1): pentru \(T\sim\Geom(p)\), \(\PP(T=k)=(1-p)^{k-1}p\), \(k\ge1\), \(\E[T]=\frac1p\), \(\Var(T)=\frac{1-p}{p^2}\) și \(\PP(T>k)=(1-p)^k\), \(k\ge0\) (primele \(k\) încercări, independente, sunt eșecuri).
  • Repartiția condiționată prin respingere (Teorema 5 din Cursul 4 și observația care o urmează): dacă \(M_1,M_2,\dots\) sunt vectori aleatori independenți cu repartiția \(\mu\), \(\mu(B)>0\) și \(T=\inf\{n\ge1:M_n\in B\}\), atunci \(T\sim\Geom(\mu(B))\), iar \(M_T\) are repartiția condiționată \(\mu(\cdot\mid B)=\frac{\mu(\cdot\,\cap B)}{\mu(B)}\) și este independent de \(T\). Un punct uniform în dreptunghiul \(\prod_k[a_k,b_k]\) are coordonatele \(a_k+(b_k-a_k)U_k\) (Propoziția 4 din Cursul 4); dacă \(B\subseteq C\) și \(M_n\sim\Unif(C)\), atunci \(M_T\sim\Unif(B)\), iar probabilitatea de acceptare este \(\lambda_d(B)/\lambda_d(C)\) (Corolarul 6 din Cursul 4).
  • Metoda respingerii (Teorema 9 din Cursul 4): dacă \(f\le cg\) (deci, în mod necesar, \(c\ge1\)), generăm \(X\sim g\) și \(U\sim\Unif(0,1)\) independente până când \(U\le\frac{f(X)}{c\,g(X)}\); valoarea acceptată are densitatea \(f\), iar numărul de propuneri este \(\Geom(1/c)\), cu media \(c\). Constanta optimă este \(c^*=\sup_x\frac{f(x)}{g(x)}\), finită doar dacă propunerea are cozi cel puțin la fel de grele ca ținta. Geometric: punctul \((X,cg(X)U)\) este uniform sub graficul lui \(cg\) (Propoziția 8 din Cursul 4), iar abscisa unui punct uniform sub graficul lui \(f\) are densitatea \(f\) (Propoziția 7 din Cursul 4). Dacă \(f=\tilde f/K\), cu \(K\) necunoscut, și \(\tilde f\le Mg\), condiția de acceptare este \(U\le\frac{\tilde f(X)}{Mg(X)}\), iar probabilitatea de acceptare este \(K/M\) (observația care urmează teoremei). Dacă inegalitatea \(f\le cg\) nu are loc, algoritmul produce densitatea proporțională cu \(\min(f,cg)\) (caseta de atenție de la sfârșitul Secțiunii 4.2 din Cursul 4).
  • Schimbarea de variabilă (Teorema 52 din Cursul 1): fie \(X\) un vector cu densitatea \(f_X\), \(S\) deschisă cu \(\PP(X\in S)=1\) și \(h:S\to\R^d\) injectivă, de clasă \(C^1\), cu iacobianul \(J_h\ne0\) pe \(S\). Atunci \(Y=h(X)\) are densitatea \[ f_Y(y)=f_X\big(h^{-1}(y)\big)\,\big|J_{h^{-1}}(y)\big|\,\Ind_{h(S)}(y),\qquad J_{h^{-1}}(y)=\frac{1}{J_h\big(h^{-1}(y)\big)} . \] Dacă \(h\) este injectivă doar pe fiecare dintre mulțimile deschise disjuncte \(S_1,\dots,S_m\), se adună contribuțiile lor (Teorema 54 din Cursul 1). Pentru o singură funcție \(Z=\varphi(X_1,X_2)\) completăm cu o variabilă auxiliară și o integrăm apoi (Propoziția 36 din Cursul 1). Cazuri particulare: \(Y=AX+b\) are densitatea \(\frac{1}{|\det A|}f_X\big(A^{-1}(y-b)\big)\) (Corolarul 53 din Cursul 1); coordonatele polare \((R,\Theta)\) ale unui vector \((X,Y)\) cu densitatea \(f\) au densitatea \(r\,f(r\cos\theta,r\sin\theta)\) pe \((0,\infty)\times(0,2\pi)\) (Exemplul 41 din Cursul 1); \(f_{X+Y}(z)=\int f(x,z-x)\dd x\) și \(f_{X/Y}(z)=\int|y|\,f(zy,y)\dd y\) (Propoziția 50 din Cursul 1).
  • Factorizarea (Lema 10 din Cursul 4): dacă \(f_{(U,V)}(u,v)=a(u)\,b(v)\) pentru orice \((u,v)\), atunci \(U\) și \(V\) sunt independenți, cu densități proporționale cu \(a\), respectiv \(b\).
  • Transformări uzuale (Secțiunea 5 din Cursul 4): Box–Muller (Teorema 11 din Cursul 4): \(\sqrt{-2\ln U_2}\,\big(\cos(2\pi U_1),\sin(2\pi U_1)\big)\) are componentele independente, \(\Norm(0,1)\); \(-\frac1\lambda\ln(U_1\cdots U_n)\sim\GammaD(n,\lambda)\) și \(Z_1^2+\dots+Z_k^2\sim\chi^2_k=\GammaD(\frac k2,\frac12)\) (Propoziția 12 din Cursul 4); \(\tan\big(\pi(U-\frac12)\big)\sim\Cauchy(0,1)\) (Exemplul 8 din Cursul 4), iar raportul a două normale standard independente are repartiția \(\Cauchy(0,1)\) (Exemplul 38 din Cursul 1).

Instrumentele R din seminarele anterioare (vectori, funcții proprii, sapply, replicate, mean(conditie), familiile d/p/q/r, integrate, findInterval) sunt completate astăzi de bucle, de câteva funcții pentru lucrul cu poziții și matrice și de funcțiile generale scrise pe parcursul ședinței.

Instrumente R folosite azi
  • x[acc], cu acc un vector logic — păstrează valorile acceptate (respingerea vectorizată: generăm dinainte un lot de propuneri); mean(acc) este rata de acceptare observată.
  • repeat { ... } și while (cond) { ... } — bucle (algoritmul secvențial; generarea în loturi până la volumul dorit); return(...) iese din funcție.
  • which(v) — pozițiile valorilor TRUE; diff(c(0, poz)) — diferențele dintre poziții consecutive; rbind, t(replicate(n, expr)) — rezultate așezate pe linii.
  • optimize(f, interval) — minimul unei funcții de o variabilă ($minimum este punctul, $objective valoarea).
  • pmin, pmax — minimul, respectiv maximul, componentă cu componentă; rowSums(M) — sumele pe linii; tabulate(x, k) — frecvențele valorilor \(1,\dots,k\); rbinom(n, size, p) acceptă un vector size.
  • cor(x, y) — coeficientul de corelație empiric (o corelație nulă este un indiciu, nu o dovadă, de independență); quantile(x, p) — cuantilele empirice.
  • structure(x, rata = r) atașează vectorului x atributul rata, citit apoi cu attr(x, "rata").
  • Funcții scrise azi: resp_conditionat (Exercițiul 4); respingere și dist_ks (Exercițiul 3; dist_ks este cea din Exercițiul 5 din Seminarul 4); box_muller (Secțiunea 5.2 din Cursul 4), marsaglia, r_chisq, r_t, r_f, r_cauchy (Exercițiul 9).

2 Alegerea propunerii și a constantei

Pentru metoda respingerii urmăm, în toate exercițiile, aceeași schemă de lucru în patru pași:

  1. verificăm că raportul \(f/g\) este mărginit: propunerea are cozi cel puțin la fel de grele ca ținta, iar acolo unde \(f\) explodează explodează și \(g\);
  2. calculăm \(c^*=\sup f/g\), de obicei studiind semnul derivatei logaritmului raportului (\(\ln\) fiind strict crescătoare, raportul și logaritmul lui au aceleași puncte de maxim);
  3. simplificăm condiția de acceptare \(U\le f(X)/(c^*g(X))\): constantele de normalizare se simplifică;
  4. evaluăm costul: numărul de propuneri este \(\Geom(1/c^*)\), cu media \(c^*\), iar fiecare propunere consumă cel puțin două uniforme.

Exemplul rezolvat de mai jos parcurge cei patru pași pe cazul cel mai simplu, o densitate polinomială pe \((0,1)\) cu propunere uniformă.

Exemplul 1 (Respingerea pentru densitatea \(6x(1-x)\))

Fie \(f(x)=6x(1-x)\), \(0<x<1\) (densitatea repartiției \(\BetaD(2,2)\)), și propunerea \(g=\Ind_{(0,1)}\). Funcția de repartiție \(F(x)=3x^2-2x^3\) nu se inversează simplu (ecuația \(F(x)=u\) este de gradul trei), deci folosim metoda respingerii.

Seminar Pasul 1: raportul. Pe \((0,1)\), \(\frac{f(x)}{g(x)}=6x(1-x)\), o funcție continuă pe \([0,1]\), deci mărginită: propunerea uniformă este admisibilă (ținta are același suport mărginit și nu explodează).

Pasul 2: constanta. Derivata \(\frac{\dd}{\dd x}6x(1-x)=6(1-2x)\) este pozitivă pe \((0,\frac12)\) și negativă pe \((\frac12,1)\), deci maximul se atinge în \(x=\frac12\): \(c^*=6\cdot\frac12\cdot\frac12=\frac32\). Geometric, subgraficul lui \(c^*g\) este dreptunghiul \([0,1]\times[0,\frac32]\), de arie \(\frac32\), iar subgraficul lui \(f\) are aria \(1\).

Pasul 3: condiția de acceptare. \(U\le\frac{f(X)}{c^*g(X)}=\frac{6X(1-X)}{3/2}=4X(1-X)\). De exemplu, perechea \((x,u)=(0.10,\,0.50)\) este respinsă, deoarece \(4\cdot0.1\cdot0.9=0.36<0.5\), iar perechea \((0.62,\,0.71)\) este acceptată, deoarece \(4\cdot0.62\cdot0.38\approx0.942\ge0.71\); dacă acestea sunt primele două propuneri, algoritmul întoarce \(Z=0.62\) după \(T=2\) încercări.

Pasul 4: costul. Din Teorema 9 din Cursul 4, probabilitatea de acceptare este \(\frac1{c^*}=\frac23\), iar \(T\sim\Geom(\frac23)\), cu \(\E[T]=\frac32\); fiecare propunere consumă două uniforme, deci o observație costă în medie \(2\cdot\frac32=3\) uniforme. Valoarea acceptată are densitatea \(f\), deci media \(\frac12\) (simetria față de \(\frac12\)) și varianța \(\int_0^1x^2\cdot6x(1-x)\dd x-\frac14=6\big(\frac14-\frac15\big)-\frac14=\frac3{10}-\frac14=\frac1{20}\).

Laborator Generăm dinainte \(m=10^5\) perechi \((X,U)\), păstrăm valorile \(X\) pentru care \(U\le4X(1-X)\) și comparăm proporția acceptată cu \(\frac23\), apoi media și varianța valorilor acceptate cu \(\frac12\) și \(\frac1{20}\).

set.seed(500)
m <- 1e5
x <- runif(m); u <- runif(m)                 # m propuneri (X, U)
z <- x[u <= 4 * x * (1 - x)]                 # valorile acceptate
c(acceptare = length(z) / m, teoretic = 2 / 3,
  media = mean(z), varianta = var(z), var_teor = 1 / 20)
#> acceptare  teoretic     media  varianta  var_teor 
#>   0.66867   0.66667   0.49938   0.05002   0.05000

Au fost acceptate \(66.9\%\) dintre propuneri (față de \(\frac23\approx66.7\%\)), iar valorile acceptate au media \(0.4994\) și varianța \(0.0500\), valorile repartiției \(\BetaD(2,2)\). Volumul eșantionului obținut este aleator (\(\approx\frac23m\)); pentru un volum fix generăm loturi până îl atingem (Exercițiul 3).

Primul exercițiu compară două propuneri pentru aceeași țintă și arată cum se optimizează după parametrul unei familii de propuneri.

Exercițiul 1 (Repartiția Beta(2,4): două propuneri)

La seminar Fie \(f(x)=20x(1-x)^3\), \(0<x<1\), densitatea repartiției \(\BetaD(2,4)\).

  1. Verificați că \(f\) este o densitate. Folosind propunerea \(\Unif(0,1)\), determinați constanta optimă \(c_1\), condiția de acceptare și probabilitatea de acceptare.

  2. Refaceți (a) pentru propunerea \(g(x)=2(1-x)\), \(0<x<1\) (repartiția \(\BetaD(1,2)\)), după ce ați arătat că ea se simulează prin \(X=1-\sqrt U\).

  3. Pentru fiecare variantă, dați repartiția numărului \(T\) de propuneri necesare pentru o observație, \(\E[T]\), \(\Var(T)\), \(\PP(T>3)\) și numărul mediu de uniforme consumate.

  4. Pentru întreaga familie de propuneri \(\BetaD(1,b)\), \(b>0\), cu densitatea \(g_b(x)=b(1-x)^{b-1}\), determinați pentru ce \(b\) raportul \(f/g_b\) este mărginit și calculați constanta optimă \(c(b)\). Este \(b=2\) o alegere bună?

  5. În R: simulați ambele variante și verificați (a)–(c); determinați numeric minimul lui \(c(b)\). Ce se întâmplă dacă, din greșeală, folosim propunerea uniformă cu constanta \(c=1.5<c_1\)?

Laborator Schelet de cod pentru (e) — completați locurile marcate cu ___:

set.seed(501)
m <- 1e5
x1 <- runif(m)                              # propunere U(0,1)
a1 <- runif(m) <= ___                       # condiția de la (a)
x2 <- ___                                   # propunerea Beta(1,2) de la (b)
a2 <- runif(m) <= ___                       # condiția de la (b)
rbind(uniforma = c(acceptare = mean(a1), teoretic = ___,
                   media = mean(x1[a1]), var = var(x1[a1])),
      beta12   = c(mean(a2), ___, mean(x2[a2]), var(x2[a2])),
      tinta    = c(NA, NA, 1 / 3, 2 * 4 / (36 * 7)))
cb <- function(b) ___                       # c(b), formula de la (d)
c(c1 = cb(1), c2 = cb(2), unlist(optimize(cb, c(0.01, 3.99))))

Laborator Schelet de cod pentru (e), constanta prea mică \(c=1.5\) — completați locurile marcate cu ___:

set.seed(530)
x <- runif(1e5); u <- runif(1e5)
acc <- u <= ___                             # condiția cu c = 1.5 (greșit!)
fm <- function(x) ___                   # densitatea nenormalizată min(f, c g)
c(rata = mean(acc), inv_c = 1 / 1.5, media = mean(x[acc]),
  teor_gresit = integrate(function(x) x * fm(x), 0, 1)$value /
    integrate(fm, 0, 1)$value, corect = 1 / 3)

Exercițiul următor arată că în spatele condiției de acceptare se poate ascunde o figură geometrică simplă și că, uneori, o transformare potrivită face respingerea inutilă.

Exercițiul 2 (Repartiția triunghiulară și repartiția semicirculară)

Pentru acasă Fie \(f_1(x)=(1-|x|)^+\) (densitatea triunghiulară) și \(f_2(x)=\frac2\pi\sqrt{1-x^2}\,\Ind_{[-1,1]}(x)\) (densitatea semicirculară a lui Wigner).

  1. Verificați că \(f_1\) și \(f_2\) sunt densități. Pentru propunerea \(\Unif(-1,1)\), determinați constantele optime, condițiile de acceptare, probabilitățile de acceptare și numărul mediu de uniforme consumate pentru o observație.

  2. Arătați că, pentru \(f_2\), condiția de acceptare spune că punctul \((X,U)\) cade în semidiscul unitate superior. Deduceți că \(f_2\) este densitatea abscisei unui punct uniform pe discul unitate și găsiți o metodă de simulare fără respingere.

  3. Dați o metodă exactă, cu exact două uniforme pe observație, pentru \(f_1\). Calculați varianțele și \(\PP(|X|>\frac12)\) pentru cele două repartiții și verificați în R.

Laborator Schelet de cod pentru (c) — completați locurile marcate cu ___:

set.seed(502)
m <- 1e5
x <- 2 * runif(m) - 1; u <- runif(m)        # m propuneri (X, U)
tri_resp <- x[___]                          # condiția de la (a), pentru f_1
sem_resp <- x[___]                          # condiția de la (a), pentru f_2
tri_sum  <- ___                             # metoda exactă de la (c)
sem_pol  <- ___                             # metoda fără respingere, (b)
st <- function(z) c(var = var(z), P_mare = mean(abs(z) > 0.5))
rbind(tri_resp = c(acc = length(tri_resp) / m, st(tri_resp)),
      tri_sum = c(1, st(tri_sum)), tri_teor = c(1 / 2, ___, ___),
      sem_resp = c(length(sem_resp) / m, st(sem_resp)),
      sem_pol = c(1, st(sem_pol)), sem_teor = c(pi / 4, ___, ___))
Răspunsuri
  • (a) \(c_1=2\), acceptăm dacă \(U\le1-|X|\), cu probabilitatea \(\frac12\) și \(4\) uniforme pe observație; \(c_2=\frac4\pi\), acceptăm dacă \(U\le\sqrt{1-X^2}\), cu probabilitatea \(\frac\pi4\approx0.785\) și \(\frac8\pi\approx2.55\) uniforme pe observație.
  • (b) \(X=\sqrt{U_1}\cos(2\pi U_2)\) are densitatea \(f_2\).
  • (c) \(X=U_1+U_2-1\) are densitatea triunghiulară \(f_1\); triunghiulara: \(\Var(X)=\frac16\), \(\PP(|X|>\frac12)=\frac14\); semicirculara: \(\Var(X)=\frac14\), \(\PP(|X|>\frac12)=\frac23-\frac{\sqrt3}{2\pi}\approx0.391\).

În exercițiul următor ținta are suport nemărginit, iar propunerea depinde de un parametru; constanta optimă se obține în doi pași: întâi supremumul în \(x\), apoi minimul în parametru.

Exercițiul 3 (Repartiția Gamma cu propunere exponențială)

Dacă timpul permite Fie \(a>1\) și \(f(x)=\frac{x^{a-1}e^{-x}}{\Gamma(a)}\), \(x>0\), densitatea \(\GammaD(a,1)\) (pentru \(a\) neîntreg, metoda sumei de exponențiale din Propoziția 12 din Cursul 4 nu se aplică). Folosim propunerea \(g_\lambda(x)=\lambda e^{-\lambda x}\), \(x>0\).

  1. Arătați că pentru \(\lambda\ge1\) raportul \(f/g_\lambda\) este nemărginit. De ce nu funcționează această propunere nici pentru \(a<1\)?

  2. Pentru \(0<\lambda<1\), calculați \(c(\lambda)=\sup_xf(x)/g_\lambda(x)\), arătați că \(c(\lambda)\) este minimă pentru \(\lambda^*=\frac1a\) și simplificați condiția de acceptare.

  3. Aplicație numerică: \(a=2.5\). Calculați \(c^*\) și probabilitatea de acceptare și comparați cu \(\lambda=0.2\) și \(\lambda=0.6\).

  4. Folosind formula lui Stirling, \(\Gamma(a)\sim\sqrt{2\pi}\,a^{a-1/2}e^{-a}\) (\(a\to\infty\)), studiați comportarea lui \(c^*\) pentru \(a\to\infty\).

  5. În R: verificați (c) și (d) prin simulare. Scrieți apoi o funcție generală pentru metoda respingerii, care întoarce un eșantion de volum dat, și verificați-o, cu distanța Kolmogorov, pe țintele din Exercițiile 1, 2 și din acest exercițiu și pe repartiția normală cu propunere Laplace.

Laborator Schelet de cod pentru (e), verificarea lui (c) și (d) — completați locurile marcate cu ___:

cst <- function(a) ___                      # c* = c(1/a), de la (b)
cl <- function(l, a = 2.5)                  # c(lambda), de la (b)
  ___
set.seed(503)
a <- 2.5; m <- 1e5
x <- ___                                    # propunerea Exp(1/a)
acc <- runif(m) <= ___                      # condiția de la (b)
round(c(c_opt = cst(2.5), c_02 = cl(0.2), c_06 = cl(0.6),
        c_a100 = cst(100), stirling = ___,  # (d)
        acceptare = mean(acc), media = mean(x[acc]), var = var(x[acc])), 3)

Laborator Schelet de cod pentru (e), funcția generală respingere — completați locurile marcate cu ___:

respingere <- function(n, f, rg, dg, c) {
  out <- numeric(0); nprop <- 0; nacc <- 0
  while (length(out) < n) {
    m <- ceiling(1.1 * c * (n - length(out))) + 20  # lot cu marjă
    x <- ___                                # m propuneri din g
    acc <- ___                              # U c g(X) <= f(X)
    out <- c(out, x[acc]); nprop <- nprop + m; nacc <- nacc + sum(acc)
  }
  structure(out[1:n], rata = ___)           # rata observată
}

Laborator Schelet de cod pentru (e), distanța Kolmogorov — completați locurile marcate cu ___:

dist_ks <- function(x, F, ...) {           # sup_x |F_n(x) - F(x)|, F continuă
  n <- length(x); Fx <- F(sort(x), ...)
  max(pmax(___, ___))                       # formula lui D_n
}
set.seed(515)
c(corect = sqrt(1e4) * dist_ks(rnorm(1e4), pnorm),
  gresit = sqrt(1e4) * dist_ks(rnorm(1e4, sd = 1.1), pnorm))

Laborator Schelet de cod pentru (e), două dintre ținte (celelalte două se adaugă analog) — completați locurile marcate cu ___:

tinte <- list(                 # f, rg, dg, c, F (+ Gamma25, semicerc: analog)
  normala = list(f = dnorm,
    rg = function(m) rexp(m) * sample(c(-1, 1), m, replace = TRUE),
    dg = ___, c = ___, F = pnorm),          # Laplace, c
  Beta24 = list(f = function(x) dbeta(x, 2, 4), rg = ___,
    dg = ___, c = ___, F = function(x) pbeta(x, 2, 4)))
set.seed(513); n <- 2e4
sim <- lapply(tinte, function(t) ___)       # apelul lui respingere
round(t(sapply(names(tinte), function(nm) {
  t <- tinte[[nm]]; x <- sim[[nm]]
  c(rata = attr(x, "rata"), inv_c = 1 / t$c, media = mean(x),
    var = var(x), sqrt_n_Dn = sqrt(n) * dist_ks(x, t$F)) })), 4)
Răspunsuri
  • (a) Pentru \(\lambda\ge1\), coada \(e^{-\lambda x}\) a propunerii este prea subțire față de coada \(x^{a-1}e^{-x}\) a țintei, deci raportul este nemărginit; pentru \(a<1\), raportul tinde la \(\infty\) când \(x\searrow0\), oricare ar fi \(\lambda\).
  • (b) \(X=-a\ln U_1\) (metoda inversă pentru \(\Exp(1/a)\), Exemplul 7 din Cursul 4); acceptăm dacă \(U_2\le\big(\frac Xa\,e^{1-X/a}\big)^{a-1}\), cu \(c^*=\frac{a^ae^{-(a-1)}}{\Gamma(a)}\).
  • (c) \(c^*\approx1.659\), cu probabilitatea de acceptare \(\approx0.603\); \(c(0.2)\approx2.155\) și \(c(0.6)\approx2.032\).
  • (d) \(c^*\sim e\sqrt{a/(2\pi)}\to\infty\); de exemplu, pentru \(a=100\), \(c^*\approx10.84\).
  • (e) Toate cele patru generatoare trec verificarea.

3 Uniforma pe o mulțime și repartiții condiționate

Teorema 5 din Cursul 4 spune că respingerea simulează o repartiție condiționată: propunem din repartiția \(\mu\) și păstrăm prima propunere care cade în mulțimea \(B\). În primul exercițiu o aplicăm uniformei pe o coroană circulară, o comparăm cu o metodă directă, obținută prin coordonate polare, și scriem în R o funcție generală pentru repartiția condiționată. În al doilea o aplicăm unei repartiții discrete trunchiate, combinată cu o simulare ierarhică.

Exercițiul 4 (Uniforma pe o coroană circulară)

La seminar Fie coroana circulară \(B=\{(x,y):1\le x^2+y^2\le4\}\) și pătratul \(C=[-2,2]^2\).

  1. Descrieți algoritmul de respingere pentru \(\Unif(B)\) pornind de la \(\Unif(C)\) și calculați probabilitatea de acceptare, \(\E[T]\), \(\Var(T)\), \(\PP(T\ge3)\) și numărul mediu de uniforme pe punct.

  2. Fie \((X,Y)\sim\Unif(B)\) și \((R,\Theta)\) coordonatele sale polare. Determinați densitatea lui \((R,\Theta)\), arătați că \(R\) și \(\Theta\) sunt independente și deduceți o metodă de simulare fără respingere.

  3. Calculați \(\E[X^2+Y^2]\) și \(\PP(X^2+Y^2\le2.25)\) și comparați cu valorile date de metoda greșită „\(R\sim\Unif(1,2)\), \(\Theta\sim\Unif(0,2\pi)\) independente”.

  4. În R: implementați algoritmul de la (a), întâi secvențial, apoi printr-o funcție vectorizată care simulează repartiția condiționată pentru o mulțime oarecare; verificați (a)–(c) și independența dintre punctul acceptat și numărul de încercări.

Laborator Schelet de cod pentru (d), algoritmul secvențial — completați locurile marcate cu ___:

un_punct_coroana <- function() {
  T <- 0
  repeat {
    T <- T + 1                              # încă o încercare
    v <- ___                                # punct uniform în pătrat
    r2 <- sum(v^2)
    if (___) return(c(x = v[1], y = v[2], T = T))  # în B?
  }
}
set.seed(510)
pct <- t(replicate(2000, un_punct_coroana()))  # 2000 de puncte, pe linii
c(media_T = mean(pct[, "T"]), teoretic = ___)

Laborator Schelet de cod pentru (d), funcția vectorizată resp_conditionat — completați locurile marcate cu ___:

resp_conditionat <- function(n, gen, in_B) {
  x <- NULL; T <- integer(0); rest <- 0L
  while (length(T) < n) {
    m <- 2L * (n - length(T)) + 100L        # mărimea lotului de propuneri
    y <- gen(m); poz <- ___                 # pozițiile acceptate
    if (length(poz) > 0) {                  # T = diferențele dintre poziții
      T <- c(T, ___ + c(rest, integer(length(poz) - 1)))
      x <- rbind(x, y[poz, , drop = FALSE]); rest <- ___  # respinse
    } else rest <- rest + m
  }
  list(x = x[1:n, , drop = FALSE], T = T[1:n])
}

Laborator Schelet de cod pentru (d), verificarea lui (a)–(c) și a independenței — completați locurile marcate cu ___:

gen_patrat <- function(m) ___               # m puncte în C
in_coroana <- function(y) { r2 <- rowSums(y^2); ___ }  # linii în B
set.seed(514)
rc <- resp_conditionat(1e4, gen_patrat, in_coroana)
p <- 3 * pi / 16; R2 <- rowSums(rc$x^2)
rbind(simulat = c(E_T = mean(rc$T), Var_T = var(rc$T), E_R2 = mean(R2),
                  P_R2 = mean(R2 <= 2.25), cor_T_R2 = cor(rc$T, R2)),
      teoretic = c(___, ___, ___, ___, 0))  # (a), (c)

Al doilea exercițiu aplică Teorema 5 din Cursul 4 unei repartiții discrete (o trunchiere) și o combină cu o simulare ierarhică: întâi numărul de mașini, apoi, condiționat de el, numărul șoferilor care poartă centura.

Exercițiul 5 (Poisson trunchiată și subeșantionare)

Pentru acasă Numărul \(N\) de mașini care trec printr-o intersecție într-o oră are repartiția Poisson trunchiată în zero, \(\PP(N=n)=\frac{e^{-\lambda}\lambda^n}{n!\,(1-e^{-\lambda})}\), \(n\ge1\); condiționat de \(N=n\), numărul \(X\) de șoferi care poartă centura de siguranță are repartiția \(\Bin(n,\pi)\). Fie \(\lambda=1.5\) și \(\pi=0.7\).

  1. Arătați că algoritmul „generăm variabile \(\Pois(\lambda)\) până la prima valoare nenulă” produce o observație din repartiția lui \(N\). Câte încercări sunt necesare în medie? Scrieți și o metodă inversă, fără respingere.

  2. Arătați că \(\PP(X=0)=\frac{e^{-\lambda\pi}-e^{-\lambda}}{1-e^{-\lambda}}\), \(\PP(X=x)=\frac{e^{-\lambda\pi}(\lambda\pi)^x}{x!\,(1-e^{-\lambda})}\) pentru \(x\ge1\), și \(\E[X]=\frac{\lambda\pi}{1-e^{-\lambda}}\).

  3. Simulați \(10^5\) perechi \((N,X)\) și comparați frecvențele valorilor lui \(X\) și media lui \(X\) cu (b).

Laborator Schelet de cod pentru (c) — completați locurile marcate cu ___; se folosește funcția resp_conditionat din Exercițiul 4:

lambda <- 1.5; p_c <- 0.7; n <- 1e5
set.seed(526)
rc <- resp_conditionat(n, function(m) matrix(rpois(m, lambda)),
                       function(y) ___)     # respingem zeroul
N <- rc$x[, 1]
N2 <- ___                                   # metoda inversă de la (a)
X <- ___                                    # simularea ierarhică
px <- ___                                   # P(X = 0..5), (b)
round(rbind(empiric = tabulate(X + 1, 6) / n, teoretic = px), 4)
c(E_T = mean(rc$T), teoretic = ___,
  media_X = mean(X), teoretic = ___,
  media_N = mean(N), media_N2 = mean(N2), E_N = lambda / (1 - exp(-lambda)))
Răspunsuri
  • (a) \(\approx1.287\) încercări în medie pentru \(\lambda=1.5\); \(N\eqd F^{-1}\big(e^{-\lambda}+(1-e^{-\lambda})U\big)\).
  • (b) \(\E[X]=\frac{\lambda\pi}{1-e^{-\lambda}}=\frac{1.05}{1-e^{-1.5}}\approx1.352\).
  • (c) Frecvențele valorilor \(0,\dots,5\) (\(0.1652\), \(0.4721\), \(0.2490\), \(\dots\)) reproduc funcția de masă de la (b) (\(0.1632\), \(0.4730\), \(0.2483\), \(\dots\)); media lui \(X\) este \(1.345\), față de \(1.352\).

4 Transformări de vectori aleatori

Teorema schimbării de variabilă (Teorema 52 din Cursul 1) se aplică în trei pași, pe care îi urmăm în toate exercițiile de mai jos:

  1. domeniul și inversa: alegem o mulțime deschisă \(S\) cu \(\PP(X\in S)=1\) pe care \(h\) este injectivă și rezolvăm sistemul \(y=h(x)\) în raport cu \(x\); rezolvarea dă simultan injectivitatea, inversa \(h^{-1}\) și imaginea \(T=h(S)\);
  2. iacobianul: calculăm \(J_{h^{-1}}(y)=\det\big(\partial x_i/\partial y_j\big)\) (sau \(1/J_h\) în punctul \(h^{-1}(y)\));
  3. densitatea: \(f_Y(y)=f_X(h^{-1}(y))\,|J_{h^{-1}}(y)|\) pe \(T\) și \(0\) în rest; apoi marginalele (prin integrare, Propoziția 36 din Cursul 1) și, eventual, independența (prin factorizare, Lema 10 din Cursul 4).

Pentru simulare, rezultatul se citește și invers: dacă densitatea noilor coordonate se factorizează, le putem genera independent, apoi întoarcem transformarea. Exemplul rezolvat arată toți pașii pe un caz simplu, a cărui structură reapare în primul exercițiu.

Exemplul 2 (Suma și proporția a două exponențiale)

Fie \(X,Y\) independente, repartizate \(\Exp(1)\), \(S=X+Y\) și \(W=\frac{X}{X+Y}\). Determinați densitatea lui \((S,W)\), arătați că \(S\) și \(W\) sunt independente și identificați repartițiile lor.

Seminar Pasul 0: densitatea inițială. Din independență (Propoziția 38 din Cursul 1), \((X,Y)\) are densitatea \(e^{-x}e^{-y}=e^{-(x+y)}\) pe \(S_0=(0,\infty)^2\), mulțime deschisă de probabilitate \(1\).

Pasul 1: inversa și imaginea. Rezolvăm sistemul \(s=x+y\), \(w=\frac{x}{x+y}\): din a doua ecuație, \(x=ws\), iar din prima, \(y=s-x=s(1-w)\). Pentru \((x,y)\in S_0\) avem \(s>0\) și \(w\in(0,1)\); reciproc, pentru orice \((s,w)\in T=(0,\infty)\times(0,1)\), valorile \(x=ws>0\) și \(y=s(1-w)>0\) verifică sistemul. Deci \(h(x,y)=\big(x+y,\frac{x}{x+y}\big)\) este o bijecție de clasă \(C^1\) de la \(S_0\) pe \(T\), cu inversa \(h^{-1}(s,w)=\big(ws,\ s(1-w)\big)\).

Pasul 2: iacobianul. Derivatele parțiale ale inversei sunt \(\frac{\partial x}{\partial s}=w\), \(\frac{\partial x}{\partial w}=s\), \(\frac{\partial y}{\partial s}=1-w\), \(\frac{\partial y}{\partial w}=-s\), deci \[ J_{h^{-1}}(s,w)=\det\begin{pmatrix}w&s\\ 1-w&-s\end{pmatrix}=-ws-s(1-w)=-s\ne0 . \]

Pasul 3: densitatea. Cum \(x+y=s\), Teorema 52 din Cursul 1 dă, pentru orice \((s,w)\in\R^2\), \[ f_{S,W}(s,w)=e^{-s}\cdot|-s|\cdot\Ind_T(s,w)=\underbrace{s\,e^{-s}\,\Ind_{(0,\infty)}(s)}_{a(s)}\cdot\underbrace{\Ind_{(0,1)}(w)}_{b(w)} . \]

Pasul 4: concluzia. Densitatea este un produs \(a(s)\,b(w)\) pentru orice \((s,w)\) (indicatorul dreptunghiului \(T\) este produsul indicatorilor), deci, din Lema 10 din Cursul 4, \(S\) și \(W\) sunt independente, cu densitățile proporționale cu \(a\) și \(b\). Cum \(\int_0^\infty se^{-s}\dd s=\Gamma(2)=1\) și \(\int_0^1\dd w=1\), \(S\sim\GammaD(2,1)\) și \(W\sim\Unif(0,1)\) sunt independente. Interpretare: știind suma a două durate exponențiale, proporția primei durate este uniformă, indiferent de valoarea sumei. Este un caz particular al rezultatului despre \(\frac{X}{X+Y}\) și \(X+Y\) pentru variabile Gamma independente (Propoziția 14 din Cursul 5 din Cursul 5). Citit invers, rezultatul este o rețetă de simulare: \(S=-\ln(U_1U_2)\) (Propoziția 12(a) din Cursul 4), \(W=U_3\), \(X=SW\), \(Y=S(1-W)\).

Laborator Verificăm momentele lui \(S\) (\(\E[S]=\Var(S)=2\)), uniformitatea lui \(W\) (\(\PP(W\le0.3)=0.3\)) și independența, comparând \(\PP(S\le1,\,W\le0.3)\) cu produsul \(\PP(S\le1)\,\PP(W\le0.3)=(1-2e^{-1})\cdot0.3\approx0.0793\) (pentru \(\GammaD(2,1)\), \(\PP(S\le1)=\int_0^1se^{-s}\dd s=1-2e^{-1}\), prin părți).

set.seed(504)
x <- rexp(1e5); y <- rexp(1e5)
s <- x + y; w <- x / s
c(E_S = mean(s), V_S = var(s), P_W03 = mean(w <= 0.3),
  P_comun = mean(s <= 1 & w <= 0.3), produs = (1 - 2 * exp(-1)) * 0.3,
  cor_SW = cor(s, w))
#>       E_S       V_S     P_W03   P_comun    produs    cor_SW 
#> 1.9974449 1.9943061 0.2961500 0.0785900 0.0792723 0.0006266

Media și varianța lui \(S\) sunt \(\approx2\), frecvența evenimentului \(\{W\le0.3\}\) este \(0.296\), iar frecvența evenimentului comun, \(0.0786\), este apropiată de produsul \(0.0793\); corelația lui \(S\) cu \(W\) este practic nulă.

Primul exercițiu are o interpretare practică și arată cum alegerea variabilelor potrivite descoperă o structură de independență, ca în exemplul de mai sus.

Exercițiul 6 (Timpii petrecuți într-o clinică)

La seminar Fie \(X_1\) timpul total (într-o unitate de timp fixată) dintre sosirea și plecarea unui pacient dintr-o clinică și \(X_2\) timpul petrecut în sala de așteptare înainte de consultație. Presupunem că \((X_1,X_2)\) are densitatea \[ f(x_1,x_2)=\frac{1}{2\theta^3}\,x_1e^{-x_1/\theta},\qquad 0<x_2<x_1,\qquad \theta>0 . \] Ne interesează \(P=X_2/X_1\) (proporția din timpul total petrecută în așteptare) și \(S=X_1-X_2\) (timpul petrecut în consultație).

  1. Verificați că \(f\) este o densitate și determinați densitatea comună a lui \((P,S)\).

  2. Determinați repartițiile marginale ale lui \(P\) și \(S\), mediile și varianțele lor. Sunt \(P\) și \(S\) independente?

  3. Arătați că \(X_1\) și \(P\) sunt independente și identificați repartițiile lor; deduceți un algoritm de simulare pentru \((X_1,X_2)\) și calculați \(\Cov(P,S)\) și coeficientul de corelație.

  4. Pentru \(\theta=10\), calculați probabilitatea ca o consultație să se prelungească peste \(30\) de unități de timp.

  5. În R: simulați \((P,S)\) cu algoritmul de la (c) și verificați (b)–(d).

Laborator Schelet de cod pentru (e) — completați locurile marcate cu ___:

set.seed(506)
theta <- 10; m <- 1e5
x1 <- ___                                   # Gamma(3, 1/theta), (c)
P <- ___; x2 <- ___; S <- x1 - x2           # algoritmul de la (c)
rbind(simulat = c(E_P = mean(P), V_P = var(P), E_S = mean(S),
                  V_S = var(S), cor_PS = cor(P, S), P_S30 = ___),
      teoretic = c(___, ___, ___, ___,      # valorile de la (b)
                   ___, ___))               # (c), (d)

Al doilea exercițiu folosește o transformare cu radicali și compară, prin simulare, doi estimatori ai parametrului.

Exercițiul 7 (Rădăcina unui raport și a unui produs)

Pentru acasă Fie \((X,Y)\) cu densitatea \(f(x,y)=e^{-(\theta x+y/\theta)}\), \(x>0\), \(y>0\), unde \(\theta>0\), și \[ U=\sqrt{Y/X},\qquad V=\sqrt{XY} . \]

  1. Arătați că \(X\) și \(Y\) sunt independente și identificați repartițiile lor.

  2. Determinați densitatea comună a lui \((U,V)\), densitatea și funcția de repartiție ale lui \(U\) și mediana lui \(U\).

  3. Calculați \(\E[U]\) și găsiți o funcție \(h\) astfel încât, pentru un eșantion \(U_1,\dots,U_n\) din repartiția lui \(U\), \(\E[h(\bar U_n)]=\theta\). Are \(U\) varianță finită?

  4. Arătați că repartiția lui \(V\) nu depinde de \(\theta\) și calculați \(\E[V]\).

  5. Comparați prin simulare, pentru \(\theta=2\) și \(n=50\), estimatorii \(h(\bar U_n)\) și mediana eșantionului \(U_1,\dots,U_n\).

Laborator Schelet de cod pentru (e) — completați locurile marcate cu ___:

set.seed(507); theta <- 2; n <- 50; B <- 1e4
est <- replicate(B, {
  u <- ___                                  # U = sqrt(Y / X)
  c(medie = ___, mediana = ___) })          # h(media), mediana
rbind(media_est = rowMeans(est), EPM = ___,
      q05 = apply(est, 1, quantile, 0.05),
      q95 = apply(est, 1, quantile, 0.95))
u <- sqrt(rexp(1e5, 1 / theta) / rexp(1e5, theta))  # verificarea lui F_U
v <- ___                                    # V = sqrt(X Y)
c(F_U_1 = mean(u <= 1), teoretic = ___,     # (b)
  mediana_U = median(u), E_V = mean(v), teoretic = ___)  # (d)
Răspunsuri
  • (a) \(X\sim\Exp(\theta)\) și \(Y\sim\Exp(1/\theta)\) sunt independente.
  • (b) \(f_{U,V}(u,v)=\frac{2v}{u}e^{-v(\theta/u+u/\theta)}\) pe \((0,\infty)^2\); \(f_U(u)=\frac{2u\theta^2}{(\theta^2+u^2)^2}\), \(F_U(u)=\frac{u^2}{\theta^2+u^2}\), \(u>0\); mediana lui \(U\) este \(\theta\).
  • (c) \(\E[U]=\frac{\pi\theta}2\), \(h(t)=\frac{2t}\pi\); \(\E[U^2]=\infty\), deci \(U\) nu are varianță finită.
  • (d) Repartiția lui \(V\) nu depinde de \(\theta\), iar \(\E[V]=\frac\pi4\approx0.785\).
  • (e) EPM al medianei (\(\approx0.08\)) este de câteva ori mai mic decât al estimatorului nedeplasat \(\frac2\pi\bar U_n\) (\(\approx0.37\)).

Al treilea exercițiu folosește varianta „pe bucăți” a formulei schimbării de variabilă: aplicația \((u_1,u_2)\mapsto(\min,\max)\) nu este injectivă, dar este injectivă pe fiecare dintre cele două triunghiuri separate de diagonală. Densitatea comună a minimului și maximului a fost obținută, pentru variabile i.i.d. oarecare, în Exemplul 42 din Cursul 1; aici o folosim pentru uniforme și deducem din ea o structură de independență.

Exercițiul 8 (Minimul și maximul a două uniforme)

Dacă timpul permite Fie \(U_1,U_2\) independente, \(\Unif(0,1)\), \(Y=\min(U_1,U_2)\) și \(Z=\max(U_1,U_2)\).

  1. Arătați că \((Y,Z)\) are densitatea \(2\) pe triunghiul \(T=\{0<y<z<1\}\). Determinați repartițiile marginale, mediile, varianțele, covarianța și coeficientul de corelație.

  2. Determinați repartiția amplitudinii \(D=Z-Y\).

  3. Arătați că \(W=Y/Z\) și \(Z\) sunt independente și identificați repartițiile lor. Deduceți un algoritm de simulare a perechii \((Y,Z)\) care generează întâi maximul.

  4. Arătați că \((1-Z,1-Y)\) are aceeași repartiție ca \((Y,Z)\) și deduceți că \(\frac{1-Z}{1-Y}\) este independentă de \(Y\).

  5. În R: verificați prin simulare (a)–(d).

Laborator Schelet de cod pentru (e) — completați locurile marcate cu ___:

set.seed(508)
m <- 1e5
u1 <- runif(m); u2 <- runif(m)
Y <- ___; Z <- ___                         # minimul și maximul, pe componente
W <- ___; Q <- ___                          # variabilele de la (c) și (d)
round(c(E_Y = mean(Y), E_Z = mean(Z), cor_YZ = cor(Y, Z),
        E_D = mean(Z - Y), E_W = mean(W), cor_WZ = cor(W, Z),
        cor_W2Z2 = cor(W^2, Z^2), cor_QY = cor(Q, Y)), 4)
Răspunsuri
  • (a) \(f_Y(y)=2(1-y)\), \(f_Z(z)=2z\) pe \((0,1)\); \(\E[Y]=\frac13\), \(\E[Z]=\frac23\), \(\Var(Y)=\Var(Z)=\frac1{18}\), \(\Cov(Y,Z)=\frac1{36}\), \(\rho(Y,Z)=\frac12\).
  • (b) Amplitudinea \(D\) are aceeași repartiție \(\BetaD(1,2)\) ca minimul, cu media \(\frac13\).
  • (c) \(W\sim\Unif(0,1)\) și \(Z\) (cu densitatea \(2z\) pe \((0,1)\)) sunt independente.
  • (d) \(\frac{1-Z}{1-Y}\) este independentă de \(Y\).
  • (e) Valorile simulate \(0.334\), \(0.667\), \(0.504\), \(0.333\), \(0.500\) sunt apropiate de valorile teoretice \(\frac13\), \(\frac23\), \(\frac12\), \(\frac13\), \(\frac12\), iar cele trei corelații de la sfârșit sunt practic nule.

5 Metoda Box–Muller și raportul a două normale

Simularea prin transformări nu folosește o constantă de dominare, ci o reprezentare a variabilei dorite ca funcție de variabile pe care știm deja să le simulăm; instrumentul principal este tot Teorema schimbării de variabilă. În curs, metoda Box–Muller a fost demonstrată trecând prin coordonatele polare \((R,\Theta)\) (Teorema 11 din Cursul 4); aici calculăm direct iacobianul transformării uniformelor, demonstrăm metoda polară și construim, numai din uniforme, generatoare pentru mai multe repartiții uzuale. Al doilea exercițiu leagă metoda Box–Muller de repartiția Cauchy.

Exercițiul 9 (Metoda Box–Muller și metoda polară)

La seminar Fie \(U_1,U_2\) independente, \(\Unif(0,1)\), și \[ h(u_1,u_2)=\big(\sqrt{-2\ln u_2}\cos(2\pi u_1),\ \sqrt{-2\ln u_2}\sin(2\pi u_1)\big). \]

  1. Arătați că \(h\) este o bijecție de clasă \(C^1\) de la \((0,1)^2\) pe \(\R^2\setminus\{(x,0):x\ge0\}\), calculați \(J_h\) și deduceți că \((X_1,X_2)=h(U_1,U_2)\) are componentele independente, \(\Norm(0,1)\).

  2. Deduceți că \(R^2=X_1^2+X_2^2\) are repartiția \(\Exp(\frac12)=\chi^2_2\), că \(R^2\) și \(X_1/X_2\) sunt independente și calculați \(\PP(X_1^2+X_2^2\le1)\) și \(\PP(|X_1|\le1,|X_2|\le1)\).

  3. (Metoda polară.) Fie \((V_1,V_2)\) uniform pe discul unitate și \(S=V_1^2+V_2^2\). Arătați că \(S\sim\Unif(0,1)\), independentă de unghiul polar \(\Phi\) al lui \((V_1,V_2)\), și deduceți că \(V_i\sqrt{-2\ln S/S}\), \(i=1,2\), sunt normale standard independente. Comparați costul cu metoda Box–Muller.

  4. În R: scrieți generatoarele Box–Muller și polar și verificați-le; construiți apoi, numai din uniforme, generatoare pentru repartițiile \(\chi^2_k\), Student, Fisher–Snedecor și \(\Cauchy(0,1)\) și verificați-le cu cuantilele empirice și distanța Kolmogorov.

Laborator Schelet de cod pentru (d), metoda Box–Muller — completați locurile marcate cu ___; se folosește funcția dist_ks din Exercițiul 3:

box_muller <- function(n) {
  m <- ceiling(n / 2)
  r <- ___; t <- ___                        # raza, unghiul
  ___[1:n]                                  # X_1 și X_2
}
set.seed(518)
xb <- box_muller(1e5)
c(media = mean(xb), var = var(xb), q975 = quantile(xb, 0.975, names = FALSE),
  sqrt_n_Dn = sqrt(1e5) * ___)

Laborator Schelet de cod pentru (d), metoda polară — completați locurile marcate cu ___:

marsaglia <- function(n) {
  m <- ceiling(n / 2); out <- numeric(0); nunif <- 0
  while (length(out) < 2 * m) {
    k <- ceiling(1.3 * (2 * m - length(out)) / 2) + 10  # perechi propuse
    v1 <- runif(k, -1, 1); v2 <- runif(k, -1, 1); nunif <- nunif + 2 * k
    s <- v1^2 + v2^2; ok <- ___             # punct în disc
    w <- ___                                # factorul de la (c)
    out <- c(out, v1[ok] * w, v2[ok] * w)
  }
  structure(out[1:n], unif_pe_normala = nunif / length(out)) }
set.seed(518); xb <- box_muller(1e5); xm <- marsaglia(1e5)
c(media = mean(xm), var = var(xm), unif = attr(xm, "unif_pe_normala"))

Laborator Schelet de cod pentru (d), generatoare numai din uniforme — completați locurile marcate cu ___:

r_chisq <- function(n, k) {
  nu <- k %/% 2; x <- numeric(n)
  if (nu > 0) x <- ___                      # chi^2 cu 2 nu grade
  if (k %% 2 == 1) x <- x + ___             # grad impar: + Z^2
  x }
r_t <- function(n, k) ___                   # Student
r_f <- function(n, m, k) ___                # Fisher-Snedecor
r_cauchy <- function(n) ___                 # Cauchy
set.seed(519); n <- 1e5; pr <- c(0.05, 0.5, 0.95)
gen <- list(chi2_5 = r_chisq(n, 5), t_5 = r_t(n, 5), F_5_8 = r_f(n, 5, 8),
            Cauchy = r_cauchy(n))
sapply(gen, quantile, pr)        # comparați cu qchisq(pr, 5), qt, qf, qcauchy

Exercițiul următor arată că raportul a două normale independente are repartiția Cauchy, leagă acest fapt de metoda Box–Muller și îl folosește pentru a simula scorul la tir cu arcul din Exercițiul 8 din Seminarul 4.

Exercițiul 10 (Raportul a două normale. Ținta de tir)

Dacă timpul permite Fie \(X,Y\) independente, repartizate \(\Norm(0,1)\), și \(C=X/Y\).

  1. Folosind transformarea \((x,y)\mapsto(c,v)=(x/y,\,y)\), arătați că \(C\sim\Cauchy(0,1)\), cu densitatea \(\frac1{\pi(1+c^2)}\). Calculați \(F_C\) și \(\PP(-\sqrt3<C<1)\).

  2. Arătați că, pentru perechea \((X_1,X_2)\) din Exercițiul 9, \(X_1/X_2=\cot(2\pi U_1)\) și deduceți că \(\tan\big(\pi(U-\frac12)\big)\sim\Cauchy(0,1)\). Arătați că \(R=|C|\) are densitatea \(\frac{2}{\pi(1+r^2)}\), \(r>0\), și simulați-o prin metoda inversă.

  3. Distanța de la centrul țintei la punctul de impact din Exercițiul 8 din Seminarul 4 are densitatea de la (b). În R: simulați \(C\) în două moduri (ca raport de normale și prin metoda inversă), verificați (a) și estimați media și varianța scorului unei săgeți, calculate în acel exercițiu: \(\frac{13}6\) și \(\frac{101}{36}\).

Laborator Schelet de cod pentru (c) — completați locurile marcate cu ___:

set.seed(509)
m <- 1e5
C1 <- ___                                   # raport de normale
C2 <- ___                                   # metoda inversă
scor <- function(r) ifelse(r <= 1 / sqrt(3), 4,
                    ifelse(r <= 1, 3, ifelse(r <= sqrt(3), 2, 0)))
sim <- function(C) c(P = ___,               # P(-sqrt(3) < C < 1)
                     E_S = ___, V_S = ___)  # scorul
rbind(raport = sim(C1), inversa = sim(C2),
      teoretic = c(7 / 12, 13 / 6, 101 / 36))
Răspunsuri
  • (a) \(F_C(c)=\frac12+\frac1\pi\arctan c\) și \(\PP(-\sqrt3<C<1)=\frac1\pi\big(\frac\pi4+\frac\pi3\big)=\frac7{12}\approx0.583\).
  • (b) \(R=|C|\) are densitatea \(\frac{2}{\pi(1+r^2)}\) și se simulează ca \(R=\tan\frac{\pi U}{2}\).
  • (c) Ambele generatoare reproduc valorile teoretice \(\frac7{12}\approx0.583\), \(\frac{13}6\approx2.167\) și \(\frac{101}{36}\approx2.806\) (\(0.5835\), \(2.163\), \(2.803\) pentru raport; \(0.5821\), \(2.162\), \(2.809\) pentru metoda inversă).

6 Exerciții suplimentare

Exercițiile de mai jos sunt pentru studiul individual. Primul aplică metoda respingerii unei ținte cunoscute doar până la o constantă, cu o propunere de tip amestec; al doilea compară trei generatoare pentru repartiția Cauchy și arată ce se întâmplă cu media eșantionului atunci când repartiția nu are medie; al treilea analizează o metodă aproximativă, folosită istoric pentru simularea normalei, și arată cum se detectează abaterile ei de la țintă.

Exercițiul 11 (Simularea din densitatea maximă)

Pentru acasă Fie \(f=\phi\) și \(g=\phi(\cdot-2)\) densitățile repartițiilor \(\Norm(0,1)\) și \(\Norm(2,1)\) și \(h=\frac{\max(f,g)}{K}\), cu \(K=\int_{\R}\max(f,g)\).

  1. Arătați că \(\max(f,g)\le2\cdot\frac{f+g}{2}\) și scrieți algoritmul de respingere cu propunerea amestec \(m=\frac{f+g}{2}\). Cum se simulează din \(m\)?

  2. Calculați \(K\), probabilitatea de acceptare, media și varianța repartiției \(h\).

  3. Verificați prin simulare \(K\), media, varianța și forma densității.

Laborator Schelet de cod pentru (c) — completați locurile marcate cu ___:

set.seed(525)
m <- 1e5
x <- ___                                    # propunerea amestec, (a)
f1 <- dnorm(x); f2 <- dnorm(x - 2)
acc <- runif(m) <= ___                      # condiția de acceptare
z <- x[acc]
c(K_hat = ___, K = 2 * pnorm(1), media = mean(z),  # estimatorul lui K
  var = var(z), var_teor = 2 + dnorm(1) / pnorm(1))
hist(z, breaks = 60, freq = FALSE)          # forma densității h
curve(___, add = TRUE, col = 2)             # h
Răspunsuri
  • (a) \(X=Z+2B\); acceptăm dacă \(U\le\frac{\max(\phi(X),\phi(X-2))}{\phi(X)+\phi(X-2)}\).
  • (b) \(K=2\Phi(1)\approx1.683\), probabilitatea de acceptare \(\Phi(1)\approx0.841\), \(\E_h[X]=1\), \(\Var_h(X)=2+\frac{\phi(1)}{\Phi(1)}\approx2.288\).
  • (c) Estimația \(2\cdot\widehat{\PP}(\text{acceptare})\) a lui \(K\) este \(1.6808\) (față de \(1.6827\)), media \(0.996\) și varianța \(2.296\) (față de \(1\) și \(2.288\)).
Exercițiul 12 (Trei generatoare pentru repartiția Cauchy)

Pentru acasă (a) Arătați că, dacă \((V_1,V_2)\) este uniform pe discul unitate, atunci \(V_2/V_1\sim\Cauchy(0,1)\). Obțineți astfel un generator Cauchy fără funcții trigonometrice.

  1. Comparați, prin distanța Kolmogorov, generatoarele: metoda inversă \(\tan(\pi(U-\frac12))\), raportul de normale și cel de la (a).

  2. Reprezentați media și mediana eșantionului în funcție de volumul \(n\le10^4\) și explicați comportarea lor.

Laborator Schelet de cod pentru (b) — completați locurile marcate cu ___; se folosesc r_cauchy din Exercițiul 9 și dist_ks din Exercițiul 3:

r_cauchy_disc <- function(n) {
  out <- numeric(0)
  while (length(out) < n) {
    m <- ceiling(1.35 * (n - length(out))) + 20  # marjă peste 4/pi
    v1 <- runif(m, -1, 1); v2 <- runif(m, -1, 1); ok <- ___
    out <- c(out, ___)                      # generatorul de la (a)
  }
  out[1:n]
}
set.seed(523); n <- 1e5
gc <- list(inversa = ___, raport = r_cauchy(n), disc = r_cauchy_disc(n))
sapply(gc, function(x) sqrt(n) * ___)       # sqrt(n) D_n

Laborator Schelet de cod pentru (c) — completați locurile marcate cu ___:

set.seed(524)
x <- r_cauchy_disc(1e4); nn <- round(10^seq(1, 4, length.out = 200))
medii <- ___                                # media primelor n
mediane <- ___                              # mediana primelor n
plot(nn, medii, type = "l", log = "x", xlab = "n", ylab = "")
lines(nn, mediane, col = 2); abline(h = 0, lty = 2)
set.seed(521)
xbar <- ___                                 # medii de câte 100
c(sqrt_n_Dn = sqrt(1e4) * dist_ks(xbar, pcauchy),
  P_mare = mean(abs(xbar) > 10), teoretic = ___)
Răspunsuri
  • (a) \(V_2/V_1\eqd V_1/V_2\sim\Cauchy(0,1)\).
  • (b) Toate cele trei generatoare au \(\sqrt n\,D_n\) de ordinul unității (\(0.81\), \(0.68\), \(0.64\)).
  • (c) Media eșantionului nu converge (are repartiția \(\Cauchy(0,1)\) pentru orice \(n\)), mediana converge la \(0\).
Exercițiul 13 (Suma a douăsprezece uniforme)

Pentru acasă Fie \(S=U_1+\dots+U_{12}-6\), cu \(U_i\) independente \(\Unif(0,1)\).

  1. Calculați \(\E[S]\), \(\Var(S)\) și f.g.m. lui \(S\); comparați dezvoltarea lui \(\ln M_S(t)\) lângă \(0\) cu cea a f.g.m. normale și deduceți \(\E[S^4]\).

  2. De ce este \(S\) doar aproximativ normală? Comparați \(\PP(S>2)\) și \(\PP(S>3)\) cu probabilitățile normale, folosind formula Irwin–Hall \(\PP(U_1+\dots+U_n\le x)=\frac1{n!}\sum_{k=0}^{\lfloor x\rfloor}(-1)^k\binom nk(x-k)^n\), \(0\le x\le n\).

  3. Verificați prin simulare și comparați distanța Kolmogorov cu cea a generatorului box_muller.

Laborator Schelet de cod pentru (c) — completați locurile marcate cu ___; se folosesc box_muller și dist_ks din Exercițiile 9 și 3:

irwin_hall <- function(x, n) {              # P(U_1 + ... + U_n <= x)
  k <- 0:floor(x)
  ___                                       # formula din enunț
}
set.seed(527); m <- 1e6
s12 <- ___                                  # 10^6 valori ale lui S
rbind(exact = c(P2 = ___, P3 = ___, E4 = 2.9),
      simulat = c(mean(s12 > 2), mean(s12 > 3), mean(s12^4)),
      normala = c(1 - pnorm(2), 1 - pnorm(3), 3))
xb <- box_muller(m)
c(sqrt_n_Dn_suma12 = sqrt(m) * dist_ks(s12, pnorm),
  sqrt_n_Dn_BoxMuller = sqrt(m) * dist_ks(xb, pnorm))
Răspunsuri
  • (a) \(\E[S]=0\), \(\Var(S)=1\), \(M_S(t)=\big(\frac{2\sinh(t/2)}{t}\big)^{12}\) și \(\E[S^4]=24\big(\frac18-\frac1{240}\big)=2.9\).
  • (b) \(\PP(S>2)=1-\PP(\sum U_i\le8)\approx0.02228\) (față de \(1-\Phi(2)\approx0.02275\)) și \(\PP(S>3)=1-\PP(\sum U_i\le9)\approx0.00101\) (față de \(1-\Phi(3)\approx0.00135\)).
  • (c) \(\sqrt n\,D_n\) este de ordinul unității pentru Box–Muller (\(0.91\)), dar de aproximativ trei ori mai mare pentru suma a douăsprezece uniforme (\(2.84\)).

7 Temă

Enunțurile de mai jos au răspunsul sau o indicație; cele marcate cu R cer și o verificare prin simulare.

  1. (Repartiția geometrică din exponențială, R.) Fie \(\lambda>0\), \(T=-\frac1\lambda\ln U\) și \(X=\lfloor T\rfloor+1\). Arătați că \(X\sim\Geom(1-e^{-\lambda})\) și deduceți un generator pentru \(\Geom(p)\) cu o singură uniformă. Verificați în R pentru \(p=0.3\) (\(\E[X]=\frac1p\)). (Răspuns: \(\PP(X=k)=\PP(k-1\le T<k)=e^{-\lambda(k-1)}(1-e^{-\lambda})\); cu \(e^{-\lambda}=1-p\), \(X=\big\lfloor\frac{\ln U}{\ln(1-p)}\big\rfloor+1\).)

  2. (Repartiția Laplace ca amestec de normale, R.) Fie \(E\sim\Exp(1)\) și \(Z\sim\Norm(0,1)\) independente și \(X=\sqrt{2E}\,Z\). Calculând f.g.m. (integrând întâi în \(z\), cu teorema lui Fubini), arătați că \(X\) are densitatea Laplace \(\frac12e^{-|x|}\); verificați prin simulare varianța și \(\PP(|X|>2)\). (Indicație: \(\E\big[e^{tX}\big]=\int_0^\infty\E\big[e^{t\sqrt{2s}Z}\big]e^{-s}\dd s=\int_0^\infty e^{t^2s}e^{-s}\dd s=\frac1{1-t^2}\) pentru \(|t|<1\), iar \(\int e^{tx}\frac12e^{-|x|}\dd x=\frac12\big(\frac1{1-t}+\frac1{1+t}\big)=\frac1{1-t^2}\); unicitatea f.g.m., Teorema 33 din Cursul 1. Răspuns: \(\Var(X)=2\), \(\PP(|X|>2)=e^{-2}\approx0.135\).)

  3. (Gamma cu parametru de formă subunitar.) Fie \(0<a<1\), \(S\sim\GammaD(a+1,1)\) și \(U\sim\Unif(0,1)\) independente. Arătați că \(S\,U^{1/a}\sim\GammaD(a,1)\) și scrieți un generator care folosește Exercițiul 3 (pentru parametrul \(a+1>1\)). (Indicație: în Propoziția 14 din Cursul 5 din Cursul 5, cu \(X\sim\GammaD(a,1)\) și \(Y\sim\Exp(1)=\GammaD(1,1)\), avem \(X=S\cdot W\), cu \(S=X+Y\sim\GammaD(a+1,1)\) independentă de \(W=\frac{X}{X+Y}\sim\BetaD(a,1)\); iar \(U^{1/a}\sim\BetaD(a,1)\) prin metoda inversă, deoarece \(F_W(w)=w^a\) pe \([0,1]\).)

  4. (Minimul și maximul a \(n\) uniforme.) Fie \(U_1,\dots,U_n\) independente, \(\Unif(0,1)\), \(n\ge2\), \(Y=\min_iU_i\) și \(Z=\max_iU_i\). Arătați că \((Y,Z)\) are densitatea \(n(n-1)(z-y)^{n-2}\) pe \(\{0<y<z<1\}\), că \(W=Y/Z\) și \(Z\) sunt independente și identificați repartițiile lor; deduceți un algoritm care simulează \((Y,Z)\) cu două uniforme, ca în Exercițiul 8(c). (Indicație: \(\PP(Y>y,Z\le z)=(z-y)^n\) și \(F_{Y,Z}(y,z)=z^n-(z-y)^n\); transformarea \((y,z)\mapsto(y/z,z)\) are iacobianul inversei \(z\). Răspuns: \(f_{W,Z}(w,z)=nz^{n-1}\cdot(n-1)(1-w)^{n-2}\) pe \((0,1)^2\); \(Z=V_1^{1/n}\), \(W=1-V_2^{1/(n-1)}\), \(Y=ZW\).)

  5. (Uniforma pe un triunghi, R.) Vectorul \((Y_1,Y_2)\) are densitatea \(1\) pe triunghiul \(\{0<y_1<2,\ 0<y_2<1,\ 2y_2<y_1\}\). Determinați funcția de repartiție și densitatea lui \(U=Y_1-Y_2\) și calculați \(\PP\big((Y_2-Y_1)^2>\frac14\big)\). Simulați \((Y_1,Y_2)\) prin respingere din dreptunghiul \([0,2]\times[0,1]\) și verificați. (Indicație: pentru \(u\in(0,2)\) fixat, \(\{U\le u\}\) înseamnă \(2y_2<y_1\le\min(2,u+y_2)\), posibil doar pentru \(y_2<u\); separați cazurile \(u\le1\) și \(u>1\). Răspuns: \(F_U(u)=\frac{u^2}{2}\) pe \([0,1]\) și \(1-\frac{(2-u)^2}{2}\) pe \([1,2]\), deci \(U\) are densitatea triunghiulară \(1-|u-1|\) pe \([0,2]\); \(\PP(U>\frac12)=\frac78\); acceptarea respingerii este \(\frac12\).)

  6. (Repartiția Maxwell, R.) Viteza unei molecule de gaz este modelată prin \(V=(V_1,V_2,V_3)\), cu \(V_i\) independente, \(\Norm(0,\sigma^2)\). Folosind Propoziția 12(b) din Cursul 4 și Teorema 17 din Cursul 1, arătați că \(\|V\|\) are densitatea \(\sqrt{\frac2\pi}\,\frac{v^2}{\sigma^3}e^{-v^2/(2\sigma^2)}\), \(v>0\), și calculați \(\E\|V\|\). Verificați prin simulare cu box_muller. (Indicație: \(\|V\|^2/\sigma^2\sim\chi^2_3\), cu densitatea \(\frac{q^{1/2}e^{-q/2}}{\sqrt{2\pi}}\), iar \(\|V\|=\sigma\sqrt Q\). Răspuns: \(\E\|V\|=2\sigma\sqrt{2/\pi}\approx1.596\,\sigma\).)

  7. (O densitate cunoscută până la o constantă, R.) Fie \(\tilde f(x)=e^{-x^4/4}\), \(x\in\R\), cu \(K=\int\tilde f\) „necunoscut”. Cu propunerea \(\Norm(0,1)\), determinați cea mai mică constantă \(M\) cu \(\tilde f\le M\phi\) și condiția de acceptare; estimați \(K\) prin simulare (cu un interval de încredere aproximativ, Propoziția 1 din Cursul 4) și comparați cu valoarea exactă. (Indicație: \(\tilde f/\phi=\sqrt{2\pi}\,e^{\psi(x)}\), cu \(\psi(x)=\frac{x^2}2-\frac{x^4}4\), maximă în \(x=\pm1\); pentru \(K\), substituția \(t=\frac{x^4}{4}\). Răspuns: \(M=\sqrt{2\pi}\,e^{1/4}\approx3.219\); acceptăm dacă \(U\le e^{-(X^2-1)^2/4}\); \(K=\frac{\Gamma(1/4)}{\sqrt2}\approx2.564\), probabilitatea de acceptare \(K/M\approx0.796\), iar \(M\hat p_m\) estimează consistent \(K\).)

  8. (Repartiția Beta din repartiția Gamma, R.) Scrieți r_beta(n, a, b) folosind Propoziția 14 din Cursul 5 din Cursul 5 (cu rgamma) și comparați-o, pentru \(\BetaD(2,4)\), cu generatorul prin respingere din Exercițiul 1 (media, varianța, \(\sqrt n\,D_n\) față de pbeta). (Răspuns: x <- rgamma(n, a); x / (x + rgamma(n, b)); ambele generatoare sunt exacte, cu \(\sqrt n\,D_n\) de ordinul unității.)

Bibliografie

Casella, George, and Roger L. Berger. 2002. Statistical Inference. 2nd ed. Duxbury.
Delmas, Jean-François. 2010. Introduction Au Calcul Des Probabilités Et à La Statistique. Exercices, Problèmes Et Corrections. Les Presses de l’ENSTA.
Devroye, Luc. 1986. Non-Uniform Random Variate Generation. Springer.
Kupper, Lawrence L., Brian H. Neelon, and Sean M. O’Brien. 2013. Exercises and Solutions in Statistical Theory. Chapman & Hall/CRC.
Robert, Christian P., and George Casella. 2004. Monte Carlo Statistical Methods. 2nd ed. Springer.