Likelihood Ratio Test

Tip

Likelihood Ratio Test (LRT) can be thought of as a generalization of Neyman-Pearson Theorem for composite hypotheses.

The main difference is that the likelihood function which represents the composite hypothesis uses an estimated value obtained using Maximum Likelihood Estimation (MLE).

Definition

Let

• $C$ : Best critical region for testing $H_0$ vs $H_1$¹
• $L(\mathbf{\theta })$ : Likelihood function
• ${\omega }_0$ : Parameter space under $H_0$
• $\Omega$ : Complete parameter space (under $H_1$ or unrestricted)

Let

• $L(\hat{\mathbf{\theta }}{)}_0$ : Maximum likelihood under $H_0$
• $L(\hat{\mathbf{\theta }}{)}_1$ : Maximum likelihood under $H_1$ (or over $\Omega$)

Define the likelihood ratio as: $\lambda =\frac{L({\hat{\mathbf{\theta }}}_0)}{L({\hat{\mathbf{\theta }}}_1)}=\frac{{\max }_{\mathbf{\theta }\in {\omega }_0}L(\mathbf{\theta })}{{\max }_{\mathbf{\theta }\in \Omega }L(\mathbf{\theta })}$

Then the likelihood ratio test is defined as follows: reject $H_0$ if $\lambda \le k$ where $k$ is a constant chosen such that the test has significance level $\alpha$.

Properties

1. $0\le \lambda \le 1$ (since ${\omega }_0\subseteq \Omega$)
2. $\lambda$ close to 1 indicates data supports $H_0$
3. $\lambda$ close to 0 indicates data supports $H_1$
4. Under regularity conditions, $-2\ln \lambda \stackrel{D}{\to }{\chi }^2(r)$ where $r=\dim (\Omega )-\dim ({\omega }_0)$

Procedure

1. Find the likelihood function $L(\theta )={\prod }_{i=1}^{n}f(x_i;\theta )$

2. Do Maximum Likelihood Estimation (MLE) under $H_0$

   • Identifikasi parameter yang dispesifikasikan dan yang tidak
   • Jika ada parameter yang tidak dispesifikasikan, maksimumkan $L(\theta )$ terhadap parameter tersebut
   • Substitusi nilai optimal ke dalam likelihood untuk mendapatkan $L({\hat{\theta }}_0)$
   • Jika semua parameter dispesifikasikan, maka $L({\hat{\theta }}_0)=L({\theta }_0)$

3. Do MLE under $H_1$:

   • Maksimumkan $L(\theta )$ terhadap semua parameter yang tidak dispesifikasikan
   • Cari MLE ${\hat{\theta }}_1$ dengan menyelesaikan: $\frac{\partial \ln L(\theta )}{\partial \theta }=0$
   • Substitusi ${\hat{\theta }}_1$ ke dalam likelihood untuk mendapatkan $L({\hat{\theta }}_1)$

4. Compute the likelihood ratio: $\lambda =\frac{L({\hat{\theta }}_0)}{L({\hat{\theta }}_1)}$

5. Determine the critical region

• Test menolak $H_0$ ketika $\lambda \le k$ untuk konstanta $k$ yang dipilih berdasarkan tingkat signifikansi $\alpha$
• Alternatif: gunakan $-2\ln \lambda$ yang berdistribusi asimtotik ${\chi }^2$ dengan derajat bebas = (jumlah parameter di $\Omega$) - (jumlah parameter di ${\omega }_0$)

Tip

• If one of the hypotheses is a simple hypothesis, then the likelihood function is simply $L({\theta }^{\prime })$, where ${\theta }^{\prime }$ is the hypothesized value

Catatan penting:

• $0\le \lambda \le 1$ karena $L({\hat{\theta }}_1)\ge L({\hat{\theta }}_0)$ (likelihood maksimum di ruang parameter lebih besar selalu $\ge$ likelihood maksimum di ruang parameter yang lebih kecil)
• Untuk distribusi dengan support yang bergantung pada parameter (seperti uniform), perhatikan batasan parameter saat memaksimumkan likelihood

Footnotes

1. For simple vs simple hypotheses, this reduces to the Neyman-Pearson formulation ↩