А.И. Орлов
Математика случая
Вероятность и статистика – основные факты

Учебное пособие. М.: МЗ-Пресс, 2004.    
 

5. Основные проблемы прикладной статистики - описание данных, оценивание и проверка гипотез

Состоятельность, несмещенность и эффективность оценок

Как сравнивать методы оценивания между собой? Сравнение проводят на основе таких показателей качества методов оценивания, как состоятельность, несмещенность, эффективность и др.

Рассмотрим оценку θn числового параметра θ, определенную при n = 1, 2, … Оценка θn называется состоятельной, если она сходится по вероятности к значению оцениваемого параметра θ при безграничном возрастании объема выборки. Выразим сказанное более подробно. Статистика θn является состоятельной оценкой параметра θ тогда и только тогда, когда для любого положительного числа ε справедливо предельное соотношение

Пример 3. Из закона больших чисел следует, что θn = является состоятельной оценкой θ = М(Х) (в приведенной выше теореме Чебышёва предполагалось существование дисперсии D(X); однако, как доказал А.Я. Хинчин [6], достаточно выполнения более слабого условия – существования математического ожидания М(Х)).

Пример 4. Все указанные выше оценки параметров нормального распределения являются состоятельными.

Вообще, все (за редчайшими исключениями) оценки параметров, используемые в вероятностно-статистических методах принятия решений, являются состоятельными.

Пример 5. Так, согласно теореме В.И. Гливенко, эмпирическая функция распределения Fn(x) является состоятельной оценкой функции распределения результатов наблюдений F(x).

При разработке новых методов оценивания следует в первую очередь проверять состоятельность предлагаемых методов.

Второе важное свойство оценок – несмещенность. Несмещенная оценка θn – это оценка параметра θ, математическое ожидание которой равно значению оцениваемого параметра: Мn) = θ.

Пример 6. Из приведенных выше результатов следует, что и являются несмещенными оценками параметров m иσ2 нормального распределения. Поскольку М() = М(m**) = m, то выборочная медиана и полусумма крайних членов вариационного ряда m** - также несмещенные оценки математического ожидания m нормального распределения. Однако

поэтому оценки s2 и (σ2)** не являются состоятельными оценками дисперсии σ2 нормального распределения.

Оценки, для которых соотношение Мn) = θ неверно, называются смещенными. При этом разность между математическим ожиданием оценки θn и оцениваемым параметром θ, т.е. Мn) – θ, называется смещением оценки.

Пример 7. Для оценки s2, как следует из сказанного выше, смещение равно

М(s2) - σ2 = - σ2/n.

Смещение оценки s2 стремится к 0 при n → ∞.

Оценка, для которой смещение стремится к 0, когда объем выборки стремится к бесконечности, называетсяасимптотически несмещенной. В примере 7 показано, что оценка s2 является асимптотически несмещенной.

Практически все оценки параметров, используемые в вероятностно-статистических методах принятия решений, являются либо несмещенными, либо асимптотически несмещенными. Для несмещенных оценок показателем точности оценки служит дисперсия – чем дисперсия меньше, тем оценка лучше. Для смещенных оценок показателем точности служит математическое ожидание квадрата оценки Мn – θ)2. Как следует из основных свойств математического ожидания и дисперсии,

(3)

т.е. математическое ожидание квадрата ошибки складывается из дисперсии оценки и квадрата ее смещения.

Для подавляющего большинства оценок параметров, используемых в вероятностно-статистических методах принятия решений, дисперсия имеет порядок 1/n, а смещение – не более чем 1/n, где n – объем выборки. Для таких оценок при больших n второе слагаемое в правой части (3) пренебрежимо мало по сравнению с первым, и для них справедливо приближенное равенство

(4)

где с – число, определяемое методом вычисления оценок θn и истинным значением оцениваемого параметра θ.

С дисперсией оценки связано третье важное свойство метода оценивания – эффективность. Эффективная оценка – это несмещенная оценка, имеющая наименьшую дисперсию из всех возможных несмещенных оценок данного параметра.

Доказано [11], что и являются эффективными оценками параметров m и σ2 нормального распределения. В то же время для выборочной медианы справедливо предельное соотношение

Другими словами, эффективность выборочной медианы, т.е. отношение дисперсии эффективной оценки параметраm к дисперсии несмещенной оценки этого параметра при больших n близка к 0,637. Именно из-за сравнительно низкой эффективности выборочной медианы в качестве оценки математического ожидания нормального распределения обычно используют выборочное среднее арифметическое.

Понятие эффективности вводится для несмещенных оценок, для которых Мn) = θ для всех возможных значений параметра θ. Если не требовать несмещенности, то можно указать оценки, при некоторых θ имеющие меньшую дисперсию и средний квадрат ошибки, чем эффективные.

Пример 8. Рассмотрим «оценку» математического ожидания m1 ≡ 0. Тогда D(m1) = 0, т.е. всегда меньше дисперсии D() эффективной оценки . Математическое ожидание среднего квадрата ошибки dn(m1) = m2, т.е. при имеем dn(m1) < dn(). Ясно, однако, что статистику m1 ≡ 0 бессмысленно рассматривать в качестве оценки математического ожидания m.

Пример 9. Более интересный пример рассмотрен американским математиком Дж. Ходжесом:

Ясно, что Tn – состоятельная, асимптотически несмещенная оценка математического ожидания m, при этом, как нетрудно вычислить,

Последняя формула показывает, что при m ≠ 0 оценка Tn не хуже (при сравнении по среднему квадрату ошибки dn), а при m = 0 – в четыре раза лучше.

Подавляющее большинство оценок θn, используемых в вероятностно-статистических методах, являются асимптотически нормальными, т.е. для них справедливы предельные соотношения:

для любого х, где Ф(х) – функция стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1. Это означает, что для больших объемов выборок (практически - несколько десятков или сотен наблюдений) распределения оценок полностью описываются их математическими ожиданиями и дисперсиями, а качество оценок – значениями средних квадратов ошибок dnn).

Предыдущая страница | Оглавление | Следующая страница