А.И. Орлов
Теория принятия решений
Учебное пособие. - М.: Издательство "Март", 2004.

2. ОПИСАНИЕ НЕОПРЕДЕЛЕННОСТЕЙ В ТЕОРИИ ПРИНЯТИЯ РЕШЕНИЙ  

2.3.5. Сравнение методов оценивания параметров

В теории оценивания параметров классической математической статистики установлено, что метод максимального правдоподобия, как правило, лучше (в смысле асимптотической дисперсии асимптотического среднего квадрата ошибки), чем метод моментов. Однако в интервальной статистике это, вообще говоря, не так, что продемонстрировано выше на примере оценивания параметров гамма-распределения. Сравним эти два метода оценивания в случае интервальных данных в общей постановке. Поскольку метод максимального правдоподобия – частный случай метода минимального контраста, начнем с разбора этого несколько более общего метода.

Оценки минимального контраста. Пусть Х – пространство, в котором лежат независимые одинаково распределенные случайные элементы Будем оценивать элемент пространства параметров с помощью функции контраста Оценкой минимального контраста называется

Если множество состоит из более чем одного элемента, то оценкой минимального контраста называют также любой элемент .

Оценками минимального контраста являются, в частности, многие робастные статистики [3,36]. Эти оценки широко используются в статистике объектов нечисловой природы [3,27], поскольку при переходят в переходят в эмпирические средние, а если - пространство бинарных отношений – в медиану Кемени.

Пусть в Х имеется мера (заданная на той же -алгебре, что участвует в определении случайных элементов x_i ), и - плотность распределения x_i по мере . Если

то оценка минимального контраста переходит в оценку максимального правдоподобия.

Асимптотическое поведение оценок минимального контраста в случае пространств Х и общего вида хорошо изучено [37], в частности, известны условия состоятельности оценок. Здесь ограничимся случаем X = R¹, но при этом введя погрешности измерений Примем также, что

В рассматриваемой математической модели предполагается, что статистику известны лишь искаженные значения Поэтому вместо он вычисляет

Будем изучать величину в предположении, что погрешности измерений малы. Цель этого изучения – продемонстрировать идеи статистики интервальных данных при достаточно простых предположениях. Поэтому естественно следовать условиям и ходу рассуждений, которые обычно принимаются при изучении оценок максимального правдоподобия [38, п.33.3].

Пусть - истинное значение параметра, функция трижды дифференцируема по , причем

при всех Тогда

(27)

где

Используя обозначения векторов x = (x₁ , x₂ , ..., x_n ), y = (y₁ , y₂ , ..., y_n ), введем суммы

Аналогичным образом введем функции B₀(y), B₁(y), R(y), в которых вместо x_i стоят y_i, i=1,2,…,n.

Поскольку в соответствии с теоремой Ферма оценка минимального контраста удовлетворяет уравнению

(28)

то, подставляя в (27) x_i вместо x и суммируя по i = 1,2,…,n, получаем, что

(29)

откуда

(30)

Решения уравнения (28) будем также называть оценками минимального контраста. Хотя уравнение (28) – лишь необходимое условие минимума, такое словоупотребление не будет вызывать трудностей.

Теорема 1. Пусть для любого x выполнено соотношение (27). Пусть для случайной величины х₁ с распределением, соответствующим значению параметра существуют математические ожидания

(31)

Тогда существуют оценки минимального контраста такие, что при (в смысле сходимости по вероятности).

Доказательство. Возьмем и В силу закона больших чисел (теорема Хинчина) существует такое, что для любого справедливы неравенства

Тогда с вероятностью не менее одновременно выполняются соотношения

(32)

При рассмотрим многочлен второй степени

(см. формулу (29)). С вероятностью не менее выполнены соотношения

Если то знак в точках и определяется знаком линейного члена следовательно, знаки и различны, а потому существует такое, что что и требовалось доказать.

Теорема 2. Пусть выполнены условия теоремы 2 и, кроме того, для случайной величины х_1, распределение которой соответствует значению параметра существует математическое ожидание

Тогда оценка минимального контраста имеет асимптотически нормальное распределение:

(33)

для любого х, где Ф(x) – функция стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1.

Доказательство. Из центральной предельной теоремы вытекает, что числитель в правой части формулы (30) асимптотически нормален с математическим ожиданием 0 и дисперсией Первое слагаемое в знаменателе формулы (30) в силу условий (31) и закона больших чисел сходится по вероятности к а второе слагаемое по тем же основанием и с учетом теоремы 1 – к 0. Итак, знаменатель сходится по вероятности к Доказательство теоремы 2 завершает ссылка на теорему о наследовании сходимости [3,параграф 2.4].

Нотна оценки минимального контраста. Аналогично (30) нетрудно получить, что

(34)

Следовательно, есть разность правых частей формул (30) и (34). Найдем максимально возможное значение (т.е. нотну) величины при ограничениях (1) на абсолютные погрешности результатов измерений.

Покажем, что при для некоторого C>0 нотна имеет вид

(35)

Поскольку то из (33) и (35) следует, что

(36)

Можно сказать, что наличие погрешностей приводит к появлению систематической ошибки (смещения) у оценки метода максимального правдоподобия, и нотна является максимально возможным значением этой систематической ошибки.

В правой части (36) первое слагаемое – квадрат асимптотической нотны, второе соответствует статистической ошибке. Приравнивая их, получаем рациональный объем выборки

Остается доказать соотношение (35) и вычислить С. Укажем сначала условия, при которых (по вероятности) при одновременно с

Теорема 3. Пусть существуют константа и функции g₁(x), g₂(x), g₃(x) такие, что при и выполнены неравенства (ср. формулу (27))

…(37)

при всех x. Пусть для случайной величины х₁, распределение которой соответствует , существуют m₁ =Mg₁(x₁), m₂ = Mg₂(x₁) и m₃ = Mg₃(x₁). Пусть выполнены условия теоремы 1. Тогда (по вероятности) при , .

Доказательство проведем по схеме доказательства теоремы 1. Из неравенств (37) вытекает, что

(38)

Возьмем и В силу закона больших чисел (теорема Хинчина) существует такое, что для любого справедливы неравенства

Тогда с вероятностью не менее одновременно выполняются соотношения

В силу (38) при этом

Пусть

Тогда с вероятностью не менее одновременно выполняются соотношения (ср. (32))

Завершается доказательство дословным повторением такового в теореме 1, с единственным отличием – заменой в обозначениях x на y.

Теорема 4. Пусть выполнены условия теоремы 3 и, кроме того, существуют математические ожидания (при )

(39)

Тогда выполнено соотношение (35) с

(40)

Доказательство. Воспользуемся следующим элементарным соотношением. Пусть a и b – бесконечно малые по сравнению с Z и B соответственно. Тогда с точностью до бесконечно малых более высокого порядка

Чтобы применить это соотношение к анализу в соответствии с (30), (34) и теоремой 2, положим

В силу условий теоремы 4 при малых с точностью до членов более высокого порядка

При эти величины бесконечно малы, а потому с учетом сходимости B₁(x) к А и теоремы 3

с точностью до бесконечно малых более высокого порядка, где

Ясно, что задача оптимизации

(41)

имеет решение

при этом максимальное значение линейной формы есть Поэтому

(42)

С целью упрощения правой части (42) воспользуемся тем, что

(43)

где Поскольку при

по вероятности, то второе слагаемое в (43) сходится к 0, а первое в силу закона больших чисел с учетом (39) сходится к СА², где С определено в (40). Теорема 4 доказана.

Оценки метода моментов. Пусть - некоторые функции. Рассмотрим аналоги выборочных моментов

Оценки метода моментов имеют вид

(функции g и h_j должны удовлетворять некоторым дополнительным условиям [, с.80], которые здесь не приводим). Очевидно, что

(44)

с точностью до бесконечно малых более высокого порядка, а потому с той же точностью

(45)

Теорема 5. Пусть при существуют математические ожидания

функция g дважды непрерывно дифференцируема в некоторой окрестности точки Пусть существует функция такая, что

(46)

причем Mt(x₁) существует. Тогда

с точностью до бесконечно малых более высокого порядка, причем

Доказательство теоремы 5 сводится к обоснованию проведенных ранее рассуждений, позволивших получить формулу (45). В условиях теоремы 5 собраны предположения, достаточные для такого обоснования. Так, условие (46) дает возможность обосновать соотношения (44); существование обеспечивает существование С₁, и т.д. Завершает доказательство ссылка на решение задачи оптимизации (41) и применение закона больших чисел.

Полученные в теоремах 4 и 5 нотны оценок минимального контраста и метода моментов, асимптотические дисперсии этих оценок (см. теорему 2 и [40] соответственно) позволяют находить рациональные объемы выборок, строить доверительные интервалы с учетом погрешностей измерений, а также сравнивать оценки по среднему квадрату ошибки (36). Подобное сравнение было проведено для оценок максимального правдоподобия и метода моментов параметров гамма-распределения. Установлено, что классический вывод о преимуществе оценок максимального правдоподобия [33, с.99-100] неверен в случае

Предыдущая страница | Оглавление | Следующая страница