Асимптотическая теория статистического анализа наблюдений высокой размерности

СОДЕРЖАНИЕ
Глава 1. Введение. Существенно многомерный подход к задачам статистического анализа
Глава 2. Резольвента и спектральные функции больших выборочных ковариационных матриц
Спектральные функции случайных матриц Грама Спектральные функции выборочных ков ар иационных мат риц Предельные спектральные функции растущих выборочных ковариационных матриц
Глава 3. Резольвента и спектральные функции объединенных выборочных ковариационных матриц
Постановка задачи
Спектральные функции объединенных случайных матриц Грама Спектральные функции объединенных выборочных ковариационных матриц Предельные спектральные функции растущих объединенных выборочных ковариационных матриц
10
45
47
53
58
69
69
71
78
8.3
2
Глава 4. Нормальное вычисление
функций качества 88
Мера нормализуемости 89
Спектральные функции больших
выборочных ковариационных матриц 90
Нормальное вычисление функционалов
зависящих от выборок 92
Обсуждение 100
Глава 5. Оценивание обратных ковариационных матриц высокой размерности 102
Компрессионные оценки обратных
ковариационных матриц 103
Обобщенные гребневые оценки обратных
ковариационных матриц 105
Асимптотически неулучшаемые оценки
обратных ковариационных матриц 114
Глава 6. Покомпонентное компрессионное
оценивание нормальных средних 119
Функция оценивания компонент 120
Оценки неулучшаемой функции оценивания 121
3
Глава 7* Улучшенные оценки векторов математических ожиданий растущей размерности
Предельный квадратичный риск для класса оценок векторов математических ожиданий.
Минимизация предельного квадратичного риска
Статистики, аппроксимирующие предельную функцию квадратичного риска Статистики, аппроксимирующие
экстремальное предельное решения
Глава 8. Линейная выборочная регрессия большой размерности
Функционалы, зависящие от статистик 5 и §о Функционалы, зависящие от выборочных ковариационных матриц и векторов ковариаций Главная часть квадратичного риска и ее оценка Частные случаи
Глава 9. Линейный дискриминантный анализ нормальных совокупностей с совпадающими ковариационными матрицами
Постановка задачи
Математическое ожидание и дисперсия дискриминантных функций Предельные вероятности ошибок дискриминантного анализа
Глава 10. Теория дискриминантного анализа растущего числа независимых переменных
Постановка задачи Априорное взвешивание вкладов независимых переменных Минимизация предельной вероятности ошибки при априорном взвешивании Взвешивание вкладов независимых переменных по оценкам Минимизация предельной вероятности ошибки при взвешивании по оценкам Статистики для оценивания вероятностей ошибок
Вклады переменных в дискриминацию Отбор большого количества независимых переменных
ЛИТЕРАТУРА
177
178
180
187
191
191
197
207
208
217
221
224
226
236
5
За последние десятилетия накопление больших объемов статистической информации стимулировало повышение интереса к задачам статистического анализа данных высокой размерности. Компьютерные технологии позволяют применять существенно многомерные и многопараметрические модели. Однако, состояние теории и методов многомерного статистического анализа трудно назвать удовлетворительным. Неулучшаемые (доминирующие) статистические процедуры неизвестны за небольшим числом исключениями. Простейшая задача оценивания вектора средних с наименьшим квадратичным риском не решена даже для нормальных распределений. Широко используемые стандартные линейные процедуры многомерного статистического анализа, основанные на обращении выборочных ковариационных матриц могут приводить к нестабильным результатам или не давать никакого решения в зависимости от данных. Программы, входящие в состав стандартных пакетов прикладных статистических программ неприменимы к ” мул ьтико л линеарным” данным и для такой ситуации нет других теоретических рекомендаций, кроме игнорирования части данных. Вероятность вырождения линейных методов возрастает с ростом размерности п, и при п > N, где N - объем выборки, обратная выборочная ковариационная матрица не существует.
В результате почти все обычные линейные методы статистики оказываются ненадежными и неприменимыми к данным высокой размерности при ограниченных выборках.
Такая ситуация вызвана в первую очередь отсутствием опережающего задела в теории многомерного статистического анализа. Традиционный фишеровский подход был развит для решения традиционных статистических задач с простыми моделями при сколь угодно больших объемах выборок. Главным требованием, предъявляемым к оценкам, была состоятельность, т.е. сходимость оценок параметров к истинным значениям при растущих выборках и фик-
е>
сированиых моделях.
Традиционные статистические процедуры строились путем подстановки состоятельных оценок в теоретические экстремальные решения (”подстановочные оценки”). Однако, покомпонентное оценивание не обеспечивает лучшего решения задач существенно многомерного статистического анализа. Накопление погрешностей оценок большого числа параметров вызывает значительное снижение качества статистических процедур или делает их неприменимыми.
Классические математические исследования в области многомерного статистического анализа сводятся, главным образом, к вычислению некоторых точных распределений для нормальных совокупностей. Хорошо развитая традиционная математическая статистика, ориентированная на одномерные или маломерные задачи оказалась неспособной проанализировать существенно многомерные явления и не обогатила многомерную статистику необходимыми более адекватными методами. Принципиальные задачи теории многомерного статистического анализа остались нерешенными.
Существенный прогресс был достигнут после пионерских исследований 1970-1974 гг , выполненных но идеям А.Н.Колмогорова.
Он предложил новый асимптотический подход отличающийся одновременным возрастанием объемов выборок N и размерности наблюдений тг так, что отношение п/М стремится к константе. Эта константа стала новым параметром асимптотической теории. В отличие от традиционной асимптотики растущих объемов выборок, новый подход получил название ”асимптотики растущей размерности'5 [1,2]. Изучение членов порядка величины n/N привело к открытию ряда специфических эффектов характерных для высокой размерности, таких, как накопление ошибок оценивания большого числа параметров, появление дополнительных смещений и множителей, и специфический эффект нормализации, состоящий в том, что при ограниченной зависимости переменных все распределения оказываются эквивалентными нормальным при вычислении функ-
7
ционалов равномерно зависящих от аргументов. В частности, этими свойствами обладают стандартные функции качества многомерных статистических процедур; тем самым впервые открывается сравнения процедур и их улучшения независимо от распределений. На базе этого подхода в диссертации развит систематический подход к построению улучшенных вариантов многомерных статистических методов, заведомо стабильных и приближенно неулучшае-мых независимо от распределений, и решены задачи надежного оценивания векторов математических ожиданий высокой размерности, линейной выборочной регрессии и дискриминантного анализа.
Статистические эффекты, обусловленные высокой размерностью и связанные с учетом членов порядка величины п/М при больших N будем называть существенно многомерными эффектами.
Во введении к диссертации излагаются основные этапы развитая асимптотики растущей размерности, предопределившие постановку задач и направление исследований, изложенных в диссертации. В конце этой главы кратко описано содержание следующих 9 глав диссертации и полученные там результаты. Начальные главы посвящены развитию теории спектральных свойств выборочных ковариационных матриц высокой размерности. Эти главы составляют инструментальную базу для получения главных результатов. Исторически эта часть диссертации примыкает к спектральной теории случайных матриц из разных классов, развитой В.А.Марченко, Л.Л.Пастуром и В.Л.Гирко, но представляет более глубокое исследование, необходимое для приложения в статистическом анализе данных высокой размерности. Здесь выводится полученное впервые автором в 1983 г. основное спектральное уравнение, связывающее предельные спектры истинных и выборочных ковариационных матриц (В.Л.Гирко называет такие уравнения ‘'каноническими"). Предлагается и обосновывается ’’принцип нормальных вычислений”, позволяющий развивать методы независимо от совокупностей. Главы 5-10 представляют приложение существенно много-
8
мерного подхода для создания ряда новых всегда стабильных приближенно наилучших независимо от совокупностей методов многомерного статистическою анализа: методов построения суперэффек-тивных оценок векторов математических ожиданий с приближенно минимальным квадратичным риском, методов оценивания обратных ковариационных матриц с асимптотически наименьшим квадратичным риском, построения устойчивых выборочных, линейных регрессий с приближенно наименьшей суммой квадратов отклонений и ряда невырождающихся дискриминантных процедур, обеспечивающих приближенно наилучшее качество дискриминантного анализа.
о
[’ЛАВА I. ВВЕДЕНИЕ
СУЩЕСТВЕННО МНОГОМЕРНЫЙ ПОДХОД К ЗАДАЧАМ СТАТИСТИЧЕСКОГО АНАЛИЗА
Опишем кратко историю развития существенно многомерного подхода в статистике, его идеи, основные понятия и современное состояние. В конце раздела изложим кратко результаты развития этого подхода в диссертационном исследовании по главам.
Объектами статистического анализа являются n-мерные совокупности 0; векторы х из 0 называются наблюдениями. По выборкам X = (xb...,xw) из 6 объемов N рассчитываются векторы
выборочных средних и выборочные ковариационные матрицы
N N
x = N~1'^xrn, С - N"1 (xm - х)(хт - х)Т (1)
m— 1 тп— 1
а также матрицы
N
s = ЛГ1 ^2 xmxj„ (2)
m-1
(матрицы S можно рассматривать как выборочные ковариационные матрицы при априори известных математических ожиданиях).
Отметим особенности обозначений. Пусть всюду ниже Е означает оператор математического ожидания, a cov (•) - функцию дисперсии. Обозначим Е = cov (х.х) ковариационную матрицу для
0. Договоримся выделять векторы жирным шрифтом и отмечать транспонированный вектор-столбец буквой ‘Т\ Пусть абсолютная величина вектора означает его длину, а квадрат вектора есть квадрат его длины. Будем пользоваться только спектральными нормами матриц. Обозначим / единичную матрицу размера п х п.
Typeset by
10
Колмогоровская асимптотика в многомерном статистическом анализе
Существенно многомерный подход в статистике был развит сначала в применении к дискриминантному анализу в 1967-1988 годах. Опишем прогресс, достигнутый до 1980 г.
Задача дискриминантного анализа ставится следующим образом.
Пусть даны две п-мерные совокупностей 0^, г/ = 1,2, и две (независимые) выборки X! = (х15 . . . , Хдг-! ) И 12 = (хлг, + ь • • • > ХЛ*)> гЛе N = Ух 4- У2, из 0х и 02 соответственно. Конструируется выборочная дискриминантная функция и'(х) = ге(х, Х1? Х2) и фиксируется порог с . Правило дискриминации имеет вид гс(х) > с против ш(х) ^ с. Вероятности ошибок при фиксированных выборках суть
ах = Р(гс(х) ^ с | х € 0х), а2 = Р(и?(х) > с | х Е 02). (3)
Для нормальных совокупностей 0^ = N(^1^, ^), V — 1,2, с общей невырожденной ковариационной матрицей X) согласно лемме Неймана- Пирсона априорный минимум (ах + а2)/2 дает дискриминантная функция Андерсона [4]
иИ(х) = (д! - д2)т5Г‘ (х - (дх + д2)/2),
представляющая логарифм отношения нормальных плотностей. Минимум достигается при с = 0 с ад = а2 = Ф (— л/^7/2), где ./ = - д.2)гЕ“1(// 1 — /г2) - квадрат ’’расстояния Махаланобиса”
[72]. Стандартные состоятельные процедуры многомерного статистического анализа обычно строятся путем замены в теоретически наилучшем решении неизвестных параметров дь, д2 и £ их стандартными оценками (’’подстановочная процедура”). Таким образом построена выборочная линейная дискриминантная функция Фишера-Андерсопа-Вальда
ю(х) = (хх - х2)тС~г (х - (хх + х2)/2), (4)
11
где X] и Хз - векторы средних выборочных, а С - объединенная выборочная ковариационная матрица
ЛГЖ N
(Л,-2)~1 ^(хт-х1)(хт-х,)т+ (хт-х2)(хт-х2)Г (5)
т=1 т=^1 + 1
которая есть несмещенная оценка Е. Вальд в 1944 году доказал [64] состоятельность (4) при невырожденной ковариационной матрице Е при Л/1 —у оо и N2 —> оо.
Однако, эта процедура часто оказывается неэффективной в приложениях. Обращение выборочной ковариационной матрицы может оказаться плохо обусловленным или невозможным в зависимости от данных. Вырождение возможно даже при п = 2, а при п > N обратная матрица С~1 заведомо не существует. Теоретические рекомендации советуют лишь уменьшать размерность игнорируя часть данных в надежде получить устойчивое решение. Родилось специальное направление исследований, посвященное методам сокращения размерности [2]. В прикладных задачах часто прибегают к различным эвристическим методам регуляризации. В простейшем из них перед обращением выборочной ковариационной матрицы к ней добавляется единичная матрица с коэффициентом (ди Пилло, 1979). Такие оценки обратной ковариационной матрицы получили название ''гребневых5' [1,2]. Однако, до сих пор эффект такой регуляризации не исследован аккуратно.
В 1967 году А.Н.Колмогоров заинтересовался зависимостью вероятности ошибки дискриминантного анализа от объемов выборок. Он поставил и решил следующую задачу. Пусть ковариационная матрица - единичная. Рассмотрим упрощенную дискриминантную функцию
И)‘(х) = (*! -х2)т(х - (х, + х2)/2).
Эта функция представляет нормально распределенную случайную величину и приводит к вероятности ошибок вида Ф(—(32/£>), где О
12
и В - случайные квадратичные функции средних выборочных, имеющие нецентральное \;2~распределение. Чтобы выделить главные части С и 1), А.Ы.Колмогоров предложил рассматривать не одну г?-мерную статистическую задачу, а последовательность ф = {фп} л-мерных дискриминантных задач
(индексов п у аргументов фп выписывать не будем), в которых наблюдения х классифицируются с помощью дискриминантной функции гс(х) = ги^х) , рассчитанной но выборкам Х\ и £2 объемов N1 И N2 ИЗ совокупностей ©! И ©2; с* 1 и а-2 суть вероятности ошибок (3) при фиксированных выборках. Он предположил, что отношения п/АГ„ стремятся к некоторым константам А„ > 0 при п —> оо,
Этот новый асимптотический подход был назван колмогоровской асимптотикой или асимптотикой растущей размерности ("а.р.р.”, см. [2]). Его можно рассматривать как искуственный вычислительный прием для выделения ведущих членов при большой размерности данных. Но принципиальное значение колмогоровской асимптотики состоит в том, что она является инструментом познания новых специфических закономерностей, которые возникают при большом числе параметров, оцениваемых по выборкам. Изучению и использованию этих закономерностей посвящена предлагаемая диссертация.
Предполагая, что 6„ = N(//^,7), г/ = 1,2, го(х) = гцх(х), с = О для каждого п, и (/г1 — /12)2 -Э Л ^ О при п -» ос Л.Н.Колмогоров нашел, что
по вероятности (предел а2 - тот же). Это выражение замечательно тем, что оно в явном виде определяет зависимость вероятности ошибки от размерности и объемов выборок.
у = 1,2.
13
В 1976 году Л.Д.Мешалкин [28] вывел эту же формулу для предельных вероятностей ошибок дискриминации для дискретных совокупностей в предположении, что переменные независимы, а совокупности сближаются в пространстве параметров (контигуальны). В [27] Л.Д.Мешалкин и В.И.Сердобольский обобщили этот результат па широкий класс совокупностей с параметрически заданными плотностями, сближающимися в параметрическом пространстве. В [71] было показано, что то же самое выражение для вероятностей ошибок остается справедливым для зависимых нормальных наблюдений с известной структурой зависимости, которая используется при обращении выборочной ковариационной матрицы.
В 1970 г. Ю.Н.Благовещенский и А.Д.Деев [5], [11] изучили вероятности ошибок стандартной выборочной дискриминантной процедуры для двух нормальных совокупностей с неизвестной общей ковариационной матрицей. А.Д.Деев [14] воспользовался тем, вероятности ошибок (3) совпадают с функциями распределения w(x) при аргументе с. Он получил точное асимптотическое разложение в а.р.р. для предела ожидаемого значения ад = «2 с с = 0. Главная часть этого разложения (”формула Деева”) оказалась особенно интересной. Приведем этот результат.
Предположим, что в последовательности задач (6) правило дискриминации имеет вид: w(x) > с против w(x) 5С с, где w(x) имеет вид (4).
ТЕОРЕМА 1.1 (следствие [14]). Пусть ф удовлетворяет следующим условиям
(Л) Для каждого п совокупности Gt, нормальны N(/z|/, £), и =
1,2, с общей невырожденной ковариационной матрицей £.
(Б) Существуют пределы lim (р\ — p2)T^~l (ßi — р2) — J•
п->оо
(В) В ф имеет место сходимость n/Nu —» \и > 0, и = 1, 2, причем бслгтина А = А1Аз/(А1 -Ь А-^) < 1.
14
Тогда
Е - -*ф (- -л- -1->а - 2с>) <7> по вероятности (предельное значение Е «2 симметрично).
Множитель (1 - Л) представляет эффект накопления ошибок оценивания элементов неизвестной ковариационной матрицы. При п = N предельные вероятности ошибок дискриминантного анализа стремятся к 1/2 и стандартный дискриминантный анализ вырождается. Численные эксперименты показали, что формула Деева передает правильные значения вероятностей ошибок с достаточной точностью даже при небольших параметрах п = N = 3 — 10.
Заметим, что согласно (7) минимум предельного значения (сп + а2)/2 достигается с порогом с = (А] — А2)/2, т. е. с порогом, сдвинутым в в сторону предпочтения выборки меньшего объема. В
а.р.р. были обнаружены и другие возможности улучшения дискриминантной процедуры. В 197'1 году А.Д.Деев [15] решил в а.р.р. задачу уменьшения вероятности ошибки дискриминантного анализа путем оптимального взвешивания вкладов независимых переменных в дискриминантную функцию. Однако, он рассматривал взвешивание по неизвестным точным характеристикам. Позднее в [37] и [34] была найдена асимптотически наилучшая функция взвешивания по наблюдаемым величинам. Стало очевидным, что аналртз членов порядка величины п/и = 1,2, дает возможность учета существенно многомерных эффектов, которые могут быть использованы для конструирования улучшенных дискриминантных (и других) процедур многомерного статистического анализа. Тем самым был уяснен весьма важный для приложений факт: при большой размерности данных традиционные состоятельные методы многомерного статистического анализа оказываются существенно не лучшими и для разработки лучших процедур требуется дальнейшее развитие теоретической статистики, ориентированное на
15
возврат к концепции функции полезности и оптимальных статистических решений Вальда [87], [77].
Асимптотика Колмогорова стала основным инструментом исследования существенно многомерных явлений, возникающих при размерности наблюдений, соизмеримой с объемами выборок. Предлагаемая диссертация представляет развитие теории существенно многомерных статистических процедур и построения (приближенно) неулучшаемых методов (1978- 2000 гг).
Систематическое развитие методов улучшения статистических процедур опирается на последние достижения спектральной теории случайных матриц растущей размерности, которая была создана независимо в другой области в 1967-1988 годах.
Спектральная теория больших выборочных ковариационных матриц
1. Предельные формулы для спектральных функций.
В 1958 году Е.Вигнер для объяснения характерной формы энергетических спектров тяжелых ядер исследовал спектры самосопряженных операторов (гамильтонианов), представляемых случайными матрицами растущего порядка. Он установил [66], [67] сходимость спектральных плотностей случайных эрмитовых матриц с независимыми элементами а верхнем треугольнике и получил спектральную плотность /(?/) пропорциональную у/(тг^ — и)(и — и1)
(” полу круговой закон”).
В ряде последующих работ (см. [7], [8], [19], [30], [58], [79]) было обнаружено, что такие распределения, локализованные на конечном отрезке с бесконечными производными на концах типичны для случайных матриц растущей размерности.
В 1967 году В.А.Марченко и Л.А.Пастур [26] изучили предельные спектры самосопряженных операторов, которые могут быть представлены в виде суммы матриц А + 5, где А - неслучайные
16
эрмитовы матрицы растущей размерности со сходящимися спектральными функциями, a S - случайные матрицы Грама (2) с ожидаемыми значениями, образующими единичные матрицы. Введя некоторые тензорные соотношения, ограничивающие моменты переменных, они получили простое нелинейное уравнение, связывающее спектры матриц А со спектрами матриц А + S. В частном случае при А = I получается характерная предельная спектральная плотность для широкого класса распределений с cov (х,х) = /. Прокомментируем соогветствущий результат.
Рассматривается последовательность ф = {(0, N, S)n} задач изучения спектров матриц S вида (2), рассчитанных по выборкам объемов N из совокупностей 6 с ковариационными матрицами S = I (индексы п у 0, N, S выписывать не будем). Обозначим
п
hn(t) = n-1tr (7 + ÊjS)"1, Fn(u) = n~l ^ ind(Aj ^ и),
i-1
где Ai,..., A„ - собственные числа матриц S.
Теорема 1.2 (следствие теоремы 1 из [26]). Пусть ф удовлетворяет следующим условиям.
(А) Векторы наблюдений х из 0 таковы, что Е х = О и Т, = I при каждом п, а четвертые моменты всех компонент векторов х существуют и равномерно ограничены в ф.
(Б) Распределение х симметрично относительно перестановок компонент х и инвариантно относительно замены х на —х. Это значит, что компоненты х = (ху, .,.,хп) удовлетворяют соотношениям
Е XjXjXkXi = an(ôijSki + SikSji + SüSjk) + (Ьп ~ 3an)àijàjk8ki>
где S - символы Кронекера, a коэффициенты an — E x\x\, bn = E x\, n = 1,2,...
17
(В) Существуют, пределы lim ап и lim Ьп.
П—УОО п—>ос
(Г) Существует предел lim n/N = у > 0.
п—>оо
Тогда
1° при t ^ 0 существует предел plim hn(t) = h(t);
n-Г OO
p
2° д/г« д 0 имеет место слабая сходимость Fn(u) —> F(u);
3° если Re z < 0 или Im z ф 0, то h(z) = J (1 — zu) 1 dF(u);
4° справедливо уравнение h(t)( 1 -f ts(£)) = 1, где s(£) = 1 — у + yh(t), t ^ 0.
5° при и > 0 плотность F'(и) = (2тгуи)~1 л/(ио — и)(и — и\), Щ ^ и ^ д2, где u, = (1 - ^/)2, д2 = (1 + y/jj)2; при у > 1 функция F(u) имеет скачок в точке и = О, равный 1 — у~1.
Для доказательства этого утверждения В.А.Марченко и Л.А.Па-стур развили специальную технику исключения переменных и перехода к уравнениям в частных производных, которая стала орудием подобных исследований других авторов.
Замечание. Пусть векторы n-мерных наблюдений нормальны N(0,1]). Существует линейное преобразование (преобразование Хельмерта), которое преобразует матрицы Уишарта С вида (1) к виду матриц Уишарта S вида (2) (с N меньшим на единицу). При X = / выполняются условия Б и В и предельные спектры выборочных ковариационных матриц определяются утверждениями 4, 5.
В [43] и [22] доказано, что в предположениях А, В и Г утверждения теоремы 2 остаются верными для широкого класса совокупностей с cov (х,х)= I не только для матриц 5, но и для С.
После работы В.А.Марченко и Л.А.Пастура [26] и ряда работ Л.А.Пастура [30], [79] и др. этой областью исследований начал
18
интенсивно заниматься В.Л.Гирко, создавший развернутую спектральную теорию случайных матриц растущей размерности (монография 1975 г., [18-22]).
•Это направление было поддержано другими исследователями (см. [7], [8], [12], [58], [59]) и нашло применение в ряде задач теоретической физики, в теории устойчивости решений стохастических уравнений, в теории ускорителей и др. Была изучена сходимость спектральных функций, оценена скорость сходимости, установлено, что эмпирические спектры остаются почти наверное локализованными на конечном отрезке и изучены границы предельных спектров. Главная направленность теории В.Л.Гирко состоит в установлении сходимости спектральных функций случайных матриц растущей размерности и выводе спектральных уравнений (В.Л.Гирко называет их ’’каноническими”), выражающих предельные спектральные функции случайных матриц через неслучайные параметры. Эти соотношения в теории Гирко, как правило, имеют вид уравнений в частных производных. Особое внимание уделяется изучению нормированных следов резольвенты случайных матриц, которые связаны с эмпирической спектральной плотностью. В [19] эта программа выполнена для эрмитовых матриц с независимыми элементами в верхнем треугольнике, для матриц Якоби с независимыми строками, для матриц Грама вида [2], для некоторых неэрмитовых гауссовых и других матриц.
Главы 2 и 3 диссертации посвящены изложению результатов развития спектральной теории выборочных ковариационных матриц, выполненного автором в 1983-1995 гг. В работе автора диссертации [41] 1983 г. было впервые получено спектральное уравнение, связывающее простой функциональной зависимостью предельные спектральные функции выборочных и истинных ковариационных матриц. Приведем этот результат.
Обозначим (здесь и далее) предел в среднем квадратичном 1л.т..
19
Рассмотрим последовательность ф = {фп} задач
ф.„ = (6,Е,1У,Х,С)п (8)
изучения спектров ковариационных матриц С вида (1) и Е = соу (х,х) по выборкам X объемов N из совокупностей в (индексы п у аргументов фп выписывать не будем).
ТЕОРЕМА 1.3. Пусть последовательность ф удовлетворяет следующим условиям :
(A) для каждого п совокупность © нормальна (О, Е);
(B) для каждого п все собственные числа Е лежат на отрезке [С1,С2], где сг > 0 и с2 от. п не зависят;
(В) для каждого £ ^ О при п —» оо имеет, место сходимость п~Чг (/+ £Е) 1 —> 7/(£);
(Г) существует предел у = Нш тг/А^ > 0.
п—>оо
Тогда для каждого £ ^ 0 существует предел Ь{1) = 1л.ш. д. Чг (/ 4 £С)-1 такой, что выполняется уравнение
п—ъоо
Д(£) = 7] (£#(£)), где б-(£) = 1 — 7/4- :</Д(£). (9)
Вслед за работой автора [41] 1983 г.уравнение (9) было получено для нормальных совокупностей в работе Д.А.Барсова [11] 1984 г и в монографии В.Л.Гирко 1988 г. [19]. Это основное спектральное уравнение играет фундаментальную роль для приложений асимптотической теории больших выборочных ковариационных матриц. Оно позволяет, с одной стороны, изучать спектры выборочных ковариационных матриц высокой размерности по известным априори истинным ковариационным матрицам, а с другой стороны, изучать спектры неизвестных истинных ковариационных матриц но наблюдениям.
20
В работе В.И.Сердобольского [43] 1985 г. иоказано, что предельное спектральное уравнение (9) имеет широкую область применимости и является, по существу, независимым от распределений. Опишем основной результат [48] в упрощенной постановке.
гт 2
Пусть -4 означает сходимость в среднем квадратичном.
ТЕОРЕМА 1.4. Пусть последовательность задач (8) удовлетворяет следующим требованиям.
(А) Для каждого п Е х = 0 и существует максимальный четвертый момент проекций х на неслучайные оси. Для каждого п все собственные числа матриц Е лежат на отрезке [с^сг], где величины 0 < Ci ^ Со не зависят от п.
(Б) Компоненты Хі векторов х удовлетворяют соотношениям Е XiXjXkXi - Е XiXjЕ xkXi = 9.ikQji 4- 9nQjk + Луы,
i,j,k,l = 1 , ...,n, где спектральные нормы матриц {02;} и суммы \2ijki по всем индексам равномерно ограничены в ф.
lim n/JV = у > 0.
п—>оо
(Г) При п —> оо почти всюду при и ^ 0 имеет место сходимость
п
n-^indp* К(и),
:= 1
где Ai,..., Ап - собственные числа Е.
21
Тогда в ф
1° п Чг (I + tS)~1 Д h(t), гг“Чг (/ 4 £(7)"1 Д Л(0» ^ ^
п
2° r'^ind(Jij < гг) Л /’(«),
»=1
гг/е Aj - собственные числа С, г — 1,... ,п;
3° Д(г) = J (1 -j- £u)-1 <7F(u) = J (1 4 £s(£)w) 1 dFo(u), t ^ 0.
ге/е s(t) = 1 — 2/4- yh(t)} t ^ 0;
4° Е (/ 4- £S)_1 = (7 4 £s(£)£)_1 4- По,
E (7 4- /С)-1 = (7 4 t-s(t)E)-1 4 a
где ||П0|| —> 0, и ||П|| —> 0 при п —> оо.
Теорема 1.4 устанавливает новое характерное существенно многомерное явление, которое состоит в том, что при некоторых общих ограничениях на зависимость между переменными инвариантные относительно вращений спектральные функции выборочных ковариационных матриц растущей размерности оказываются нечувствительными к моментам переменных выше вторых, и, значит, теми же самыми, что и для нормальных распределений. Следствия этого эффекта для многомерного статистического анализа анализируются в главе 4 диссертации.
Для доказательства теоремы 4 используется специальная существенно многомерная независимая от распределений техника (см. п.З этой главы). Эта техника лежит в основе всех исследований автора [42—56]. Сходимость почти наверное, характерная для работ В.Л.Гирко, заменена сходимостью в среднем квадратичном. Сначала устанавливается убывание дисперсии матричных элементов резольвенты матриц S и векторов х. Этот факт устанавливается с помощью мартингальных лемм (см. в [19] и [21]). Достаточно использовать следующее простое утверждение.
22