Обратный закон больших чисел, как мы назвали бы его, оказался таким образом одной из тем классического, но длительное время не замеченного в интересующем нас смысле исследования Бейеса. Непонимание (объяснимое для того времени) различия между прямым и обратным законами больших чисел привело Якоба Бернулли и Муавра к ошибочным высказываниям.
ИСТОРИЯ СТАТИСТИКИ
Статистика. Её история и суть
(окончание. Начало в №2/2022 и сл.)
III
ОБРАТНЫЙ ЗАКОН БОЛЬШИХ ЧИСЕЛ
Историко-математические исследования, вып. 14 (49), 2011, 212 – 219
- Общие сведения
В 1713 г. вышло в свет посмертное сочинение Якоба Бернулли Искусство предположений(сокращенно ИП), в последней, 4-й части которого находился его закон больших чисел (ЗБЧ), термин Пуассона. Только на эту часть мы будем ссылаться. В 1913 г. В.Я. Успенский перевел ее на русский язык и тогда же его перевод с предисловием А.А. Маркова появился в свете. Второе русское издание перевода (Бернулли 1986) было дополнено также речью Маркова 1913 г. о ЗБЧ (Марков 1914), примечаниями и комментариями нескольких авторов, из которых мы ниже сошлемся на Ю.В. Прохорова (1986).
В гл. 1-й Бернулли не совсем формально и притом не упомянув равновероятности случаев ввел “классическое” определение вероятности. Свое Главное предложение, т. е. ЗБЧ, в гл. 5-й Бернулли, однако, сформулировал в терминах благоприятных и неблагоприятных случаев, а в последних строках ИП вновь упомянул вероятность. Он явно не успел закончить свой труд; так, заглавие части 4-й (исключенное Успенским) указывало на отсутствовавшие в ней приложения искусства предположений. Возможно также, что Бернулли не хотел отрывать изложения от своей гл. 4-й, в которой ему пришлось исходить из этих случаев.
Если всё же перейти к вероятностям, то теорему Бернулли можно описать как исследование стохастической сходимости статистической вероятности к постоянной теоретической вероятности р, а именно как, во-первых, доказательство того, что при неограниченном возрастании числа независимых испытаний предел равен р, и, во-вторых, как оценку быстроты указанной сходимости.
Эта оценка оказалась неудачной; Марков (1900/1924, с. 44 – 52) значительно улучшил ее, Пирсон (1925) же достиг еще лучших результатов, но, правда, применив не известную Бернулли формулу Стирлинга. Марков (там же, с. 104 – 115) вновь исследовал быстроту сходимости, на этот раз также обратившись к формуле Стирлинга, но почему-то не сослался здесь на Бернулли. Последовали и другие оценки быстроты сходимости, и тут нам достаточно сослаться на Прохорова (1986).
Доказанного Бернулли существования предела Пирсон (1925, с. 202) вообще не упомянул и совершил грубую историческую ошибку, сравнив его теорему с ошибочной системой мира Птолемея. Редактор его посмертно изданных лекций 1921 – 1933 гг. (1978), его сын Эгон Пирсон, сообщил на с. 230, что исключил соответствующую лекцию, в которой статья 1925 г. была по сути повторена, а сам отец заявил на первой же странице книги, что “основополагающий принцип статистики приписывался Бернулли, а не его истинному автору, Муавру…”
- Обратная теорема
Тодхантер (1865, с. 73) обратил внимание на то, что Бернулли считал, что доказал и обратную теорему. По тому же поводу Пирсон (1925, с. 205) заметил, что Бернулли, доказав ЗБЧ, “обратил свою задачу” и заявил, что р должно будет оказываться всё ближе к т. е. оценивается всё лучше и лучше. Фактически Бернулли лишь указал в последних строчках ИП, что “если бы наблюдения над всеми событиями продолжались всю вечность (причем вероятность [статистическая!] … перешла бы в полную достоверность), то было бы замечено, что всё в мире управляется точными отношениями и постоянным законом изменений…”
Марков (1914/1986, с. 10 – 11) подтверждает, что Бернулли действительно имел в виду и обратную задачу, но в качестве примера приводит лишь его далеко не самую интересную урновую задачу.
Уже в своем Дневнике, в 1685 или 1686 г., Бернулли (1975, с. 46 – 47) рассуждал об апостериорной вероятности (да, вероятности, по существу предваряя ее определение 1713 г., см. наш п. 1) одному человеку пережить другого. На полях своего Дневника (там же, с. 46) он выписал выходные данные рецензии на классический труд Граунта 1662 г.: “Billet demortalité, vid. Journal [de Sçavans] a° [année] 1666, n° XXXI”1. И Тодхантер (1865, с. 194) указал, что Николай Бернулли решал одну из своих задач со ссылкой на Якоба, исходя из статистических данных, которые, добавим мы, могли быть взяты только из таблицы Граунта (2005, с. 75).
Далее, в 1713 г, в гл. 4-й, Бернулли рассуждал именно об обратной задаче, соответствующую цитату см. Шейнин (2007а, с. 315). По сути вся эта глава и была посвящена ее качественному описанию, частично в качестве окончательного ответа на возражения Лейбница, высказанные тем в его переписке 1703 – 1705 гг. с Бернулли.
Муавр также полагал, что его предельная теорема может быть повернута вспять (Шейнин 2007а, с. 315), и только Бейес и Прайс (там же, с. 318 и Прим. 1) поняли, что обратную задачу следует исследовать особо (там же, с. 316). Прайс, добавим сейчас, не упомянув Бернулли, заявил, что [его последнюю] фразу о точных отношениях и постоянных законах (см. выше) естественнее обосновывать по Бейесу.
- Особый случай обратной задачи:
несуществующая теоретическая вероятность
Обратим внимание: в некоторых примерах Бернулли из его гл. 4-й речь шла об оценке не существовавших вероятностей2. Для математики в этом нет ничего необычного, а в статистике сохранилось выражение теории ошибок “истинное значение” измеряемых констант, притом даже и не существующих в природе (Шейнин (2007b). Вот лишь два примера: Гаусс (1823) отыскивал истинное значение мер точности наблюдений, а Фишер (1922, с. 309 – 310), введя основополагающие понятия о свойствах статистик, на следующей же странице упомянул истинные значения средних квадратических ошибок и коэффициентов корреляции. Оцениваться же эти истинные значения могли только статистически.
Практика показала, однако, что статистики не восприняли ЗБЧ, в первую очередь ввиду неопределенности, связанной с понятием вероятности.
Особняком можно выделить несуществующую вероятность у Гершеля (1817/1912, с. 579):
“Можно предположить, что любая звезда, случайно отобранная из подобного числа их [из 14 тысяч звезд первых семи величин] вряд ли будет намного отличаться от их некоторого среднего размера”.
Никаких данных у Гершеля, конечно же, не было, а теперь известно, что по своим размерам звезды чудовищно отличаются друг от друга и вообще не составляют единой совокупности. Ни о каких вероятностях (которые косвенно заметны у Гершеля) говорить здесь нельзя. Exnihilo nihil!
- Статистики о законе больших чисел
О ЗБЧ в форме Пуассона (тем более Чебышева) здесь можно умолчать3. Даже Кетле, имеющий немаловажные заслуги перед статистикой (Гнеденко и Шейнин 1978, с. 209 – 211), практически не вспоминал о ней. Введенные им понятия среднего человека и наклонностей к женитьбе и преступлениям были едиными для всех возрастных групп, не говоря уже о том, что человек со средним ростом и средним весом невозможен. Кетле, правда утверждал, хоть и не собрав достаточных данных, что (относительное) количество преступлений устойчиво и видимо мысленно обосновывал это заключение теоремой Бернулли, но не более того.
В 1880-е годы в Германии зародилось континентальное направление статистики, зачинателем которого был В. Лексис. Он (1877, с. 15 – 18) признал, что “равновозможные случаи” можно представить себе, если статистическая вероятность действительно стремится к определенному значению, а обстоятельства, связанные с изучаемым явлением, “достаточно” напоминают условия азартных игр. Мы бы сказали: он полагал, что следует как-то проверять необходимые условия ЗБЧ. Но позднее тот же Лексис (1886, с. 437) заключил, что ввиду “равновозможных случаев” теория вероятностей оказалась субъективно обоснованной дисциплиной, и те же случаи, прямо скажем, преследовали его и много позже (1913, с. 2091).
Картина не очень приятная, но вот и похуже. Мациевский (1911, с. 96) ввел “статистический закон больших чисел”, который лишь утверждал, что “колебания статистических чисел угасают с возрастанием числа наблюдений”. Там же (с. 94 – 98) он заявил, что “настоящий” ЗБЧ препятствовал развитию статистики!
Борткевич (1917, с. 56 – 57), этот хронологически второй главный автор континентального направления, посчитал, что ЗБЧ следует понимать только в смысле, который он приобрел в статистике, т. е. для обозначения “вполне общего” и “не связанного ни с какой определенной стохастической схемой” факта устойчивости статистических показателей при большом числе наблюдений и слабо меняющихся условиях.
Опишем еще мнение В.И. Романовского. В одном из своих первых сочинений он (1912) рассуждал о частоте μ появления события при большом числе n испытаний по схеме Бернулли, как можно сказать сейчас, при вероятности “успеха” р, а точнее о формуле
μ = np, (1)
а также о “теореме Бернулли”. Проделав соответствующий опыт и сверив его результаты с оценками по формуле Муавра, дополненной поправочным членом Лапласа, он посчитал, что опыт сходился с теорией. Мы бы сказали, что он сверил результаты опыта не с теоремой, как он полагал, а с принципом Бернулли.
Далее, Романовский (с. 20) заявил, что в классическом определении вероятности следует указывать, что равновозможными называются случаи, которые повторяются одинаково часто; если же этого не произошло, то равновозможность не была точной. И вот его заключение (с. 22):
“В самом начале исчисления вероятностей должен иметь место закон, на котором покоится вся приложимость этого исчисления к действительности. Этот закон по всей справедливости можно назвать законом больших чисел. Он не зависим и [ни] от теоремы Бернулли, и [ни] от теоремы Пуассона и служит им основанием. Он гласит…”, что формула (1) должна примерно соблюдаться.
На с. 18 Романовский заметил, что теорема Бернулли теряет смысл, если его нет в понятии о вероятности события при единичном испытании. Это же чуть раньше утверждал Марков (1911/1977, с. 162), но Романовский тем самым опровергал свое же определение вероятности.
Позже он (1924, с. 15 прим.) согласился с Борткевичем (см. выше) и, не ссылаясь на свои прежние высказывания, посчитал законом больших чисел “многие теоремы исчисления вероятностей, в которых существенную роль” играет большое число испытаний. Наконец, Романовский (1961, с. 127) подчеркнул естественно-научную суть ЗБЧ и назвал его физическим.
В современной энциклопедии (Прохоров 1999) ЗБЧ посвящено несколько статей, и первая из них начинается, на с. 60, с признания ЗБЧ “общим принципом”. Иначе говоря, признается его физический смысл, если не физическая суть.
Своим статистическим определением вероятности Мизес по существу логически завершил мысли Бернулли, Муавра и Бейеса. По поводу его теории Тутубалин (1977, с. 15) заметил, хоть и не вполне четко, что современная теория вероятностей основывается на аксиоматике Колмогорова, но что “сама концепция практических применений” этой теории “в общем следует концепции Мизеса”.
Да, представители естественных наук, конечно же, могут ссылаться на Мизеса, но в таком случае они вполне могли бы довольствоваться и Бейесом или даже Бернулли и Муавром.
Сомнения Лексиса (§ 4) привели его к формулировке критерия для проверки равенства вероятностей появления события в различных сериях наблюдений, – к исследованию устойчивости статистических рядов. Эта тема на несколько десятилетий оказалась главной в теоретической работе континентальных статистиков и позиция статистиков по отношению к несуществующим вероятностям соответственно изменилась. Чупров (1918 – 1919), правда, почти полностью опровергнул практическую значимость критерия Лексиса, но в результате указанных исследований статистическая мысль значительно оживилась и некоторые важные попутные результаты были всё-таки получены.
Пусть в серии испытаний i изучаемое событие, вероятность появления которого предполагается одной и той же и равной р, осуществилось ai раз, тогда дисперсию этих величин можно вычислить по непараметрической формуле Гаусса и по формуле, пригодной лишь для биномиального распределения
σ2 = pqn, q = 1 – p, (1)
n – число испытаний.
В зависимости от величины отношения этих дисперсий Лексис (1879, § 6), исходя, правда, из общепринятых в то время вероятных ошибок, что не существенно, подразделил устойчивость рядов независимых испытаний на два класса. Более подробно описывать его мысли нет смысла, поскольку практической значимости его рассуждения не имеют, см. выше, и мы лишь заметим, что применение формулы (1) представляется здесь ошибочным. Она предполагает вероятность р известной, Лексис же проверял эту предпосылку, исходя из статистических данных. Иначе говоря, следовало исходить из формулы дисперсии в схеме Бейеса, и непонятно, почему Чупров этого не заметил. Эту формулу можно было усмотреть не только в немецком переводе мемуара Бейеса (Шейнин 2007а, § 2), но и у Чубера (1903/1908, с. 186), на которого Чупров (1909/1959, с. 159) сослался, хоть и по другому поводу.
- Заключение
Обратный закон больших чисел, как мы назвали бы его, оказался таким образом одной из тем классического, но длительное время не замеченного в интересующем нас смысле исследования Бейеса. Непонимание (объяснимое для того времени) различия между прямым и обратным законами больших чисел привело Якоба Бернулли и Муавра к ошибочным высказываниям. Аналогичное утверждение верно и по отношению к Лексису.
Примечания
- Таким образом, Бернулли безусловно знал о книге Граунта, хотя возможно и не читал ее. По этой причине Чайковский (2001, с. 45 – 46) напрасно утверждал, что идею апостериорных оценок Бернулли мог найти только у Кардано. Он (с. 51 и далее) вообще измыслил “теорему Кардано – Бернулли”, хоть так и не привел точной ссылки на появившегося соавтора! Более того: если Кардано и указал что-то о приближении статистической вероятности к теоретической, то уж никак не доказал этого. И тут уместно вспомнить, что Гук знал формулу закона всемирного притяжения, но не опубликовал и не обосновал ее, и вся слава заслуженно досталась здесь Ньютону. Имея в виду и другие “открытия” Чайковского, его статью следует забыть навсегда.
- Так, в одном из примеров Бернулли (гл. 4-я, с. 41) замечает, что нельзя заранее узнать, насколько чума опаснее водобоязни. Но заметим еще, что этот устаревший термин Успенского мы успешно предложили заменить на бешенство; на самом деле следовало упомянуть водянку. См. также Шейнин (2007а, с. 315).
- Закон больших чисел в форме Пуассона интересен в другом смысле: его автор допускал, что теоретические вероятности (разумеется, во множественном числе) могут быть неизвестными. Так, в качестве примера действия своего закона он (1837, с. 10) бездоказательно указал на существование среднего интервала между молекулами тела. Теперь общепризнанно, см., например, Гнеденко (1950/1951, пп. 30 и 31), что в подобных случаях следует ссылаться на ЗБЧ в форме Чебышева и видно, что вероятностей при этом вообще не удастся определить.
Библиография
Бернулли Я., Bernoulli J. (1975), Werke, Bd. 3. Basel. Содержит, в частности, вероятностную часть Дневника(Meditationes) автора и его же ИП 1913 г. (Ars conjectandi), в обоих случаях без перевода с латинского, с. 21 – 90 и 107 – 259 соответственно. Редактор B.L. van der Waerden.
— (1986), О законе больших чисел. М. Содержит 4-ю часть Искусства предположений (1713) автора в перепечатке перевода с латинского В.Я. Успенского 1913 г., краткое предисловие А.Н. Колмогорова, переиздание предисловия А.А. Маркова (1913) и его же юбилейной речи о ЗБЧ 1913 г., опубликованной в 1914 г., примечаний и комментариев нескольких авторов. Редактор Ю. В. Прохоров.
Гаусс К.Ф. (1823, латинск.), Теория комбинаций наблюдений. Перевод в книге автора Избранные геодезические сочинения, т. 1. М., 1957, с. 17 – 57. Редактор Г.В. Багратуни.
Гнеденко Б.В. (1950), Курс теории вероятностей. М., 1951.
Гнеденко Б.В., Шейнин О. Б. (1978), Теория вероятностей. Глава в книге Математика XIX века [т. 1]. М., с. 184 – 240. Редакторы А.Н. Колмогоров, А.П. Юшкевич.
Граунт Дж. (2005), Естественные и политические наблюдения над бюллетенями о смертности. Перевод с английского оригинала 1662 г. в книге Граунт Дж., Галлей Э. Начала статистики населения, медицинской статистики, математики страхового дела. Берлин, 2005, с. 5 – 105. Также www.sheynin.de
Марков А.А. (1900), Исчисление вероятностей. Последующие издания: 1908, 1913; посмертное издание М., 1924.
— (1911), Об основных положениях исчисления вероятностей и о законе больших чисел. В книге Ондар (1977, с. 161 – 166).
— (1914), Двухсотлетие закона больших чисел. В книге Бернулли (1986, с. 9 – 16).
Ондар Х.О. (1977), О теории вероятностей и математической статистике. Переписка А.А. Маркова и А. А. Чупрова. М.
Прохоров Ю.В. (1986), Закон больших чисел и оценки вероятностей больших уклонений. В книге Бернулли (1986, с. 116 – 150).
—, редактор (1999), Вероятность и математическая статистика. Энциклопедия. М.
Романовский В. И. (1912), Закон больших чисел и теорема Якова [Якоба] Бернулли. Варшава.
— (1924), Теория вероятностей и статистика: по некоторым новейшим работам западных ученых. Вестник статистики, № 4 – 6, с. 1 – 38. Первая часть статьи.
— (1961), Математическая статистика, кн. 1. Ташкент. Редактор Т.А. Сарымсаков.
Тутубалин В.Н. (1977), Границы применимости. Вероятностно-статистические методы и их возможности.М.
Чайковский Ю.В. (2001), Что такое вероятность? Эволюция понятия (от древности до Пуассона). Историко-математич. исследования, вып. 6 (41), с. 34 – 56.
Четвериков Н. С. (1968), О теории дисперсии. М.
Чупров А.А. (1909), Очерки по теории статистики. М., 1959.
— (1918 – 1919, нем.), К теории стабильности статистических рядов. В книге Четвериков (1968, с. 138 – 224.
Шейнин О.Б., Sheynin O. (2007а), К истории теоремы Бейеса. Историко-математич. исследования, вып. 12 (47), с. 312 – 320.
— (2007b), The true value of a measured constant and the theory of errors. Historia Scientiarum, vol. 17, pp. 38 – 48.
Bortkiewicz L. (1917), Die Iterationen. Berlin.
Czuber E. (1903), Wahrscheinlichkeitsrechnung und ihre Anwendung auf Fehlerausgleichung, Statistik und Lebensversicherung, Bd. 1. Второе издание 1908 г., перепечатка: Нью Йорк, 1968.
Fisher R.A. (1922), On the mathematical foundations of theoretical statistics. Phil. Trans. Roy. Soc., vol. A222, pp. 309 – 368.
Herschel W. (1817), Astronomical observations and experiments tending to investigate the local arrangement of celestial bodies in space. Scient. Papers, vol. 2. London, pp. 575 – 591.
Lexis W., Лексис В. (1877), Zur Theorie der Massenerscheinungen in der menschlichen Gesellschaft. Freiburg i/B.
— (1879, нем.), О теории стабильности статистических рядов. В книге Четвериков (1968, с. 5 – 38).
— (1886), Über die Wahrscheinlichkeitsrechnung und deren Anwendung auf die Statistik. Jahrbücher f. Nationalökonomie u. Statistik, Bd. 13 (47), pp. 433 – 450.
— (1913), Рецензия на книгу A. A. Kaufmann (1913), Theorie und Methoden der Statistik. Tübingen, 1913. Schmollers Jahrbuch f. Gesetzgebung, Verwaltung und Volkswirtschaft in Deutschen Reiche, Bd. 37, pp. 2089 – 2092.
Maciejewski C. (1911), Nouvaux fondements de la théorie de la statistique. Paris.
Pearson K. (1925), James Bernoulli’s theorem. Biometrika, vol. 17, pp. 201 – 210.
— (1978), History of Statistics in the 17th and 18th Centuries. Lectures 1921 – 1933. London. Editor E.S. Pearson.
Poisson S.-D. (1837), Recherches sur la probabilité des jugements en matière criminelle et en matière civile. Paris. Перепечатка: Paris, 2003.
Todhunter I. (1865), History of the Mathematical Theory of Probability. Reprints: New York, 1949, 1965.