Как лгать при помощи статистики

Несмотря на почти 70-летнюю историю книги (оригинал издан в 1954 году) Дарелл Хафф - Как лгать при помощи статистики остаётся актуальной для тех, кто работает с данными.
На доступных примерах в книге рассказано как выбрать вероятностную выборку на условиях стратификации, какое среднее (модальное или медианное) является правильно выбранным. Также рассмотрены нюансы средних показателей.
Отдельное внимание уделено построению графиков и диаграмм.
Для экспертов важной является обоснованность данных и правильное установление зависимостей между разными выборками. Т.к. одним из распространённых случаев ковариации является существование взаимосвязи, но какая из переменных выступает причиной, а какая следствием установить невозможно.
В последних главах приведены примеры "статистикуляций" (манипуляций со статистикой) и советы как этого избежать.
Книгу можно рекомендовать не только начинающим исследователям данных (статистикам, аналитикам, дата сентистам), но и тем, кто этим занимается достаточно давно для упорядочивания и систематизации методов работы с данными.Если не получается доказать то, что вы хотите доказать, продемонстрируйте нечто другое и настаивайте, что это то же самое. В ошеломлении, которое всегда сопровождает столкновение статистики с человеческим разумом, едва ли хоть кто-нибудь заметит подмену. Привязать цифру, отражающую какой-то факт, к другому факту – приём известный и всегда сослужит вам добрую службу. Действует безотказно.

Книга написана в 60 с лишним лет назад, но это совершенно не чувствуется. Казалось бы прошло столько времени и все должно было кардинально измениться, а способы манипулирования информации шагнуть далеко вперёд, но прочитав эту книжку, понимаешь, что новое -- это хорошо забытое старое. Рассказанные уловки до сих пор можно увидеть на каждом шагу. Можно сказать, это база того, как нечестные маркетологи, газетчики и прочие заинтересованные лица, вводят массы в заблуждение. Плюсом к практической пользе, Дарелл Хафф приводит множество на самом деле увлекательных примеров, а ещё текст сопровождают очень забавные карикатуры.

Хотите узнать, как нас обманывают продавцы недвижимости, почему нельзя доверять клиническим исследованиям, какие уловки используют СМИ и главное действительно ли все человечество страдает неврастенией? Если да, то вам определенно придется по вкусу эта маленькая (всего 161 страница) книжечка. Все лгут, ну ладно не все, но статистики точно). Несколько манипуляций с цифрами и вот мы уже видим очередное громкое заявление -- с нашей зубной пастой образование кариеса снижается на 23% или цены по сравнению с прошлым годом выросли на 50%. Но можно ли доверять этой информации? По сути статистика не очень точная наука. В какой-то мере все зависит от случая и воли статистика. При опросе охватили не все группы населения и уважаемый журнал, чьим прогнозам доверяла вся страна, ошибается в новом президенте. Неверно интерпретированы данные и вместо больших, вместительных домов, возводятся крошечные домики, на которые совсем нет спроса. Все это скорее примеры случайных ошибок, которые в первую очередь навредили самим специалистам. Но вот в попытках намеренного манипулирования нашим мнением статисты не знают себе равных. Одним из самых ярких примеров не постоянства статистики является информационная война, развернувшаяся в 40-х годах прошлого века между профсоюзами и заводами. Оперируя одними и теми же цифрами каждая сторона так ловко их интерпретировала в свою пользу, что журналу Time в обзорной статье пришлось накладывать полученные данные друг на друга, чтобы не принимать чью-либо сторону и показать что те и другие в общем-то правы. Если даже в таком серьезном деле, как распределение прибыли, можно перетянуть цифры на свою сторону, то что уж говорить о манипуляциях в рекламе. Маленькие выборки, небольшие случайности и в прессе уже появляются провокационные заголовки о менее вредных сигаретах и абсолютно не потеющих дамах. Автор собрал большинство уловок, которые используют недобросовестные статистики и конечно же способы, как вывести их на чистую воду (одна из глав так и называется: как поставить статистика на место). Что примечательно, этот труд был написан еще в 50-х годах прошлого века, но свою актуальность не потерял до сих пор. В целом книга оставила только приятные впечатления: нет воды, простой язык, масса забавных примеров и иллюстраций и самое главное совсем не обязательно знать что такое мода, медиана, выборка, чтобы получить от нее удовольствие. Кстати, по данным статистики, в мире продано 7 299 792 458 экземпляров этой книги. Как вы думаете, каким способом была получена эта информация?

«Надеюсь, вы не страдаете снобизмом, а я определенно не имею никакого отношения к рынку недвижимости. Но давайте считать, что вы все-таки сноб, а я – агент по продаже недвижимости и что вы как раз сейчас присматриваете земельный участок поблизости Калифорнийской долины, где я обитаю…»Если бы я училась в университете, я бы хотела, чтобы статистику мне преподавал такой профессор как Дарелл Хафф. Книжка, даже не смотря на то, что относится к разделу non-fiction, читается на одном дыхании. Ты словно зашел в лекционный зал, отсидел сдвоенную пару введения в статистику и, с одной стороны, вроде бы и насмеялся вдоволь, а с другой - и знаний чуток приобрел. Я люблю математику и всегда с трепетом отношусь к людям, которые не равнодушны к цифрам. То, с какой легкостью Хафф говорит о вещах, связанных со счетом и подсчетом, сдабривая теорию яркими примерами из истории и толикой саркастического юмора, просто не может оставить равнодушным. Эта книга была написана почти пол века назад, и некоторые доводы с появлением Интернета уже несколько утратили свою актуальность, но бОльшая часть все еще применяется на практике и маркетологами, и статистиками и многими другими специалистами, которые предоставляют на наше обозрение красивые графики, серьезные циферки и железобетонные выводы, за которыми может крыться пустота. Любознательно, познавательно и очень увлекательно. Я бы сказала, что это книга про жуликов в мире цифр (или для жуликов в мире цифр, тут уж все зависит от уровня честности и сознательности каждого индивидуального читателя).

Я думаю, эта книга должна быть включена в школьную программу. Трудно сказать, стоит ли её делать обязательной к прочтению или лишь как дополнительный материал, ибо люди редко вчитываются в текст, если книга им навязывается кем-то со стороны, насильно. В любом случаи, это одна из немногих книг с которой необходимо начинать своё первое знакомство, приступая к чтению нехудожественной литературы или литературы по бизнесу. Как многие люди начинают первое знакомство с психологией с книги Карнеги «Как завоёвывать друзей и оказывать влияние на людей» так и эта книга является хорошим способом для первого знакомства с темой «статистика». Книга не использует сложные математические формулы, да и на учебник совершенно не похожа. Что означает, что для понимания материала не нужно практически никакого образования, кроме базового, ведь книга описывает всё то, с чем каждый человек сталкивается в повседневной жизни. В книге так же нет каких-то отсылок к бизнес-операциям или к статистическим отчётам государственных служб. Всё о чём пишет автор, мы регулярно встречаем на страницах обычных газет, журналов и в интернет пространстве. Книга показывает, как, казалось бы, точная наука может стать более неконкретной, ошибочной и ложной, чем все гуманитарные науки вместе взятые. Ведь многие люди намного больше доверяют цифрам и математике, нежели таким трудно верифицированным предметам как психология, история или маркетинг. Однако, как показывает нам автор этой книги, цифрами можно с легкостью манипулировать. Вполне легко можно повернуть цифры так, что они будут поддерживать необходимую точку зрения. Как говорится, «ловкость рук и никакого мошенничества». И люди верят. Ведь разве может статистика врать? На что автор отвечает: может и врёт! Точнее, люди, которые её используют.Несмотря на то, что книга написана как раз в тот период, когда была написана и самая популярная нехудожественная книга, которую я уже упоминал – «Как завоёвывать друзей и оказывать влияние на людей» - она продолжает сохранять свою актуальность, несмотря на прошедшие десятилетия после её издания. Как у книги Карнеги не появилось серьёзного конкурента, которая бы сделала его главную книгу неактуальной, так и у книги «Как лгать при помощи статистики», так же нет сильного конкурента, который бы сделал книгу не актуальной и ненужной. Я даже не знаю, почему никто не решился написать что-то похожее? Случайность? Не думаю…Дополнительный плюс книг, это её размер. Вообще, у этой книги на удивление много достоинств. Это и ясный и понятный стиль изложения, это и актуальность информации, это и практическая полезность. Но я бы ещё отметил два больших плюса, благодаря чему я даю книге высший бал. Во-первых, это небольшой размер книги. Книга состоит практически из 100 страниц. В сегодняшнем мире, это большая редкость. Сегодня, такую книгу разделили бы на три книги с 250 страницами каждая. В общем, это большой плюс, что автор экономит и место на полке, и время читателя и предлагает информацию в сжатой, но понятной форме, не добавляя избыточных примеров и избыточного текста как такового. И второй момент, это то, что книга учит читателя критическому мышлению, она показывает, что даже цифрами можно манипулировать, а это значит, что к любой информации нужно подходить немного скептически. Возможно даже, что это главная ценность книги, ибо даже сегодня многие люди думают, что если статистика что-то сказала, то это на 100% корректные цифры. Кстати, выборы в США, на которых победил Дональд Трамп, это как раз наиярчайший пример того, как люди лгали при помощи статистики. Прошло больше 60 лет после выпуска книги, а многие люди так и не выучили уроки этой самой книги.

Книга написана полвека назад, но от этого изложенные идеи совершенно не теряют актуальности. В мире, где новостные заголовки и заявления рекламодателей насквозь пронизаны данными исследований важно разбираться в качестве озвучиваемых цифр. Например знали ли вы что «среднее значение» (средняя зарплата, средний размер семьи, средняя стоимость товаров) могут быть трех видов? Один и тот же массив данных можно подать разными способами:- среднеарифметическое
- медиана
- модаПростой пример манипуляции средним значением:Руководитель предприятия при найме на работу менеджера по продажам может заявить, что его сотрудники зарабатывают в среднем больше 80 тыс. руб. в месяц, – ему выгодно назвать наиболее притягательную цифру. Если 10 сотрудников зарабатывает по 30 тыс., 5 по 80 тыс., а 2 руководителя группы зарабатывают по 350 тыс. руб – среднеарифметическое действительно будет больше 80 тыс., а вот мода и медиана будут равны 30 тыс. Налоговой службе такой руководитель вероятно назовет последнюю цифру.

Наша зубная паста на 15% лучше удаляет налетРекламодатели заявляя об ошеломительной эффективности продукта, относительно конкурентов, проводя исслеования предпочитают небольшие выборки. Если взятая для исследования группа, достаточно велика и правильно отобрана, то для большинства надобностей она будет вполне репрезентативной. В противном случае выборка даст вам значительно менее точное представление о целом, чем сколько-нибудь обоснованные прикидки, а ее единственным достоинством будет разве что иллюзорное впечатление научной точности. Если простуду лечить, то она проходит за 7 дней...Наш мозг так устроен, что все время пытается создавать причинно-следственные связи, а еще предпочитает простые ответы сложным – этим и пользуются различные любители манипуляций общественным мнением. Автор разбирает эту когнитивную ошибку на вере жителей островов Новые Гибриды в то, что вши приносят здоровью сплошную пользу – вшивость была нормальным состоянием всех членов племени. Когда же кто-то из членов племени заболевал лихорадкой, температура тела становилась слишком высокой для комфортного обитания вшей, и они покидали своего хозяина. Островитяне же считали, что человек заболевал вследствие покидания вшей. Это тот случай, когда причина и следствие поменялись местами, да еще и спутались. Короткая и полезная книга, которая побуждает задавать больше вопросов при столкновении с результатами каких-то исследований и докапываться до сути.

Как известно, существуют три вида лжи: ложь, наглая ложь и статистика. И если первые два вида зачастую бывает легко распознать, то с лживой статистикой не так все просто.
Для того чтобы уметь ее распознать, необходимо понимать, как проводятся статистические исследования, какие существует методы, позволяющие исказить или даже сфальсифицировать выводы в одну или другую сторону.
Книга Дарелла Хаффа с говорящим названием «Как лгать при помощи статистики» проливает свет на эти вопросы и позволяет отличить хорошую статистику от плохой.Книга была написана Хаффом в 1954 году и за это время стала одной из самых популярных книг, посвященных статистике. Даже надпись на обложке говорит о том, что по данным статистики в мире было продано свыше 7 миллиардов экземпляров данной книги. Так что с самого начала она настраивает на позитивный лад.
На первый взгляд может показаться, что книга не актуальна, ведь во время ее написания не было современных информационных систем, интернета, больших данных, но все совершенно наоборот.
Сегодня каждый день различные СМИ, компании, государственные учреждения и различные другие организации публикуют статистические данные. И сегодня как никогда нужно уметь оценивать эту информацию.Хафф описывает множество примеров, иллюстрирующих различные способы манипуляций статистическими данными. Чувствуется, что автор искренне переживает из-за недобросовестного применения статистики и стремится рассказать все возможные способы манипуляций. Поэтому он подает информацию наглядно, без сложных формул и заумных слов и с большой долей иронии. Так что складывается ощущение, будто автор лично рассказывает вам обо всех забавных и не очень примерах.
В конце книги автор рассказывает, как поставить статистика на место, а именно дает читателю пять вопросов, ответив на которые можно оградить себя от массы сведений, которые не содержат и крупицы правды.Несмотря на то, что эта книга была написана несколько десятилетий назад и состоит всего из 163 страниц, она стоит прочтения. Во-первых, яркие примеры и ироничный слог автора читаются легко и приятно. А, во-вторых, книга учит критическому мышлению и показывает, что к числам стоит относиться не как к «сакральному знанию», а как к инструменту, с помощью которого осуществляется манипулирование нашим мнением.
А этого нам в современном информационном мире, в котором числа встречаются практически везде, ой как не хватает.
Чуть более подробно рассказываю о книге в видео.

Несмотря на то что книга написана в 1954 году, многое до сих пор остается актуальным. Мы слепо верим цифрам, процентам и статистическим графикам. Рекламщики не дремлют и производитель не прочь повысить продажы приведя цифры и просто умолчав о выборке.Книга покажет на ярких примерах и картинках почему не стоит верить статистике, почему всегда нужно перепроверять данные, и, как лгать при помощи статистики.

Понятным языком и с яркими примерами (и потрясающими картинками) Дарелл Хафф более полувека назад рассказал, как можно "обоснованно" получить любую бессмыслицу. И даже в наше время большинство примеров, приведенных в книге можно встретить в газетах, на баннерах и в сети. Д. Хафф на примерах показывает, почему так важно правильно составить выборку (например, для опроса общественного мнения), или выбрать верный показатель среднего, который может хоть что-то сообщить об оцениваемом параметре, или адекватно определить базовый период, с которым и будет производиться дальнейшее сравнение, а также почему графики, построенные на довольно точных оценках, все равно могут лгать и многое другое.Книга проста для понимания, но в тоже время позволяет выработать критический взгляд на представляемые нам результаты статистических расчетов, а также задавать простые вопросы, ответы на которые могут как показать качество исследований, так и полную их непригодность для хоть каких-нибудь обоснованных выводов. Дело остается за малым: применять полученные знания и критически подходить представляемым нам слоганам, только делать это зачастую лень, да и ответы на возникающие вопросы найти иногда довольно сложно.