Проводить эксперимент: Error 404 (Not Found)!!1

Добровольцы применяют лечение к члену своей семьи, который должен заполнить три анкеты в течение определенного периода времени, чтобы выяснить, влияют ли награды или убеждения на поведение утилизации.

Некоторые квазиэкспериментальные разработки

Неэквивалентная групповая конструкция

Это очень похоже на рандомизированный дизайн до и после тестирования, но без рандомизации. Две группы выбраны из-за их сходства, но они не так похожи, как если бы назначение было чисто случайным, отсюда и название.

Регрессия выбора

Отличительной чертой этого типа дизайна является то, как он распределяется по группам: люди оцениваются до начала программы и распределяются на основе их баллов.Базовый план — это двухгрупповой план до и после тестирования, с мерами до и после программы. Преимущество состоит в том, что назначение основано на потребности — например, самые тяжелые пациенты в лекарстве, дети с самыми низкими баллами в программе лечения.

Проведение экспериментов — Методы исследования в психологии — 2-е канадское издание

1. Опишите несколько стратегий набора участников для эксперимента.
2. Объясните, почему важно стандартизировать процедуру эксперимента и несколько способов сделать это.
3. Объясните, что такое пилотное тестирование и почему оно важно.

Информации, представленной до сих пор в этой главе, достаточно, чтобы спланировать базовый эксперимент. Однако когда приходит время провести этот эксперимент, возникает несколько дополнительных практических вопросов. В этом разделе мы рассмотрим некоторые из этих проблем и способы их решения. Большая часть этой информации относится как к неэкспериментальным, так и к экспериментальным исследованиям.

Конечно, в начале любого исследовательского проекта вы должны подумать о том, как вы получите своих участников.Если, например, у вас нет доступа к людям, больным шизофренией или находящимся в заключении несовершеннолетним правонарушителям, нет смысла разрабатывать исследование, ориентированное на эти группы населения. Но даже если вы планируете использовать удобный образец , вам придется набирать участников для своего исследования.

Есть несколько подходов к набору участников. Один из них — использовать участников из официального предметного пула — установленной группы людей, которые согласились, чтобы с ними связались по поводу участия в исследовательских исследованиях.Например, во многих колледжах и университетах есть предметный пул, состоящий из студентов, обучающихся на вводных курсах психологии, которые должны принять участие в определенном количестве исследований, чтобы соответствовать требованиям курса. Исследователи публикуют описания своих исследований, и студенты регистрируются для участия, как правило, через онлайн-систему. Участники, не входящие в тематические пулы, также могут быть наняты путем размещения или публикации рекламных объявлений или личных обращений к группам, представляющим интересующее население.Например, исследователь, заинтересованный в изучении пожилых людей, может организовать выступление на собрании жителей в пенсионном сообществе, чтобы объяснить исследование и попросить добровольцев.

Даже если участники исследования получают компенсацию в виде зачетных единиц, небольшой суммы денег или возможности вылечить психологическую проблему, они все равно остаются добровольцами.Это стоит учитывать, потому что было показано, что люди, которые добровольно участвуют в психологических исследованиях, предсказуемо отличаются от тех, кто не участвует в этих исследованиях. В частности, есть убедительные доказательства того, что в среднем добровольцы обладают следующими характеристиками по сравнению с неволонтерами (Rosenthal & Rosnow, 1976):

• Их больше интересует тема исследования.
• Они более образованы.
• Они больше нуждаются в одобрении.
• У них более высокий коэффициент интеллекта (IQ).
• Они более общительны.
• Они выше по социальному классу.

Это различие может быть вопросом внешней достоверности, если есть основания полагать, что участники с такими характеристиками, вероятно, будут вести себя иначе, чем население в целом. Например, при тестировании различных методов убеждения людей рациональный аргумент может лучше работать на добровольцах, чем на общей популяции, из-за их в целом более высокого уровня образования и IQ.

Во многих полевых экспериментах задача состоит не в наборе участников, а в их отборе. Например, исследователи Николя Геген и Мари-Аньес де Гейл провели полевой эксперимент по изучению эффекта улыбки при оказании помощи, участники которого были покупателями в супермаркете. Конфедерация, спускавшаяся по лестнице, смотрела прямо на покупателя, поднимающегося по лестнице, и либо улыбалась, либо не улыбалась. Вскоре после этого покупатель столкнулся с другим сообщником, который уронил на землю несколько компьютерных дискет.Зависимая переменная заключалась в том, останавливался ли покупатель, чтобы помочь забрать дискеты (Guéguen & de Gail, 2003). Обратите внимание, что эти участники не были «набраны», но исследователям все же пришлось выбирать их среди всех покупателей, принимавших участие в опросе. лестница в тот день. Чрезвычайно важно, чтобы такой выбор производился в соответствии с четко определенным набором правил, которые устанавливаются до начала сбора данных и могут быть четко объяснены впоследствии. В этом случае при каждом спуске по лестнице сообщнику было приказано смотреть на первого встречного человека, которому было от 20 до 50 лет.Только если человек смотрел назад, он или она становились участником исследования. Смысл четко определенного правила отбора состоит в том, чтобы избежать предвзятости при выборе участников. Например, если конфедерат был свободен выбирать, на каких покупателей он будет смотреть, он мог бы выбрать покупателей дружелюбно выглядящих, когда он был настроен улыбаться, и недружелюбных, когда он не был настроен на улыбку. Как мы вскоре увидим, такие предубеждения могут быть совершенно непреднамеренными.

Во время процедуры на удивление легко ввести посторонние переменные.Например, один и тот же экспериментатор может давать четкие инструкции одному участнику, но расплывчатые инструкции другому. Или один экспериментатор может тепло приветствовать участников, в то время как другой едва смотрит им в глаза. В той степени, в которой такие переменные влияют на поведение участников, они добавляют шум к данным и затрудняют обнаружение влияния независимой переменной. Если они меняются в зависимости от условий, они становятся смешивающими переменными и дают альтернативные объяснения результатов.Например, если участников экспериментальной группы тестирует теплый и дружелюбный экспериментатор, а участников контрольной группы — холодный и недружелюбный, то то, что кажется эффектом лечения, на самом деле может быть результатом поведения экспериментатора. . Когда есть несколько экспериментаторов, возможность введения посторонних переменных еще больше, но часто это необходимо по практическим причинам.

Хорошо известно, что независимо от того, являются ли участники исследования мужчинами или женщинами, это может повлиять на результаты исследования.Но как насчет того, мужчина или женщина экспериментатор? Есть много свидетельств того, что это тоже имеет значение. У мужчин и женщин-экспериментаторов несколько разные способы взаимодействия со своими участниками, и, конечно, участники также по-разному реагируют на мужчин и женщин-экспериментаторов (Rosenthal, 1976).

Например, в недавнем исследовании восприятия боли участники погружали руки в ледяную воду так долго, как только могли (Ibolya, Brake, & Voss, 2004). Участники мужского пола терпели боль дольше, когда экспериментатором была женщина, а участники женского пола терпели ее дольше, когда экспериментатором был мужчина.

Исследователь Роберт Розенталь провел большую часть своей карьеры, показывая, что такого рода непреднамеренные вариации процедуры на самом деле влияют на поведение участников. Кроме того, одним из важных источников таких вариаций являются ожидания экспериментатора относительно того, как участники «должны» вести себя в эксперименте. Этот результат называется эффектом ожидания экспериментатора (Розенталь, 1976). Например, если экспериментатор ожидает, что участники экспериментальной группы будут лучше выполнять задачу, чем участники контрольной группы, то он или она может непреднамеренно дать участники лечебной группы — более четкие инструкции или больше поощрения или дают им больше времени для выполнения задачи.Яркий пример: Розенталь и Кермит Фоде попросили нескольких студентов на лабораторном курсе психологии обучить крыс бегать по лабиринту. Хотя крысы были генетически похожи, некоторым студентам сказали, что они работали с «яркими в лабиринте» крысами, которых вывели, чтобы хорошо учиться, а другим студентам сказали, что они работали с «тупыми в лабиринте» крысами, которые были воспитаны, чтобы плохо учиться. Разумеется, в течение пяти дней обучения крысы, «светящиеся в лабиринте», давали более правильные ответы, делали правильные ответы быстрее и улучшались более стабильно, чем крысы «в лабиринте» (Rosenthal & Fode, 1963).Очевидно, что все дело в ожиданиях студентов по поводу того, как будут вести себя крысы. Но как? Некоторые подсказки исходят из данных, собранных в конце исследования, которые показали, что студенты, которые ожидали, что их крысы научатся быстрее, относились к своим животным более позитивно и сообщали, что ведут себя по отношению к ним более дружелюбно (например, больше обращаются с ними).

Способ минимизировать непреднамеренные вариации в процедуре — максимально стандартизировать ее, чтобы она выполнялась одинаково для всех участников, независимо от того, в каком состоянии они находятся.Вот несколько способов сделать это:

• Создайте письменный протокол, определяющий все, что экспериментаторы должны делать и говорить с момента приветствия участников до момента их увольнения.
• Создайте стандартные инструкции, которые участники читают сами или читают им слово в слово экспериментатор.
• Максимально автоматизируйте остальную часть процедуры, используя для этого пакеты программного обеспечения или даже простые компьютерные слайд-шоу.
• Спрогнозируйте вопросы участников и либо поднимите их и ответьте в инструкциях, либо разработайте для них стандартные ответы.
• Обучите несколько экспериментаторов протоколу вместе и попросите их попрактиковаться друг с другом.
• Убедитесь, что каждый экспериментатор тестирует участников в любых условиях.

Еще одна хорошая практика — сделать так, чтобы экспериментаторы были «слепы» к исследовательскому вопросу или к условиям, в которых тестируется каждый участник.Идея состоит в том, чтобы минимизировать эффекты ожидания экспериментатора, минимизируя ожидания экспериментатора. Например, в исследовании лекарственных препаратов, в котором каждый участник получает препарат или плацебо, часто бывает так, что ни участники, ни экспериментатор, взаимодействующий с участниками, не знают, к какому состоянию он или она были отнесены. Поскольку и участники, и экспериментаторы не видят этого состояния, этот метод называется двойным слепым исследованием . (Одинарное слепое исследование — это исследование, в котором участник, но не экспериментатор, не видит условия.) Конечно, много раз такое ослепление невозможно. Например, если вы одновременно и исследователь, и единственный экспериментатор, вы не можете оставаться слепым к вопросу исследования. Кроме того, во многих исследованиях экспериментатор должен знать состояние, потому что он или она должны выполнять процедуру по-разному в разных условиях.

Очень важно вести хороший учет, когда вы проводите эксперимент. Как обсуждалось ранее, экспериментаторы обычно создают записанную последовательность условий до начала исследования, а затем проверяют каждого нового участника в следующем условии в последовательности.По мере их тестирования рекомендуется добавлять в этот список основную демографическую информацию; дата, время и место проведения тестирования; и имя экспериментатора, проводившего тестирование. Также неплохо иметь место, где экспериментатор может записывать комментарии о необычных событиях (например, сбитый с толку или отказывающийся от сотрудничества участник) или возникающих вопросах. Такая информация может быть полезна позже, если вы решите проанализировать половые различия или влияние разных экспериментаторов, или если возникнет вопрос о конкретном участнике или сеансе тестирования.

Также может быть полезно присвоить идентификационный номер каждому участнику при их тестировании. Обычно достаточно просто пронумеровать их, начиная с 1. Затем этот номер также можно записать в любые листы для ответов или вопросники, которые создают участники, что упростит их совместное использование.

Всегда полезно провести пилотное испытание вашего эксперимента. Пилотное испытание — это небольшое исследование, проводимое для того, чтобы убедиться, что новая процедура работает в соответствии с планом.В пилотном тесте вы можете набирать участников формально (например, из установленного пула участников) или вы можете набирать их неофициально из членов семьи, друзей, одноклассников и т. Д. Количество участников может быть небольшим, но этого должно быть достаточно, чтобы вы были уверены, что ваша процедура работает по плану. Есть несколько важных вопросов, на которые вы можете ответить, проведя пилотное испытание:

• Понимают ли участники инструкции?
• Какие недопонимания есть у участников, какие ошибки они делают и какие вопросы задают?
• Участники скучают или разочаровываются?
• Эффективна ли косвенная манипуляция? (Вам нужно будет включить проверку манипуляций.)
• Могут ли участники угадать вопрос или гипотезу исследования?
• Сколько времени длится процедура?
• Правильно ли работают компьютерные программы или другие автоматизированные процедуры?
• Правильно ли записываются данные?

Конечно, чтобы ответить на некоторые из этих вопросов, вам нужно будет внимательно наблюдать за участниками во время процедуры и потом поговорить с ними об этом. Участники часто не решаются критиковать исследование перед исследователем, поэтому убедитесь, что они понимают, что их участие является частью пилотного теста, и вы искренне заинтересованы в обратной связи, которая поможет вам улучшить процедуру.Если процедура работает по плану, вы можете приступить к собственно изучению. Если есть проблемы, которые необходимо решить, вы можете решить их, протестировать новую процедуру и продолжить этот процесс, пока не будете готовы продолжить.

• Есть несколько эффективных методов, которые вы можете использовать для набора участников исследования для вашего эксперимента, в том числе через официальные тематические пулы, рекламу и личные обращения. Полевые эксперименты требуют четко определенных процедур отбора участников.
• Важно стандартизировать экспериментальные процедуры, чтобы минимизировать посторонние переменные, включая эффекты ожидания экспериментатора.
• Важно провести одно или несколько небольших пилотных испытаний эксперимента, чтобы убедиться, что процедура работает, как запланировано.

1. Практика: перечислите два способа набора участников из каждой из следующих групп:
   1. пожилые люди
   2. безработных
   3. регулярные тренажеры
   4. математика
2. Обсуждение: представьте себе исследование, в котором вы визуально представляете участникам список из 20 слов, по одному, ждете некоторое время, а затем просите их вспомнить как можно больше слов.В стрессовом состоянии им говорят, что их также могут выбрать для выступления с короткой речью перед небольшой аудиторией. В безударном состоянии им не говорят, что им, возможно, придется выступить с речью. Что вы могли бы сделать для стандартизации процедуры?

Описание изображений

Комикс о двух говорящих фигурках.

Человек 1: Некоторые исследователи начинают выяснять механизм эффекта плацебо. Мы использовали их работу, чтобы создать новый препарат: блокатор эффекта плацебо.Теперь нам просто нужно запустить пробную версию. Мы возьмем две группы, дадим им обе плацебо, затем дадим одной РЕАЛЬНЫЙ блокатор плацебо, а другой…. ждать.

[Два человека чешут в затылках]

Человек 2: У меня болит голова.

Человек 1: Моя тоже. Хочешь сахарную пилюлю?

[Вернуться к изображению]

Атрибуция в СМИ

Как проводить научные эксперименты

Еще до времен древних греков, тысячи лет назад, люди пытались узнать больше об окружающем мире, задаваясь вопросом, как и почему все работает.

Ученые придумывают много отличных идей, чтобы показать, как все работает, но для того, чтобы идея была принята, ее нужно проверить.

Инструмент, который ученые используют для проверки своих теорий, называется научным методом. Независимо от того, изучаете ли вы звезды, гусениц или лекарства, этот метод остается неизменным.

Если у вас есть идея или вопрос, вы должны суметь доказать это и предоставить доказательства, чтобы другие ученые могли проверить и протестировать ваши результаты.

Здесь мы покажем вам лучший способ разрабатывать и проводить научные эксперименты.

Всегда уточняйте у своего учителя, что именно нужно включить, но если вы выполните эти шаги, вы не ошибетесь.

ступеней

• Исследования
• Проблема
• Гипотеза
• Эксперимент
• Результаты
• Обсуждение и заключение

Исследования

Первым шагом в любом исследовании является изучение вашей темы. Это можно сделать разными способами.

Эксперимент, который вы пытаетесь провести, может основываться на уже проведенных вами ранее или быть результатом чего-то, что вы замечали в повседневной жизни.

Например, вы могли заметить, что плесень быстрее растет при высоких температурах, и хотите знать, правда ли это.

Вы можете использовать Интернет, книги, журналы или поговорить со знающими людьми, чтобы попытаться найти некоторые подробности.

Затем вы можете провести дополнительное исследование проекта, потому что другие люди могли проводить аналогичные эксперименты. Всегда полезно составить список того, где вы нашли каждый фрагмент информации, потому что вам может потребоваться использовать его в своем отчете.

Проблема

Теперь вы должны попытаться сузить свое исследование до одной, легко проверяемой проблемы. Например, вы можете решить выяснить, растет ли плесень быстрее при более высоких температурах. Намного легче тестировать одну вещь за раз.

Если вы хотите проверить рост плесени на разных видах хлеба или при разном освещении, это усложняется. Научный способ — проверить что-то одно и получить результаты. Получив результаты этого эксперимента, вы всегда можете проверить другие переменные.

Гипотеза

Вот где мы действительно начинаем. Гипотеза — это одно из утверждений факта, которое вы собираетесь попытаться доказать или опровергнуть. Это могло быть

«Плесень быстрее растет при более высоких температурах». (пример)

«Более дорогие бренды бумажных полотенец впитывают больше воды». (пример)

Всегда полезно сказать, почему вы выбрали эту гипотезу.

Запишите свою гипотезу. Это то, вокруг чего построен ваш эксперимент.Его никогда нельзя менять, даже если он неправильный. Наука — это не о добре и зле, а о том, чтобы просто найти ответ.

Эксперименты

Есть три важные переменные, которые вы должны помнить при планировании эксперимента.

Независимая переменная — это то, что вы изменяете, чтобы получить результат. В случае эксперимента с лепным хлебом это температура. В случае эксперимента с бумажными полотенцами это бренд.

Управляемые переменные — это то, что никогда не меняется.

Зависимая переменная — это то, что вы измеряете, сколько воды впитывает полотенце или сколько плесени растет на ломтике.

Важно убедиться, что вы проводите эксперименты партиями. Один результат всегда может быть случайным, но если у вас есть 3 или более образцов для каждого теста в одинаковых условиях, вы можете взять среднее или среднее значение для своих результатов.

Насколько это возможно, вы должны стараться, чтобы все остальное оставалось неизменным. Хлеб, который вы используете для эксперимента с лепным хлебом, должен быть из той же буханки.Пластиковые пакеты должны быть такими же. Будьте осторожны, чтобы сохранить список точных сведений обо всем, что вы используете.

Для экспериментов, когда вы отбирали образцы на улице, рекомендуется дать ссылку на карту и даже нарисовать небольшую карту или использовать карты Google. Фотографии ваших методов и аппаратов также могут быть отличным способом описания вашего эксперимента.

Результаты

Здесь вы показываете свои результаты и даете всему миру знать, что вы обнаружили в конце эксперимента.

Необязательно показывать все свои расчеты; большинство людей знают, как определить среднее значение, но вы должны ясно дать понять, что вы использовали среднее значение.

В этом разделе опишите, что вы нашли. Графики и таблицы — хороший способ представить свои выводы. Другим ученым намного проще изучать ваши данные, глядя на диаграммы, чем на огромные блоки текста.

Графики и таблицы можно использовать с ручкой и бумагой, если они аккуратные. Если вы знаете, как использовать компьютерные программы для их рисования, даже лучше.

Обсуждение / Заключение

В ходе обсуждения вы оцениваете, насколько результаты соответствуют гипотезе, и обсуждаете их соответствие существующим знаниям в данной области.

При написании заключения постарайтесь ответить на вашу гипотезу как можно более кратко.

Вы уже ответили на некоторые из них в своем обсуждении, но главное — оставить несколько вопросов, которые другой может расширить для своего исследовательского проекта.

Составление отчета

Следующий этап — собрать все ваши результаты и составить отчет.

Основы эксперимента

Наука занимается экспериментами и экспериментами, но знаете ли вы, что такое эксперимент? Вот посмотрите, что такое эксперимент … а что нет!

Ключевые выводы: эксперименты

• Эксперимент — это процедура, предназначенная для проверки гипотезы в рамках научного метода.
• Двумя ключевыми переменными в любом эксперименте являются независимые и зависимые переменные. Независимая переменная контролируется или изменяется, чтобы проверить ее влияние на зависимую переменную.
• Три ключевых типа экспериментов: контролируемые эксперименты, полевые эксперименты и естественные эксперименты.

Что такое эксперимент? Краткий ответ

В простейшей форме эксперимент — это просто проверка гипотезы. Гипотеза, в свою очередь, представляет собой предполагаемую взаимосвязь или объяснение явлений.

Основы эксперимента

Эксперимент — это основа научного метода, который представляет собой систематическое средство исследования окружающего мира.Хотя некоторые эксперименты проводятся в лабораториях, вы можете провести эксперимент где угодно и когда угодно.

Взгляните на этапы научного метода:

1. Проведите наблюдения.
2. Сформулируйте гипотезу.
3. Разработайте и проведите эксперимент для проверки гипотезы.
4. Оцените результаты эксперимента.
5. Принять или отклонить гипотезу.
6. При необходимости сформулируйте и проверьте новую гипотезу.

Типы экспериментов

• Естественные эксперименты : Естественный эксперимент также называется квазиэкспериментом.Естественный эксперимент включает в себя прогнозирование или формирование гипотезы, а затем сбор данных путем наблюдения за системой. В естественном эксперименте переменные не контролируются.
• Контролируемые эксперименты : Лабораторные эксперименты — это контролируемые эксперименты, хотя вы можете проводить контролируемые эксперименты вне лабораторных условий! В контролируемом эксперименте вы сравниваете экспериментальную группу с контрольной группой. В идеале эти две группы идентичны, за исключением одной переменной, независимой переменной.
• Полевые эксперименты : Полевой эксперимент может быть как естественным, так и контролируемым. Это происходит в реальных условиях, а не в лабораторных условиях. Например, эксперимент с участием животного в его естественной среде обитания будет полевым экспериментом.

Переменные в эксперименте

Проще говоря, переменная — это все, что вы можете изменить или контролировать в эксперименте. Общие примеры переменных включают температуру, продолжительность эксперимента, состав материала, количество света и т. Д.В эксперименте есть три типа переменных: контролируемые переменные, независимые переменные и зависимые переменные.

Управляемые переменные , иногда называемые постоянными переменными — это переменные, которые остаются постоянными или неизменными. Например, если вы проводите эксперимент по измерению количества газированных напитков, выделяемых из разных типов газированных напитков, вы можете контролировать размер контейнера, чтобы газированные напитки всех марок находились в банках объемом 12 унций. Если вы проводите эксперимент по влиянию опрыскивания растений разными химикатами, вы должны попытаться поддерживать такое же давление и, возможно, тот же объем при опрыскивании растений.

Независимая переменная — это единственный фактор, который вы изменяете. Это один коэффициент , потому что обычно в эксперименте вы пытаетесь изменить одну вещь за раз. Это значительно упрощает измерения и интерпретацию данных. Если вы пытаетесь определить, позволяет ли отопительная вода растворять в воде больше сахара, то вашей независимой переменной является температура воды. Это переменная, которую вы намеренно контролируете.

Зависимая переменная — это переменная, которую вы наблюдаете, чтобы узнать, влияет ли на нее ваша независимая переменная.В примере, где вы нагреваете воду, чтобы увидеть, влияет ли это на количество сахара, которое вы можете растворить, масса или объем сахара (в зависимости от того, что вы выберете для измерения) будет вашей зависимой переменной.

Примеры вещей, которые

• Изготовление модели вулкана.
• Изготовление плаката.
• Изменение множества факторов одновременно, поэтому вы не можете по-настоящему проверить влияние зависимой переменной.
• Пробовать что-то, просто посмотреть, что произойдет.С другой стороны, делать наблюдения или пробовать что-то после предсказания того, что вы ожидаете, — это своего рода эксперимент.

Источники

• Бейли, Р.А. (2008). План сравнительных экспериментов . Кембридж: Издательство Кембриджского университета. ISBN 9780521683579.
• Беверидж, Уильям И. Б., Искусство научных исследований . Хайнеманн, Мельбурн, Австралия, 1950.
• di Francia, G.Торальдо (1981). Исследование физического мира . Издательство Кембриджского университета. ISBN 0-521-29925-X.
• Хинкельманн, Клаус и Кемпторн, Оскар (2008). Планирование и анализ экспериментов, Том I: Введение в экспериментальный план (Второе изд.). Вайли. ISBN 978-0-471-72756-9.
• Shadish, William R .; Кук, Томас Д .; Кэмпбелл, Дональд Т. (2002). Экспериментальные и квазиэкспериментальные планы для обобщенного причинного вывода (Nachdr.ред.). Бостон: Хоутон Миффлин. ISBN 0-395-61556-9.

Дисциплина бизнес-экспериментов

Вкратце об идее

Проблема

В отсутствие достаточных данных для принятия решений о предлагаемых инновациях менеджеры часто полагаются на свой опыт, интуицию или общепринятые взгляды — ни один из них не обязательно имеет значение.

Решение

Строгий научный тест, в котором компании отделяют независимую переменную (предполагаемую причину) от зависимой переменной (наблюдаемый эффект), сохраняя при этом все остальные потенциальные причины постоянными, а затем манипулируют первой для изучения изменений во второй.

Руководство

Чтобы максимально использовать свои эксперименты, компании должны спросить: есть ли у эксперимента четкая цель? Обязались ли заинтересованные стороны придерживаться результатов? Возможен ли эксперимент? Как добиться надежных результатов? Получили ли мы максимальную отдачу от эксперимента?

Вскоре после того, как Рон Джонсон покинул Apple, чтобы стать генеральным директором JC Penney, в 2011 году его команда реализовала смелый план, по которому были устранены купоны и стойки для оформления, магазины заполнились фирменными бутиками и использовались технологии для устранения кассиров, кассовых аппаратов и кассовых прилавков. .Однако всего через 17 месяцев после того, как Джонсон присоединился к Penney, продажи упали, убытки резко возросли, и Джонсон потерял работу. Затем розничный торговец резко изменил свою позицию.

Как Пенни мог так ошибиться? Разве в нем не было множества данных о транзакциях, раскрывающих вкусы и предпочтения клиентов?

Предположительно, да, но проблема в том, что большие данные могут дать подсказку только о прошлом поведении клиентов, а не о том, как они отреагируют на смелые изменения. Когда дело доходит до инноваций, большинство менеджеров вынуждены работать в мире, где им не хватает данных для принятия обоснованных решений.Следовательно, они часто полагаются на свой опыт или интуицию. Но действительно новаторские идеи, то есть идеи, которые могут изменить отрасль, обычно идут вразрез с опытом руководителей и общепринятыми взглядами.

могут определить, будет ли успешным новый продукт или бизнес-программа, подвергнув их строгому тестированию. Подумайте об этом так: фармацевтическая компания никогда не представила бы лекарство, не проведя сначала серию экспериментов, основанных на установленных научных протоколах.(Фактически, Управление по санитарному надзору за качеством пищевых продуктов и медикаментов США требует обширных клинических испытаний.) Тем не менее, именно это, по сути, делают многие компании, внедряя новые бизнес-модели и другие новаторские концепции. Если бы J.C. Penney провел тщательные эксперименты над изменениями, предложенными генеральным директором, компания могла бы обнаружить, что клиенты, вероятно, отклонят их.

Почему все больше компаний не проводят тщательных проверок своих рискованных капитальных ремонтов и дорогостоящих предложений? Потому что большинство организаций не хотят финансировать надлежащие бизнес-эксперименты и испытывают значительные трудности с их выполнением.Хотя процесс экспериментирования кажется простым, на практике он оказывается на удивление трудным из-за множества организационных и технических проблем. Таков общий вывод нашего более чем 40-летнего коллективного опыта проведения и изучения бизнес-экспериментов в десятках компаний, включая Bank of America, BMW, Hilton, Kraft, Petco, Staples, Subway и Walmart.

Эксперимент: Kohl’s
Розничный торговец решил проверить гипотезу о том, что открытие магазинов на час позже не приведет к значительному падению продаж.

Проведение стандартного A / B-теста по прямому каналу, например через Интернет — сравнение, например, скорости отклика на версию A веб-страницы с частотой отклика на версию B — относительно несложное упражнение с использованием математики, разработанной столетием. тому назад. Но подавляющее большинство (более 90%) потребительского бизнеса осуществляется через более сложные системы распределения, такие как сети магазинов, территории продаж, отделения банков, франшизы быстрого питания и т. Д. Деловые эксперименты в такой среде страдают множеством аналитических сложностей, наиболее важной из которых является то, что размеры выборки обычно слишком малы для получения достоверных результатов.В то время как крупный интернет-магазин может просто случайным образом выбрать 50 000 потребителей и определить их реакцию на экспериментальное предложение, даже самые крупные обычные розничные торговцы не могут случайным образом назначить 50 000 магазинов для тестирования нового предложения. Для них реалистичная тестовая группа обычно исчисляется десятками, а не тысячами. Действительно, мы обнаружили, что большинство тестов новых потребительских программ слишком неформальны. Они не основаны на проверенных научных и статистических методах, поэтому руководители в конечном итоге ошибочно интерпретируют статистический шум как причинную связь и принимают неверные решения.

В идеальном эксперименте тестировщик отделяет независимую переменную (предполагаемую причину) от зависимой переменной (наблюдаемый эффект), сохраняя при этом все остальные потенциальные причины постоянными, а затем манипулирует первой, чтобы изучить изменения во второй. Манипуляция, за которой следует тщательное наблюдение и анализ, позволяет понять взаимосвязь между причиной и следствием, что в идеале может быть применено и проверено в других условиях.

Чтобы получить такие знания и убедиться, что бизнес-эксперименты стоят затрат и усилий, компаниям необходимо задать себе несколько важных вопросов: преследует ли эксперимент ясную цель? Обязались ли заинтересованные стороны придерживаться результатов? Возможен ли эксперимент? Как добиться надежных результатов? Получили ли мы максимальную отдачу от эксперимента? Хотя эти вопросы кажутся очевидными, многие компании начинают проводить тесты, не решая их полностью.

Есть ли у эксперимента ясная цель?

Компаниям следует проводить эксперименты, если они являются единственным практическим способом ответить на конкретные вопросы о предлагаемых действиях руководства.

Рассмотрим Kohl’s, крупного розничного продавца, который в 2013 году искал способы снизить свои операционные расходы. Одно из предложений заключалось в том, чтобы открывать магазины на час позже с понедельника по субботу. Руководители компании разделились по этому поводу. Некоторые утверждали, что сокращение часов работы магазинов приведет к значительному падению продаж; другие утверждали, что влияние на продажи будет минимальным.Единственный способ окончательно разрешить спор — это провести тщательный эксперимент. Проверка 100 магазинов компании показала, что отложенное открытие не приведет к значительному снижению продаж.

При определении необходимости эксперимента менеджеры должны сначала точно выяснить, чему они хотят научиться. Только после этого они могут решить, является ли тестирование лучшим подходом и, если да, то с какой областью эксперимента. В случае Коля гипотеза, которую нужно было проверить, была простой: открытие магазинов на час позже для сокращения операционных расходов не приведет к значительному падению продаж.Однако слишком часто компаниям не хватает дисциплины, чтобы отточить свои гипотезы, что приводит к неэффективным, излишне дорогостоящим или, что еще хуже, неэффективным тестам для ответа на поставленный вопрос. Слабая гипотеза (например, «Мы можем расширить рынок сбыта нашего бренда») не представляет конкретной независимой переменной для проверки на конкретной зависимой переменной, поэтому ее сложно либо поддержать, либо отвергнуть. Хорошая гипотеза помогает разграничить эти переменные.

Дополнительная литература

Во многих ситуациях руководителям необходимо выйти за рамки прямого воздействия инициативы и исследовать ее побочные эффекты.Например, когда Family Dollar захотела определить, стоит ли инвестировать в холодильные установки, чтобы продавать яйца, молоко и другие скоропортящиеся продукты, она обнаружила побочный эффект — увеличение продаж традиционных галантерейных товаров дополнительным потребителям, привлеченным к магазины замороженными товарами — на самом деле больше повлияли бы на прибыль. Побочные эффекты также могут быть отрицательными. Несколько лет назад Wawa, сеть мини-маркетов в Среднеатлантическом регионе США, хотела представить лепешки для завтрака, хорошо зарекомендовавшие себя при выборочных тестах.Но инициатива была прекращена еще до запуска, когда строгий эксперимент — в комплекте с тестовыми и контрольными группами с последующим регрессионным анализом — показал, что новый продукт, вероятно, поглотит другие, более прибыльные продукты.

Приняли ли заинтересованные стороны обязательство придерживаться результатов?

Перед проведением любого теста заинтересованные стороны должны согласовать, как они будут действовать после получения результатов. Они должны пообещать взвесить все результаты, а не отбирать данные, которые подтверждают определенную точку зрения.Возможно, самое главное, они должны быть готовы отказаться от проекта, если он не поддерживается данными.

Когда Kohl’s рассматривал возможность добавления новой категории товаров, мебели, многие руководители были полны энтузиазма, ожидая значительных дополнительных доходов. Однако тестирование в 70 магазинах за шесть месяцев показало чистое снижение выручки на на . Продукты, у которых теперь было меньше площади (чтобы освободить место для мебели), испытали падение продаж, и Kohl’s фактически терял клиентов.Эти отрицательные результаты были огромным разочарованием для тех, кто поддерживал эту инициативу, но программа, тем не менее, была отменена. Пример Коля подчеркивает тот факт, что эксперименты часто необходимы для объективной оценки инициатив, поддерживаемых людьми, имеющими влияние в организации.

Конечно, могут быть веские причины для развертывания инициативы, даже если ожидаемые выгоды не подтверждаются данными — например, программа, которая, как показали эксперименты, не приведет к значительному увеличению продаж, все же может потребоваться для повышения лояльности клиентов.Но если предложенная инициатива уже реализована, зачем тратить время и деньги на проведение теста?

Должен быть установлен процесс, гарантирующий, что результаты тестов не будут проигнорированы, даже если они противоречат предположениям или интуиции высшего руководства. В сети Publix Super Markets на юго-востоке США практически все крупные розничные проекты, особенно те, которые требуют значительных капитальных затрат, должны пройти формальные эксперименты, чтобы получить зеленый свет. Предложения проходят процесс фильтрации, в котором на первом этапе финансовая служба проводит анализ, чтобы определить, стоит ли проводить эксперимент.

Для успешных проектов профессионалы-аналитики разрабатывают тестовые проекты и представляют их комитету, в который входит вице-президент по финансам. Затем одобренные комитетом эксперименты проводятся под контролем внутренней испытательной группы. Финансы будут утверждать значительные расходы только для предложенных инициатив, которые придерживаются этого процесса и чьи результаты экспериментов положительны. «Проекты рассматриваются и утверждаются гораздо быстрее — и с меньшим вниманием — когда они имеют наши результаты тестирования, подтверждающие их», — говорит Фрэнк Маджо, старший менеджер по бизнес-анализу в Publix.

При построении и реализации такого процесса фильтрации важно помнить, что эксперименты должны быть частью программы обучения, которая поддерживает организационные приоритеты фирмы. В Petco каждый тестовый запрос должен указывать на то, как этот конкретный эксперимент может внести вклад в общую стратегию компании по повышению инновационности. В прошлом компания проводила около 100 тестов в год, но это число было сокращено до 75. Многие запросы на тестирование отклоняются, поскольку компания уже проводила аналогичные тесты в прошлом; другие отклоняются, потому что рассматриваемые изменения недостаточно радикальны, чтобы оправдать расходы на тестирование (например, повышение цены на единицу товара с 2 долларов.79 до 2,89 долларов). «Мы хотим протестировать то, что будет способствовать развитию бизнеса», — говорит Джон Роудс, бывший директор компании по аналитике розничной торговли. «Мы хотим опробовать новые концепции или новые идеи».

Возможен ли эксперимент?

Эксперименты должны иметь проверяемые прогнозы. Но «причинно-следственная плотность» бизнес-среды, то есть сложность переменных и их взаимодействий, может чрезвычайно затруднить определение причинно-следственных связей. Изучение бизнес-эксперимента не обязательно так же просто, как выделение независимой переменной, управление ею и наблюдение за изменениями в зависимой переменной.Среда постоянно меняется, потенциальные причины бизнес-результатов часто неопределенны или неизвестны, поэтому связи между ними часто сложны и плохо поняты.

Эта статья также встречается в:

Рассмотрим гипотетическую розничную сеть, которая насчитывает 10 000 магазинов повседневного спроса, 8 000 из которых называются QwikMart и 2 000 FastMart. Ежегодный объем продаж магазинов QwikMart составляет в среднем 1 миллион долларов, а магазинов FastMart — 1,1 миллиона долларов. Старший руководитель задает, казалось бы, простой вопрос: приведет ли изменение названия магазинов QwikMart на FastMart к увеличению выручки на 800 миллионов долларов? Очевидно, что на продажи магазина влияют многочисленные факторы, в том числе физический размер магазина, количество людей, живущих в определенном радиусе, и их средний доход, количество часов, в течение которых магазин открыт в неделю, опыт менеджера магазина, количество ближайших конкурентов и т. д.Но руководителя интересует только одна переменная: название магазина (QwikMart против FastMart).

Очевидное решение — провести эксперимент, изменив название нескольких магазинов QwikMart (скажем, 10), чтобы посмотреть, что произойдет. Но даже определить влияние изменения названия на эти магазины оказывается непросто, потому что многие другие переменные могли измениться одновременно. Например, в четырех местах была очень плохая погода, в одном сменился менеджер, рядом с другим открылся большой жилой дом, а конкурент начал агрессивную рекламную акцию рядом с еще одним.Если компания не сможет изолировать эффект изменения названия от этих и других переменных, руководитель не будет знать наверняка, помогло ли (или повредило) смена названия бизнесу.

Чтобы иметь дело со средами с высокой причинной плотностью, компаниям необходимо подумать, возможно ли использовать достаточно большую выборку, чтобы усреднить эффекты всех переменных, кроме тех, которые изучаются. К сожалению, подобный эксперимент не всегда возможен. Стоимость теста, включающего адекватный размер выборки, может быть непомерно высокой, или изменение операций может быть слишком разрушительным.В таких случаях, как мы обсудим позже, руководители могут иногда использовать сложные аналитические методы, некоторые из которых связаны с большими данными, для повышения статистической достоверности своих результатов.

Тем не менее, следует отметить, что менеджеры часто ошибочно полагают, что более крупная выборка автоматически приведет к получению более точных данных. Действительно, эксперимент может включать множество наблюдений, но если они сильно сгруппированы или коррелированы друг с другом, то истинный размер выборки может быть довольно небольшим.Например, когда компания использует дистрибьютора вместо того, чтобы продавать напрямую клиентам, эта точка распространения может легко привести к корреляции между данными о клиентах.

Требуемый размер выборки во многом зависит от величины ожидаемого эффекта. Если компания ожидает, что причина (например, изменение названия магазина) будет иметь большой эффект (существенное увеличение продаж), выборка может быть меньше. Если ожидаемый эффект невелик, выборка должна быть больше. Это может показаться нелогичным, но подумайте об этом так: чем меньше ожидаемый эффект, тем большее количество наблюдений требуется для его обнаружения по окружающему шуму с желаемой статистической достоверностью.

Выбор правильного размера выборки не просто гарантирует, что результаты будут статистически достоверными; это также может позволить компании снизить затраты на тестирование и увеличить количество инноваций. Легкодоступные программы могут помочь компаниям выбрать оптимальный размер выборки. (Полное раскрытие информации: фирма Джима Манзи, Applied Predictive Technologies, продает одну, Test & Learn.)

Как обеспечить надежные результаты?

В предыдущем разделе мы описали основы проведения эксперимента.Однако правда в том, что компаниям обычно приходится идти на компромисс между надежностью, стоимостью, временем и другими практическими соображениями. Три метода могут помочь уменьшить компромиссы, тем самым повышая надежность результатов.

Рандомизированные полевые испытания.

Концепция рандомизации в медицинских исследованиях проста: возьмите большую группу людей с одинаковыми характеристиками и недугом и случайным образом разделите их на две подгруппы. Назначьте лечение только одной подгруппе и внимательно следите за здоровьем всех.Если группа, получавшая лечение (или тестируемая), имеет статистические результаты лучше, чем группа, не получавшая лечения (или контрольная), то терапия считается эффективной. Точно так же рандомизированные полевые испытания могут помочь компаниям определить, приведут ли конкретные изменения к повышению производительности.

Компания Capital One, предоставляющая финансовые услуги, уже давно проводит строгие эксперименты для проверки даже самых, казалось бы, тривиальных изменений. Например, посредством рандомизированных полевых испытаний компания может проверить цвет конвертов, используемых для товарных предложений, отправив две партии (одна тестового цвета, а другая — белого цвета), чтобы определить любые различия в ответах.

Рандомизация играет важную роль: она помогает предотвратить влияние систематической систематической ошибки, сознательно или бессознательно, на эксперимент, и равномерно распределяет любые оставшиеся (и, возможно, неизвестные) потенциальные причины результата между тестовой и контрольной группами. Но рандомизированные полевые испытания не обходятся без проблем. Чтобы результаты были достоверными, полевые испытания должны проводиться строго статистически.

Вместо того, чтобы идентифицировать совокупность испытуемых с одинаковыми характеристиками и затем случайным образом разделить ее на две группы, менеджеры иногда совершают ошибку, выбирая тестовую группу (скажем, группу магазинов в сети), а затем предполагая, что все остальное ( остальные магазины) должна быть контрольной группой.Или они выбирают тестовую и контрольную группы таким образом, чтобы непреднамеренно вносить систематические ошибки в эксперимент. Petco выбирала 30 лучших магазинов, чтобы опробовать новую инициативу (в качестве тестовой группы), и сравнивать их с 30 худшими магазинами (в качестве контрольной группы). Инициативы, протестированные таким образом, часто выглядели очень многообещающими, но терпели неудачу при их развертывании.

Теперь Petco учитывает широкий спектр параметров — размер магазина, демографические данные клиентов, наличие ближайших конкурентов и т. Д. — для соответствия характеристикам контрольной и тестовой групп.(Publix делает то же самое.) Результаты этих экспериментов были гораздо более надежными.

Слепые испытания.

Чтобы минимизировать предвзятость и еще больше повысить надежность, Petco и Publix провели «слепые» тесты, которые помогают предотвратить эффект Хоторна: склонность участников исследования изменять свое поведение, сознательно или подсознательно, когда они осознают, что являются частью эксперимент. В Petco никто из сотрудников тестовых магазинов не знает, когда проводятся эксперименты, а Publix проводит слепые тесты, когда это возможно.Для простых тестов, связанных с изменением цен, Publix может использовать слепые процедуры, поскольку магазины постоянно устанавливают новые цены, поэтому тесты неотличимы от обычных методов работы.

Эксперимент: Wawa
Новые лепешки хорошо показали себя при выборочных тестах, но цепь убила их после того, как тщательные эксперименты показали, что они уничтожают другие продукты.

Но слепые процедуры не всегда практичны. Для тестирования нового оборудования или методов работы Publix обычно информирует магазины, выбранные для тестовой группы.(Примечание: более высоким экспериментальным стандартом является использование «двойных слепых» тестов, в которых ни экспериментаторы, ни испытуемые не знают, какие участники находятся в тестовой группе, а какие — в контроле. Двойные слепые тесты широко распространены. используются в медицинских исследованиях, но не являются обычным явлением в деловых экспериментах.)

Большие данные.

В онлайн-среде и в других средах с прямым каналом математика, необходимая для проведения строгого рандомизированного эксперимента, хорошо известна. Но, как мы обсуждали ранее, подавляющее большинство потребительских транзакций происходит в других каналах, таких как розничные магазины.В тестах в таких средах размер выборки часто меньше 100, что нарушает типичные допущения многих стандартных статистических методов. Чтобы минимизировать последствия этого ограничения, компании могут использовать специализированные алгоритмы в сочетании с несколькими наборами больших данных.

Представьте, что крупный розничный торговец подумывает о модернизации магазина, который будет стоить полмиллиарда долларов, чтобы развернуть его в 1300 местах. Чтобы проверить идею, ритейлер изменил дизайн 20 магазинов и отслеживал результаты.Финансовый отдел проанализировал данные и пришел к выводу, что обновление увеличит продажи всего на 0,5%, что приведет к отрицательной рентабельности инвестиций. Маркетинговая команда провела отдельный анализ и прогнозировала, что редизайн приведет к значительному увеличению продаж на 5%.

Как оказалось, финансовая группа сравнила тестовые площадки с другими магазинами в сети, которые имели аналогичный размер, демографический доход и другие переменные, но не обязательно находились на том же географическом рынке.Он также использовал данные за шесть месяцев до и после редизайна. В отличие от этого, маркетинговая команда сравнила магазины в одном географическом регионе и рассмотрела данные за 12 месяцев до и после редизайна. Чтобы определить, каким результатам следует доверять, компания использовала большие данные, включая данные на уровне транзакций (товары в магазине, время дня, когда произошла продажа, цены), атрибуты магазина и данные о среде вокруг магазинов (конкуренция, демографические данные, Погода). Таким образом, компания выбрала магазины для контрольной группы, которые были ближе к тем магазинам, в которых была протестирована редизайн, что сделало небольшой размер выборки статистически достоверным.Затем он использовал объективные статистические методы для анализа обоих анализов. Результаты: выводы маркетинговой группы оказались более точными из двух.

Даже когда компания не может следовать строгому протоколу тестирования, аналитики могут помочь выявить и исправить определенные ошибки, ошибки рандомизации и другие экспериментальные недостатки. Распространенной ситуацией является ситуация, когда функция тестирования организации представлена ​​нерандомизированными естественными экспериментами — например, вице-президент по операциям может захотеть узнать, является ли новая программа обучения сотрудников компании, которая была внедрена примерно на 10% рынков компании, эффективнее старого.Оказывается, в таких ситуациях те же алгоритмы и наборы больших данных, которые можно использовать для решения проблемы небольших или коррелированных выборок, также могут быть развернуты, чтобы извлечь ценную информацию и минимизировать неопределенность в результатах. Затем анализ может помочь экспериментаторам разработать настоящее рандомизированное полевое испытание для подтверждения и уточнения результатов, особенно когда они несколько противоречат здравому смыслу или необходимы для обоснования решения с большими экономическими ставками.

Для любого эксперимента золотым стандартом является повторяемость; то есть другие, проводящие такой же тест, должны получить аналогичные результаты.Повторение дорогостоящего теста обычно нецелесообразно, но компании могут проверить результаты другими способами. Petco иногда развертывает поэтапное развертывание для крупных инициатив, чтобы подтвердить результаты, прежде чем приступить к внедрению в масштабах компании. А в Publix есть процесс отслеживания результатов внедрения и сравнения их с прогнозируемой выгодой.

Получили ли мы максимальную пользу от эксперимента?

Многие компании тратят деньги на проведение экспериментов, но затем не могут извлечь из них максимальную пользу.Чтобы избежать этой ошибки, руководители должны учитывать влияние предлагаемой инициативы на различных клиентов, рынки и сегменты и концентрировать инвестиции в тех областях, где потенциальная окупаемость наиболее высока. Правильный вопрос обычно не в том, что работает? но, что где работает?

Petco часто развертывает программу только в магазинах, которые больше всего похожи на тестовые магазины, показавшие наилучшие результаты. Поступая таким образом, Petco не только экономит на затратах на внедрение, но и избегает привлечения магазинов, где новая программа может не принести пользы или даже иметь негативные последствия.Благодаря такому целенаправленному развертыванию Petco постоянно удваивала прогнозируемые выгоды от новых инициатив.

Еще одна полезная тактика — это «инженерия стоимости». В большинстве программ есть некоторые компоненты, которые создают преимущества, превышающие затраты, а другие — нет. Уловка состоит в том, чтобы реализовать только компоненты с привлекательной рентабельностью инвестиций (ROI). В качестве простого примера предположим, что тесты розничного продавца на скидку 20% показывают рост продаж на 5%. Какая часть этого увеличения была связана с самим предложением и что стало результатом сопутствующей рекламы и обучения персонала магазина, которые направили покупателей на эти конкретные продукты? В таких случаях компании могут проводить эксперименты по исследованию различных комбинаций компонентов (например, рекламное предложение с рекламой, но без дополнительного обучения персонала).Анализ результатов позволяет выявить эффекты, позволяя руководителям отказаться от компонентов (например, дополнительного обучения персонала), которые имеют низкую или отрицательную рентабельность инвестиций.

Более того, тщательный анализ данных, полученных в результате экспериментов, может позволить компаниям лучше понять свои операции и проверить свои предположения о том, какие переменные вызывают какие эффекты. В случае больших данных упор делается на корреляцию — например, обнаружение того, что продажи одних продуктов имеют тенденцию совпадать с продажами других.Но бизнес-эксперименты могут позволить компаниям выйти за рамки корреляции и исследовать причинно-следственную связь — например, выявить факторы, вызывающие увеличение (или уменьшение) покупок. Такое фундаментальное знание причинности может иметь решающее значение. Без него руководители имеют лишь фрагментарное представление о своем бизнесе, и решения, которые они принимают, могут легко иметь неприятные последствия.

Передовой опыт: Petco
Специализированный розничный торговец обеспечивает надежные результаты своих экспериментов путем сопоставления характеристик контрольной и тестовой групп.

Когда Cracker Barrel Old Country Store, сеть ресторанов южной тематики, провела эксперимент, чтобы определить, следует ли переключаться с ламп накаливания на светодиодные в своих ресторанах, руководители были удивлены, узнав, что посещаемость клиентов на самом деле уменьшилась в местах, где была установлена ​​установка Светодиодные светильники. Инициатива в области освещения могла бы остановиться на этом, но компания углубилась, чтобы понять основные причины. Как оказалось, из-за нового освещения парадные веранды ресторанов выглядели более тусклыми, и многие клиенты ошибочно думали, что рестораны закрыты.Это вызывало недоумение — светодиоды должны были сделать подъезды ярче. В ходе дальнейшего расследования руководители узнали, что менеджеры магазинов ранее не соблюдали стандарты компании в области освещения; они вносили свои коррективы, часто добавляя дополнительное освещение на крыльцо. И поэтому яркость упала, когда магазины придерживались новой политики в отношении светодиодов. Дело в том, что одна корреляция оставила бы у компании неверное впечатление — светодиоды вредны для бизнеса.Чтобы раскрыть настоящую причинно-следственную связь, потребовалось экспериментировать.

Действительно, без полного понимания причинно-следственной связи компании допускают большие ошибки. Помните эксперимент Kohl’s по изучению последствий задержки открытия магазинов? Во время этого тестирования компания потерпела первоначальное падение продаж. В этот момент руководители могли отключить инициативу. Но анализ показал, что количество клиентских транзакций осталось прежним; проблема заключалась в падении количества единиц на транзакцию.В конце концов, количество единиц на транзакцию восстановилось, и общий объем продаж вернулся на прежний уровень. Kohl’s не мог полностью объяснить первоначальное снижение, но руководители не поддавались искушению обвинить в сокращении часов работы. Они не торопились приравнивать корреляцию к причинно-следственной связи.

Здесь важно то, что многие компании обнаруживают, что проведение эксперимента — это только начало. Ценность возникает из анализа и последующего использования данных. В прошлом Publix тратил 80% времени на сбор данных и 20% на их анализ.Текущая цель компании — изменить это соотношение.

Бросить вызов общепринятым представлениям

Обращая внимание на размер выборки, контрольные группы, рандомизацию и другие факторы, компании могут гарантировать достоверность результатов своих тестов. Чем более достоверны и воспроизводимы результаты, тем лучше они устоят перед лицом внутреннего сопротивления, которое может быть особенно сильным, когда результаты бросают вызов устоявшимся отраслевым практикам и общепринятым взглядам.

Дополнительная литература

Когда руководители Petco исследовали новые цены на весовой продукт, результаты были однозначными.Безусловно, лучшая цена была за четверть фунта продукта, и эта цена была за сумму, оканчивающуюся на 0,25 доллара. Этот результат резко противоречил общепринятому мнению, которое обычно требует, чтобы цены заканчивались цифрой 9, например, 4,99 доллара или 2,49 доллара. «Это нарушило правило розничной торговли, согласно которому нельзя иметь« некрасивую »цену», — отмечает Роудс. Сначала руководители Petco скептически отнеслись к результатам, но, поскольку эксперимент проводился так тщательно, они в конечном итоге были готовы попробовать новую цену.Целевое внедрение подтвердило результаты, что привело к росту продаж более чем на 24% через шесть месяцев.

Урок заключается не только в том, что бизнес-эксперименты могут привести к лучшим способам работы. Это также может дать компаниям уверенность в том, что они смогут опровергнуть ошибочные общепринятые взгляды и ошибочную бизнес-интуицию, которую могут проявить даже опытные руководители. А более разумное принятие решений в конечном итоге приводит к повышению производительности.

Мог ли J.C. Penney предотвратить катастрофу, тщательно протестировав компоненты своего капитального ремонта? На данный момент это невозможно узнать.Но одно можно сказать наверняка: прежде чем пытаться реализовать такую ​​смелую программу, компании необходимо было убедиться, что при принятии решения руководствовались знаниями, а не просто интуицией.

Пошаговое руководство по экспериментам с умным бизнесом

Вкратце об идее

Компании сегодня понимают силу аналитики, но анализ прошлых данных — сложная задача, с которой немногие фирмы могут справиться с техническими навыками.Большинство компаний получат больше пользы от простых бизнес-экспериментов.

Чтобы увеличить прибыль, менеджеры должны хорошо владеть методами, используемыми учеными из лабораторий и медицинскими исследователями: они должны создавать группы контроля и лечения, чтобы проверить влияние изменений в цене, продвижении или вариации продукта. Они также должны понимать возможности, предоставляемые общими изменениями в бизнесе, такими как открытие магазинов, которые представляют собой естественные эксперименты в поведении потребителей.

Создание культуры экспериментирования требует от компаний преодоления внутренних политических и организационных препятствий.И не всякий эксперимент удастся. Но со временем компании, использующие метод тестирования и обучения, будут более склонны находить золотые билеты, которые будут стимулировать рост.

За последнее десятилетие менеджеры осознали силу аналитики. Современные компьютеры и программное обеспечение предоставили компаниям доступ к огромному количеству данных: согласно одной из оценок, в 2010 году компании собрали больше информации о клиентах, чем за все предыдущие годы вместе взятые. Эта лавина данных предоставляет компаниям большие возможности для увеличения прибыли — если они найдут способ эффективно ее использовать.

Реальность такова, что большинство фирм не могут. Аналитика, которая фокусируется на анализе прошлых данных, — сложная задача. Немногие фирмы обладают техническими навыками для реализации полномасштабной аналитической программы. Даже компании, вкладывающие большие средства в аналитику, часто обнаруживают, что результаты трудно интерпретировать, имеют ограничения или их трудно использовать для немедленного улучшения результатов.

Большинство компаний получат больше пользы от простых бизнес-экспериментов. Это потому, что легче делать правильные выводы, используя данные, полученные в результате экспериментов, чем изучая исторические транзакции.Менеджерам необходимо научиться использовать основные методы исследования. В частности, им необходимо придерживаться подхода «тестируй и учись»: выполните одно действие с одной группой клиентов, другое действие (или часто вообще не выполните) с контрольной группой, а затем сравните результаты. Результаты легко анализировать, данные легко интерпретировать, а причинно-следственная связь обычно ясна. Подход «тестируй и учись» также очень эффективен. Обратная связь даже с горсткой экспериментов может привести к немедленному и значительному увеличению прибыли.(См. Врезку «Как один розничный торговец протестировал свою стратегию скидок».) И в отличие от аналитики, экспериментирование — это навык, который может приобрести почти любой менеджер.

По общему признанию, бывает сложно понять, с чего начать. В этой статье мы предлагаем пошаговое руководство по проведению интеллектуальных бизнес-экспериментов.

Все дело в проверке отзывов клиентов

В некоторых отраслях экспериментирование уже стало образом жизни. Каталог J. Crew или Pottery Barn, который приходит в ваш почтовый ящик, почти наверняка является частью эксперимента — тестирования продуктов, цен или даже веса бумаги.Приглашения на благотворительность и предложения по кредитным картам также обычно являются частью маркетинговых тестов. Capital One ежегодно проводит десятки тысяч экспериментов, чтобы улучшить способы привлечения клиентов, максимизировать их жизненную ценность и даже ликвидировать убыточные. Таким образом, Capital One вырос из небольшого подразделения Signet Bank в независимую компанию с рыночной капитализацией 19 миллиардов долларов.

Легкость, с которой компании могут экспериментировать, зависит от того, насколько легко они могут наблюдать результаты.Директ-мейл, каталогизирующие компании и интернет-магазины могут точно ориентироваться на людей, совершающих различные действия, и оценивать отклики. Но многие компании участвуют в деятельности или достигают клиентов по каналам, которые делают невозможным получение надежной обратной связи. Классический пример — телевизионная реклама. Coke может только догадываться о том, как зрители отреагировали на ее рекламу во время последней Олимпиады, ограничение, признанное известной аксиомой Джона Ванамакера: «Половина денег, которые я трачу на рекламу, тратится впустую; проблема в том, что я не знаю, какая половина.«Без эффективного механизма обратной связи основа для принятия решений возвращается к интуиции.

На практике большинство компаний находятся где-то между этими двумя крайностями. Многие способны проводить тесты только на совокупном уровне, и им приходится сравнивать неэквивалентные группы лечения и контрольные группы, чтобы оценить ответ. Если Apple хочет поэкспериментировать с ценами на новый iPhone, она может ограничиться установкой разных цен в разных странах и наблюдением за реакцией.В общем, легче экспериментировать с ценами и решениями о продуктах, чем с решениями по управлению каналами или рекламе. Кроме того, легче экспериментировать в условиях потребителя, чем в условиях взаимодействия между предприятиями, потому что на рынках B2C обычно гораздо больше потенциальных клиентов, которые могут выступать в качестве субъектов.

Думай как ученый

Для проведения бизнес-эксперимента требуются две вещи: группа управления и механизм обратной связи.

Хотя большинство менеджеров понимают цель контрольных групп в экспериментах, многие компании пренебрегают их использованием, проводя тестирование новых предложений по всей своей клиентской базе.Например, компания, которая хочет оценить влияние эксклюзивности на свою дилерскую сеть, упускает возможность, если она предлагает всем своим дилерам эксклюзивность. Он должен поддерживать неисключительность в определенных регионах, чтобы облегчить оценку того, как исключительность влияет на результаты.

В идеале контрольные группы выбираются путем рандомизации. Когда Capital One захотел проверить эффективность бесплатных переводов остатков с других кредитных карт (нововведение, которое изначально привело к успеху), оно предложило продвижение случайной выборке потенциальных клиентов, в то время как другая случайная выборка (контрольная группа) получила стандартное предложение.Часто для компании имеет смысл создать группу лечения, а затем использовать оставшуюся часть клиентской базы в качестве контрольной группы, как это сделал один банк, когда захотел поэкспериментировать со своей платформой для розничной онлайн-торговли. Такой подход дал менеджерам банков очень большую выборку эквивалентных клиентов, по которым можно было оценить реакцию на новую платформу.

Ключом к успеху с экспериментальной и контрольной группами является обеспечение разделения между ними, чтобы действия, предпринятые с одной группой, не перетекли на другую.Этого может быть трудно достичь в онлайн-среде, когда клиенты могут посещать ваш веб-сайт неоднократно, что затрудняет отслеживание, какие версии сайта они просматривали. Разделение также может быть труднодостижимым в традиционных условиях, где различное обращение в магазинах может привести к вторичным эффектам для клиентов, которые посещают несколько магазинов. Если вы не можете достичь географического разделения, одним из решений может быть изменение ваших действий с течением времени. Если есть опасения, что изменения в базовом спросе могут затруднить сравнение во времени, рассмотрите возможность повторения различных действий в несколько коротких периодов времени.

Второе требование — это механизм обратной связи, который позволяет вам наблюдать, как клиенты реагируют на различные виды лечения. Есть два типа показателей обратной связи: поведенческие и перцепционные. Поведенческие метрики измеряют действия — в идеале — фактические покупки. Однако, как показывает успех Google, даже промежуточные этапы процесса покупки предоставляют полезные данные. Одна из причин, по которой Google так ценен для рекламодателей, заключается в том, что он позволяет им наблюдать поведенческие проявления интереса, такие как нажатие на рекламу.Если бы Google мог измерять покупки, а не просто клики, это было бы еще более ценно. Конечно, Google и его конкуренты осознают это и активно изучают способы измерения влияния рекламы на решения о покупке в Интернете и традиционных каналах.

Меры восприятия показывают, как клиенты думают, что они отреагируют на ваши действия. Эта умозрительная форма обратной связи чаще всего получается через опросы, фокус-группы, совместные исследования и другие традиционные формы маркетинговых исследований.Эти меры полезны для диагностики промежуточных изменений в процессах принятия решений клиентами.

Учитывая, что цель большинства фирм — влиять на поведение клиентов, а не только на их восприятие, эксперименты, измеряющие поведение, обеспечивают более прямую связь с прибылью, особенно когда они измеряют покупательское поведение.

Семь правил проведения экспериментов

Как и многие другие начинания, лучшие экспериментальные программы начинаются с низко висящих плодов — экспериментов, которые легко реализовать и которые дают быстрые и четкие выводы.Компания предпринимает действия — например, повышает или снижает цену или рассылает предложение по почте — и наблюдает за реакцией клиентов.

Используя эти критерии, вы можете определить возможности для проведения быстрых экспериментов в вашей компании.

1. Сосредоточьтесь на людях и мыслите краткосрочно.

Наиболее точные эксперименты включают в себя действия с отдельными клиентами, а не сегменты или географические регионы, и наблюдение за их реакциями. Тесты измеряют покупательское поведение (а не восприятие) и показывают, приводят ли изменения к увеличению прибыли.Сосредоточьте свои эксперименты на таких условиях, когда клиенты реагируют немедленно. Когда UBS размышлял о том, как использовать эксперименты для улучшения своего бизнеса по управлению капиталом, он осознал, что лучше всего начать с привлечения клиентов, а не повышения ценности для клиентов на протяжении всей жизни. Влияние экспериментов на привлечение клиентов можно измерить немедленно, в то время как для оценки воздействия на жизненную ценность клиента может потребоваться 25 лет.

2. Будьте проще.

Ищите эксперименты, которые легко провести с использованием имеющихся ресурсов и персонала.Когда банк хотел провести эксперимент с клиентами, он не начинал с действий, требующих переподготовки кассиров. Вместо этого он сосредоточился на действиях, которые можно автоматизировать с помощью информационных систем банка. Эксперименты, требующие обширных манипуляций с планировкой магазина, предложениями продуктов или обязанностями сотрудников, могут оказаться чрезмерно дорогостоящими. Нам известен один розничный торговец, который провел ценовой эксперимент с участием тысяч наименований товаров в большом количестве магазинов — трудоемкое мероприятие, которое обошлось более чем в 1 миллион долларов.Многое из того, что ритейлер узнал из этого гигантского эксперимента, можно было почерпнуть из небольшого теста, в котором использовалось меньше магазинов и меньше продуктов и сохранялись ресурсы для последующих тестов.

Многое из того, что компании извлекают из гигантских экспериментов, можно почерпнуть из небольших тестов, в которых задействовано меньше переменных, что позволяет сэкономить ресурсы для последующих тестов.

3. Начните с проверки концепции.

В академических экспериментах исследователи изменяют одну переменную за раз, чтобы знать, что вызвало результат.В деловой среде важно сначала доказать правильность концепции. Измените столько переменных в любой комбинации, которая, по вашему мнению, с наибольшей вероятностью приведет к желаемому результату. Когда сеть круглосуточных магазинов захотела опробовать лучший способ смещения спроса с национальных брендов на собственные бренды, она повысила цены на национальные бренды и снизила цены на бренды частных марок. После того, как выяснилось, что изменение спроса возможно, розничный торговец усовершенствовал свою стратегию, изменив каждую из цен индивидуально.

4. Когда появятся результаты, разрежьте данные.

Когда клиентов случайным образом распределяют по экспериментальным и контрольным группам, и в каждой группе много клиентов, тогда вам может потребоваться несколько экспериментов для анализа. Например, если ваша выборка включает как мужчин, так и женщин, вы можете оценить результат отдельно для мужчин и женщин. Большинство действий влияют на одних клиентов больше, чем на других. Поэтому, когда поступят данные, поищите подгруппы в контрольной и лечебной группах.Если вы исследуете только агрегированные данные, вы можете сделать неправильный вывод, что они не влияют на каких-либо клиентов. (См. Экспонат «Нарезка эксперимента».)

Характеристики, которые вы используете для группировки клиентов, такие как пол или исторические модели покупок, не должны зависеть от самого действия. Например, если вы хотите проанализировать, как открытие магазина влияет на спрос в каталоге, вы не можете просто сравнить клиентов, которые сделали покупку в магазине, с клиентами, которые этого не сделали. Результаты будут отражать существующие различия клиентов, а не влияние открытия магазина.Вместо этого рассмотрите возможность сравнения покупок клиентов, живущих рядом с новым магазином, с покупателями, живущими далеко. Поскольку эти две группы примерно эквивалентны, различия в их поведении можно объяснить открытием магазина.

5. Попробуйте нестандартное мышление.

Типичная ошибка компаний — проведение экспериментов, которые лишь постепенно корректируют текущую политику. Например, IBM может экспериментировать с доходами от продаж, изменяя оптовые цены, которые она предлагает торговым посредникам.Однако может быть выгоднее поэкспериментировать с совершенно разными подходами к продажам — возможно, с участием эксклюзивных территорий или совместных рекламных программ. Если вы никогда не будете думать «а что, если», ваши эксперименты вряд ли приведут к прорывным улучшениям. Хороший пример — сеть супермаркетов Tesco в Великобритании. Сообщается, что компания обнаружила, что было выгодно отправлять купоны на органические продукты питания покупателям, купившим дикие птицы. Это нестандартное мышление. Tesco позволяет относительно молодым аналитикам в штаб-квартире компании проводить эксперименты на небольшом количестве клиентов.Эти сотрудники предлагают то, чего обычно не делают руководители высшего звена: постоянный поток новых творческих идей, актуальных для молодых клиентов.

6. Измерьте все, что имеет значение.

Предупреждение о мерах обратной связи: они должны учитывать все соответствующие эффекты. Крупный национальный розничный торговец одеждой недавно провел крупномасштабное испытание, чтобы определить, как часто рассылать каталоги и другие рекламные материалы различным группам клиентов. Некоторые клиенты получили 17 каталогов за девять месяцев, в то время как другая случайно выбранная группа получила 12 каталогов за тот же период.Розничный торговец обнаружил, что для его лучших клиентов дополнительные каталоги увеличили продажи в течение тестового периода, но снизили продажи в последующие месяцы. Когда розничный торговец сравнил продажи по своим каналам, он обнаружил, что его лучшие клиенты чаще покупают через каталог (по почте и телефону), но меньше — в его интернет-магазинах. Когда компания объединила продажи за разные периоды времени и по своим розничным каналам, она пришла к выводу, что она могла бы гораздо реже отправлять письма своим лучшим клиентам, не жертвуя продажами.Просмотр результатов в контексте имеет решающее значение, когда действия в одном канале влияют на продажи в других каналах или когда краткосрочные действия могут привести к долгосрочным результатам. Это причина, по которой мы рекомендуем начинать с действий, которые имеют только краткосрочные результаты, например, с действий, стимулирующих привлечение клиентов.

7. Ищите естественные эксперименты.

Норвежский экономист Трюгве Хаавельмо, получившая Нобелевскую премию 1989 года, заметила, что есть два типа экспериментов: «те, которые мы хотели бы провести» и «поток экспериментов, которые природа неуклонно проводит из ее собственной огромной лаборатории, и которые мы просто наблюдаем как пассивные наблюдатели.«Если фирмы могут распознать, когда происходят естественные эксперименты, они смогут учиться у них с небольшими дополнительными расходами или без них. Например, когда розничный торговец одеждой открывал свой первый магазин в штате, по закону он должен был начать взимать налог с продаж с онлайн-заказов и заказов по каталогу, отправленных в этот штат, тогда как ранее эти покупки не облагались налогом. Это дало возможность узнать, как налоги с продаж повлияли на спрос в Интернете и каталогах. Ритейлер сравнил продажи в Интернете и по каталогу до и после открытия магазина для покупателей, которые жили по обе стороны от южной границы штата, что находилось далеко от нового магазина.Никто из покупателей вряд ли совершит покупки в новом магазине, поэтому его открытие не повлияет на спрос — единственным изменением было налогообложение онлайн-покупок и покупок по каталогам, которое затронуло потребителей только на одной стороне границы. Сравнение показало, что введение налогов с продаж привело к значительному падению онлайн-продаж, но практически не повлияло на спрос по каталогам.

Цель не в том, чтобы проводить идеальные эксперименты; это принимать лучшие решения.

Ключом к выявлению и анализу экспериментов на природе является поиск экспериментальных и контрольных групп, которые были созданы каким-то внешним фактором, а не специально собраны для эксперимента.Географическая сегментация — один из распространенных подходов к естественным экспериментам, но не всегда будет отличительной чертой. Например, когда GM, Ford и Chrysler предлагали публике возможность покупать новые автомобили со скидкой для сотрудников, не существовало естественного географического разделения — сделка была предложена всем клиентам. Вместо этого, чтобы оценить результат этих рекламных акций, исследователи сравнили транзакции за несколько недель до и после введения рекламных акций. Интересно, что они обнаружили, что скачок уровня продаж сопровождался резким ростом цен.Клиенты думали, что они получают выгодную сделку, но на самом деле цены на многие модели до рекламной акции были ниже, чем цены со скидкой для сотрудников. Клиенты отреагировали на саму рекламную акцию, а не на фактические цены, в результате чего многие клиенты остались довольны сделкой, даже несмотря на то, что они платили более высокие цены.

Избегайте препятствий

Компании, которые хотят использовать возможности экспериментов, должны знать о препятствиях — как внешних, так и внутренних.В некоторых случаях существуют юридические препятствия: фирмы должны проявлять осторожность, устанавливая разные цены для дистрибьюторов и розничных торговцев, особенно с конкурирующими друг с другом фирмами. Хотя при взимании с потребителей разных цен существует меньше юридических последствий (человек, сидящий рядом с вами на рейсе вашей авиакомпании, обычно заплатил больше или меньше, чем вы), угроза негативной реакции потребителей является достаточным сдерживающим фактором для некоторых фирм. Никто не любит, когда к нему относятся менее благосклонно, чем к другим. Это особенно верно, когда речь идет о ценах, а широкая доступность информации о ценах в Интернете означает, что вариации часто легко обнаруживаются.

Внутренние препятствия для экспериментов часто больше, чем внешние препятствия. В организации с культурой принятия решений на основе интуиции переход к культуре экспериментирования требует фундаментального изменения взглядов руководства. Интуиция управления часто коренится в желании человека быстро принимать решения и в культуре, которая осуждает неудачи. Напротив, экспериментирование требует более взвешенного стиля принятия решений и готовности опробовать множество подходов, некоторые из которых не увенчаются успехом.

Некоторые компании ошибочно полагают, что единственно полезные эксперименты — успешные. Но цель не в том, чтобы проводить идеальные эксперименты; скорее, цель состоит в том, чтобы учиться и принимать более правильные решения, чем вы принимаете сейчас. Без экспериментов менеджеры обычно принимают решения на интуитивном уровне. Удивительно не только то, насколько плохи обычно эти решения, но и то, как к ним относятся хорошие менеджеры. Они не должны — обычно есть много возможностей для улучшения. Организации, которые культивируют культуру экспериментирования, часто возглавляются старшими менеджерами, которые имеют четкое представление о возможностях и включают эксперименты в качестве стратегической цели компании.Это верно и в отношении Гэри Лавмана, генерального директора компании Harrah’s, которая теперь называется Caesars Entertainment, который преобразовал культуру организации с 35 000 сотрудников и в конечном итоге закрепил эксперименты в качестве основной ценности. Он инвестировал в людей и инфраструктуру, необходимые для поддержки экспериментов, а также внедрил механизм управления, который вознаградил этот подход. Решения, основанные исключительно на интуиции, осуждались, даже если догадка впоследствии подтверждалась.

Обычно существует практическое ограничение на количество запускаемых менеджером экспериментов.По этой причине аналитика может играть важную роль даже в компаниях, в которых эксперименты определяют принятие решений. Когда Capital One приглашает новых держателей карт по почте, он может проводить тысячи экспериментов; нет необходимости предварительно тестировать эксперименты, анализируя исторические данные. Но бизнес-модели других компаний могут допускать только несколько экспериментов; в таких случаях менеджеры должны тщательно планировать и предварительно тестировать эксперименты с помощью аналитики. Например, проведение экспериментов в настройках каналов затруднено, потому что изменения связаны с конфронтацией и разрывом существующих отношений.Это означает, что большинство компаний будут ограничены в количестве экспериментов с каналами, которые они могут провести. В таких ситуациях анализ исторических данных, в том числе действий и результатов конкурентов в смежных отраслях, может дать ценные исходные данные, которые помогут сфокусировать ваши эксперименты.

Независимо от того, являются ли эксперименты маленькими или большими, естественными или созданными, ваша цель как менеджера одна и та же: перейти от культуры принятия решений на основе интуиции к культуре экспериментирования. Интуиция по-прежнему будет играть важную роль в инновациях.Тем не менее, это должно быть подтверждено экспериментально, прежде чем идеи получат широкое распространение. В конечном итоге компании, которые действительно придерживаются этого подхода, основанного на данных, смогут делегировать полномочия на проведение небольших экспериментов даже низкому уровню управления. Это будет стимулировать нестандартные инновации, которые приведут к реальной трансформации.