Заинтересован в методах экспертного оценивания. Реферат: Метод экспертных оценок. В работу входит

Основная идея прогнозирования на основе экспертных оценок заключается в построении рациональной процедуры интуитивно-логического мышления человека в сочетании с количественными методами оценки и обработки получаемых результатов .

Сущность методов экспертных оценок заключается в том, что в основу прогноза закладывается мнение специалиста или коллектива специалистов, основанное на профессиональном, научном и практическом опыте .

Индивидуальные экспертные оценки - основаны на использовании мнений экспертов-специалистов соответствующего профиля.

1. Метод "интервью" предполагает беседу прогнозиста с экспертом по схеме "вопрос-ответ", в процессе которой прогнозист в соответствии с заранее разработанной программой ставит перед экспертом вопросы относительно перспектив развития прогнозируемого объекта. Успех такой оценки в значительной степени зависит от способности эксперта экспромтом давать заключение по самым различным вопросам.

2. Метод анкетного опроса заключается в том, что эксперту предлагается для заполнения анкета (опросный лист), содержащая перечень вопросов, каждый из которых логически связан с задачей исследования.

В анкете могут использоваться следующие типы вопросов:

· открытые – ответы на данные вопросы могут быть сформулированы в любой форме;

· закрытого типа – предлагаются варианты ответов, один из которых должен выбрать эксперт.

Использование в анкете вопросов закрытого типа предпочтительней, так как упрощает статистическую обработку результатов ответа и облегчает работу эксперта при заполнении анкеты. С другой стороны, перечень ответов на вопрос может и не содержать мнение эксперта. Поэтому при формировании перечня вариантов ответов на некоторые вопросы следует предусматривать возможность выдвижения экспертом своего варианта ответа или уклонение от ответа

3. Аналитический метод (аналитических записок) предусматривает тщательную самостоятельную работу эксперта над анализом тенденций, оценкой состояния и путей развития прогнозируемого объекта. Эксперт может использовать всю необходимую ему информацию об объекте прогноза. Свои выводы он оформляет в виде докладной записки. Основное преимущество этого метода - возможность максимального использования индивидуальных способностей эксперта. Однако он мало пригоден для прогнозирования сложных систем и выработки стратегии из-за ограниченности знаний одного специалиста-эксперта в смежных областях знаний.

Основное преимущество методов индивидуальных экспертных оценок состоит в возможности максимального использования индивидуальных способностей экспертов. Однако данные методы мало пригодны для прогнозирования наиболее общих стратегий из-за ограниченности знаний одного эксперта о развитии смежных областей науки и практики.

Примером использования экспертных оценок при планировании развития социально-экономических систем может служить многокритериальная задача выбора варианта решения, которая на сегодняшний день актуальна во многих сферах деятельности человека.

Процедура многокритериального выбора включает в себя следующие этапы:

1. Выявление наиболее существенных показателей (критериев), характеризующих исследуемый объект;

2. Определение способа количественной оценки показателей;

3. Определение допустимых границ изменения показателей;

4. Выбор метода поиска наилучшего варианта;

5. Решение задачи и анализ результатов.

В качестве целевой функции для оценки вариантов решений чаще всего используется аддитивная свертка критериев:

Или , (2.18)

где - весовые коэффициенты, характеризующие значимость критерия . Численные значения определяются экспертами, при этом, желательно соблюдение следующего условия:

Если критерии имеют различные единицы измерения, то их необходимо привести к единому безразмерному масштабу так, чтобы выполнялись следующие неравенства:

Пример . По мнению экспертов, основными показателями экономического и социального развития региона являются:

Валовый внутренний (региональный) продукт;

Уровень занятости населения;

Среднемесячная заработная плата.

Экспертная оценка значимости критериев по десятибалльной шкале представлена в табл. 2.2.

Руководству региона предложено четыре целевые программы развития региона, направленные на первоочередное финансирование:

1. Агропромышленного комплекса;

2. Предприятий пищевой промышленности;

3. Отраслей социально-культурной сферы;

4. Жилищного строительства.

Ожидаемые значения основных показателей, получаемые при реализации рассматриваемых целевых программ, приведены в табл. 2.3.

Таблица 2.2

Результаты экспертной оценки

Таблица 2.3

Ожидаемые значения основных социально-экономических показателей развития региона

Необходимо определить наиболее целесообразную программу развития региона.

Решение:

Определим значения весовых коэффициентов:

; ; .

Таким образом, в результате обработки экспертных оценок целевая функция имеет следующий вид:

Учитывая, что целевая программа №3 заведомо неэффективна по сравнению с программой №2 (1500<2000; 80=80; 1000<2000), удалим её из матрицы возможных решений:

Так как значения показателей имеют различную размерность, то их необходимо привести к единому безразмерному масштабу. Это достигается делением элементов каждого столбца на максимальную величину в столбце:

На заключительном этапе определим значение целевой функции для предложенных программ:

Максимальное значение целевой функции соответствует программе №1. Следовательно, реализация данной программы наиболее целесообразна.

Наиболее достоверными являются коллективные экспертные оценки - предполагают определение степени согласованности мнений экспертов по перспективным направлениям развития объекта прогнозирования, сформулированным отдельными специалистами.

Для организации проведения экспертных оценок создаются рабочие группы, в функции которых входят проведение опроса, обработка материалов и анализ результатов коллективной экспертной оценки. Рабочая группа назначает экспертов, которые дают ответы на поставленные вопросы, касающиеся перспектив развития данного объекта.

1. Суть метода коллективной генерации идей (мозговой атаки) состоит в использовании творческого потенциала специалистов при мозговой атаке проблемной ситуации, реализующей вначале генерацию идей, а затем их структурирование, анализ и критику с выдвижением контридей и выработкой согласованной точки зрения.

Метод коллективной генерации идей предполагает реализацию следующих этапов:

1. формирование группы участников "мозговой атаки" по решению определенной проблемы. Оптимальная численность группы находится эмпирическим путем. Наиболее продуктивными признаны группы, состоящие из 10-15 человек.

2. Группа анализа составляет проблемную записку, в которой формулируется проблемная ситуация и содержится описание метода и проблемной ситуации.

3. Этап генерации идей. Каждый участник имеет право выступать много раз. Критика предыдущих выступлений и скептические замечания не допускаются. Ведущий корректирует процесс, приветствует усовершенствование или комбинацию идей, оказывает поддержку, освобождая участников от скованности. Продолжительность "мозговой атаки" - не менее 20 мин и не более 1 ч в зависимости от активности участников.

4. Систематизация идей, высказанных на этапе генерации. Формируется перечень идей, выделяются признаки, по которым идеи могут быть объединены, идеи объединяются в группы согласно выделенным признакам.

5. На пятом этапе осуществляется деструктурирование (разрушение) систематизированных идей. Каждая идея подвергается всесторонней критике со стороны группы высококвалифицированных специалистов в составе 20-25 человек.

6. На шестом этапе дается оценка критических замечаний и составляется список практически реализуемых идей.

Метод "635" - одна из разновидностей "мозговой атаки". Цифры б, 3, 5 обозначают 6 участников, каждый из которых должен записать 3 идеи в течение 5 мин. Лист ходит по кругу. Таким образом, за полчаса каждый запишет в свой актив 18 идей, а все вместе - 108. Структура идей четко определена. Возможны модификации метода. Этот метод широко используется в зарубежных странах (особенно в Японии) для отбора из множества идей наиболее оригинальных и прогрессивных по решению определенных проблем.

2. Метод "Дельфи". Цель метода - разработка программы последовательных многотуровых индивидуальных опросов. Индивидуальный опрос экспертов обычно проводится в форме анкет-вопросников. Затем осуществляется их статистическая обработка на ЭВМ и формируется коллективное мнение группы, выявляются и обобщаются аргументы в пользу различных суждений. Обработанная на ЭВМ информация сообщается экспертам, которые могут корректировать оценки, объясняя при этом причины своего несогласия с коллективным суждением. Эта процедура может повторяться до 3-4 раз. В результате происходит сужение диапазона оценок и вырабатывается согласованное суждение относительно перспектив развития объекта.

Особенности метода "Дельфи":

а) анонимность экспертов - взаимодействие членов группы при заполнении анкет полностью исключается;
б) возможность использования результатов предыдущего тура опроса;

в) статистическая характеристика группового мнения.

3. Метод "комиссий" - основан на работе специальных комиссий. Группы экспертов за "круглым столом" обсуждают ту или иную проблему с целью согласования точек зрения и выработки единого мнения. Недостаток этого метода заключается в том, что группа экспертов в своих суждениях руководствуется в основном логикой компромисса.

Метод экспертных комиссий может быть организован в одной из следующих форм:

Как показала практика, метод «комиссий» имеет существенные недостатки:

Ольшое влияние такого психологического фактора как мнение авторитетных экспертов, к которому присоединяются остальные эксперты, не высказывая своей точки зрения;

Нежелание экспертов публично отказываться от ранее высказанных ими мнений;

При работе комиссий чаще всего происходит спор двух или трех наиболее авторитетных экспертов, в результате чего другие эксперты в дискуссии участие или не принимают или не учитываются высказанные ими мнения.

4. Метод суда – основан на организации работы коллектива экспертов в форме ведения судебного процесса. Использование этого метода целесообразно при наличии нескольких групп экспертов, каждая из которых отстаивает свою точку зрения. В данном случае в качестве «подсудимого» выступает объект прогнозирования. Лидеры групп, высказывающих альтернативные точки зрения, выступают в качестве обвинения и защиты (прокурор, адвокат). Отдельные эксперты играют роль свидетелей, предоставляя суду необходимую для принятия решения информацию. Роль судьи играет заинтересованное лицо (группа лиц). Так, например, в телевизионной передаче «Процесс», основанной на использовании метода суда для анализа и прогнозирования развития различных социально-экономических процессов, роль судьи играли зрители, голосуя в процессе передачи телефонными звонками за ту точку зрения, которую они поддерживали.

Метод морфологического анализа предполагает выбор наиболее приемлемого решения проблемы из числа возможных. Его целесообразно использовать при прогнозировании фундаментальных исследований. Метод включает ряд приемов, предполагающих систематизированное рассмотрение характеристик объекта. Исследование проводится по методу "морфологического ящика", который строится в виде дерева целей или матрицы, в клетки которой вписаны соответствующие параметры. Последовательное соединение параметра первого уровня с одним из параметров последующих уровней представляет собой возможное решение проблемы. Общее количество возможных решений равно произведению числа всех параметров, представленных в "ящике", взятых по строкам. Путем перестановок и различных сочетаний можно выработать вероятностные характеристики объектов.

Метод написания сценария - основан на определении логики процесса или явления во времени при различных условиях. Он предполагает установление последовательности событий, развивающихся при переходе от существующей ситуации к будущему состоянию объекта. Прогнозный сценарий определяет стратегию развития прогнозируемого объекта. Он должен отражать генеральную цель развития объекта, критерии оценки верхних уровней «дерева целей», приоритеты проблем и ресурсы для достижения основных целей. В сценарии отображаются последовательное решение задачи, возможные препятствия. При этом используются необходимые материалы по развитию объекта прогнозирования.

Прогнозный граф - это фигура, состоящая из точек-вершин, соединенных отрезками-ребрами. "Дерево целей" - это граф-дерево, выражающее отношение между вершинами-этапами или проблемами достижения цели. Каждая вершина представляет собой цель для всех исходящих из нее ветвей. "Дерево целей" предполагает выделение нескольких структурных или иерархических уровней.

Построение "дерева целей" требует решения многих задач: прогноза развития объекта в целом; формулирования сценария прогнозируемой цели, определение уровней и вершин "дерева", критериев и их весов в ранжировании вершин. Эти задачи могут решаться при необходимости методами экспертных оценок. Следует отметить, что данной цели как объекту прогноза может соответствовать множество разнообразных сценариев.

Сценарий обычно носит многовариантный характер и освещает три линии поведения: оптимистическую - развитие системы в наиболее благоприятной ситуации; пессимистическую - развитие системы в наименее благоприятной ситуации; рабочую - развитие системы с учетом противодействия отрицательным факторам, появление которых наиболее вероятно. В рамках прогнозного сценария целесообразно прорабатывать резервную стратегию на случай непредвиденных ситуаций.

Сценарий в готовом виде должен быть подвергнут анализу. На основании анализа информации, признанной пригодной для предстоящего прогноза, формулируются цели, определяются критерии, рассматриваются альтернативные решения.

Оценка экспертная - это название целой системы диагностических методов, которые чрезвычайно широко применяются в менеджменте, экономическом анализе, психологии, маркетинге и других сферах. Эти методы позволяют охарактеризовать, классифицировать, присвоить определенный ранг или оценку событиям и понятиям, которые не поддаются количественному измерению.

В каких случаях необходима экспертная оценка

В ходе какого-либо исследования на любом из его этапов может быть применен метод В управленческой деятельности он может пригодиться:

• На стадии определения целей и задач исследовательского процесса.
• Во время построения или проверки гипотезы.
• Для разъяснения проблемной ситуации. Для интерпретации происходящих процессов и событий.
• Чтобы обосновать адекватность применяемого инструментария.
• Для генерации рекомендаций, а также для реализации многих других целей.

Проведение экспертной оценки оправдано в тех случаях, когда нельзя принять решение, основываясь на точных расчетах (для составления психологического портрета, рабочей характеристики, оценки экономической неопределенности и рисков).

Чаще всего применение таких оценок становится важным в ситуации выбора одного или нескольких вариантов из предложенного множества:

• Запуск в серийное производство одного из разработанных вариантов продукции.
• Подбор космонавтов из многочисленных претендентов.
• научной работы, который будет профинансирован.
• Выбор предприятия, которое получит экологический кредит.
• Определение инвестиционного проекта для вложения финансовых средств.

Кто такие эксперты, и как они работают

Как следует из названия метода, экспертная оценка предполагает привлечение одного или нескольких специалистов-экспертов, компетентных для вынесения оценок лиц, а также обработку их мнения. Подбор экспертов осуществляют с учетом адекватности их суждений и опыта в данной области.

Оценка экспертная может быть выражена как количественно, так и качественно. Данные экспертных исследований нужны руководителям, менеджерам и сотрудникам управляющего звена как основание для принятия решений.

Разработка экспертной оценки чаще всего проводится путем создания рабочей группы, которая занимается организацией деятельности эксперта (или нескольких экспертов). Если приходится задействовать более одного человека, их объединяют в экспертную комиссию.

Сколько экспертов потребуется?

В зависимости от специфики задания и возможностей предприятия, для проведения экспертной оценки может быть приглашен один или несколько экспертов. При этом оценка экспертная называется индивидуальной или коллективной.

Индивидуальной становится оценка, которой преподаватель характеризует глубину знаний студента. Также к этому типу относят диагноз, поставленный одним врачом. Однако при спорных или сложных ситуациях (серьезное заболевание, постановка вопроса об отчислении учащегося), прибегают к коллективному решению вопроса. Здесь необходимы симпозиумы врачей и организация комиссии преподавателей.

Такой же алгоритм действует и в армии: чаще всего решение принимается командующим единолично, однако при необходимости собирают военный совет.

Последовательность процедуры оценивания

Последовательность формирования актуальной и объективной экспертной оценки представляет собой такие этапы:

1. Проведение которую требуется исследовать.
2. Подбор экспертов для проведения процедуры.
3. Изучение существующих способов, с помощью которых будет выполнен замер экспертных оценок.
4. Проведение самой процедуры оценивания.
5. Сведение и анализ информации, полученной в ходе оценивания.

При этом может потребоваться выполнение проверки входных данных, на которых будет основана оценка экспертная. В некоторых случая рабочей группе приходится менять состав экспертной группы или прибегать к повторному замеру тех же вопросов (с целью сопоставить в дальнейшем полученную оценку с объективными данными из других источников).

Ход оценивания: характеристика этапов

Большое значение для успешного проведения процедуры имеет компетентное решение организационных вопросов:

• Планирование затрат на мероприятие (оплата услуг экспертов и специалистов по анализу полученных данных, расходы на аренду помещения, покупка канцтоваров).
• Подготовка необходимых материалов (составление и распечатка бланков, обеспечение инвентарем).
• Выбор и инструктаж модератора мероприятия.

В процессе работы эксперты должны руководствоваться выделенным регламентом, так как дополнительное время на принятие решения не влияет на его точность.

Когда будут получены ответы всех специалистов, выполняется оценка экспертного заключения. При этом учитывается степень согласованности всех мнений. Если однозначного согласия нет, рабочая группа должна выяснить причину разногласий, зафиксировать образование нескольких групп мнений и отсутствие согласованности как результат экспертной оценки. Затем оценивается ошибка исследования и выполняется построение модели на основании тех данных, которые были получены. Это необходимо, чтобы впоследствии можно было провести аналитическую экспертизу.

Методы, применяемые для проведения индивидуальной экспертной оценки: что такое интервью

Среди самых действенных и часто применяемых методик можно назвать:

• Аналитический способ.
• Метод написания сценария.
• Интервью.

В согласии с методикой проведения интервью, прогнозист беседует с экспертом, задавая ему вопросы. Предметом разговора становятся перспективы развития объекта или явления, о котором идет речь. Программа опросника разрабатывается заранее.

Эффективность и качество экспертной оценки напрямую зависят от того, сможет ли эксперт в условиях ограниченного времени предоставить заключение.

Проведение экспертизы аналитическим методом

Выбирая аналитический метод для осуществления оценки, специалист-эксперт должен подготовиться к тщательному выполнению самостоятельной работы. Ему предстоит анализировать тенденции, оценивать состояние и возможные пути развития объекта, по отношению к которому применяется прогнозирование.

Система экспертных оценок предусматривает изучение всей информации об объекте, которая доступна эксперту. Результат оформляется как

Основным преимуществом аналитического метода становится то, что специалист может проявить все свои индивидуальные способности.

Правда, этот способ не подходит для анализа крупных и сложных систем, так как эксперту может не доставать знаний из смежных областей.

Осуществление экспертизы путем написания сценариев

Строго говоря, этот метод не должен быть отнесен только к категории индивидуальных способов оценивания, так как он с успехом применяется для работы в группе.

Чтобы использовать этот метод, эксперту следует определить логику изучаемых процессов и явлений относительно времени и разных комбинаций условий. Затем он сможет установить предположительную последовательность событий (их развитие, переход от ситуации в данный момент к прогнозируемому состоянию). Сценарий отражает все ступени решения задачи, а также предусматривает возникновение возможных препятствий.

Коллективная экспертиза: метод «мозгового штурма»

Для оценки сложных, масштабных, многоуровневых систем не обойтись без привлечения нескольких специалистов-экспертов.

Порученное задание они могут выполнить, применяя один из методов:

• Коллективную генерацию идей («мозговая атака»).
• Метод «635».
• Метод Дельфи.
• Оценку комиссий.

Благодаря коллективным усилиям и особенной организации, эксперты могут эффективно провести самые сложные процедуры, такие как экспертная оценка рисков для инвестиционного проекта или прогнозирование деятельности различных систем.

«Мозговой штурм» позволяет в полной мере раскрыть творческие данные экспертов. На первом этапе специалисты активно генерируют идеи, затем применяют деструктурирование (подвергают их критике, разрушают), выдвигают контридеи и вырабатывают согласованную точку зрения.

Главным условием становится отсутствие критики вначале и высказывание всех спонтанно возникающих идей.

Специфика метода «635»

Такое название метод получил из-за приема, который применяют эксперты при его использовании: каждый из шести экспертов записывает на листе бумаги три спонтанно возникших идеи за период, равный пяти минутам.

В чем особенность метода Дельфи

Целью разработки этого способа экспертного оценивания стала необходимость в более строгой и обоснованной процедуре, которая могла бы дать объективный и максимально полезный результат.

Его применяют эксперты, приглашенные в научные и технические институты, инвестиционные и страховые компании, а также в ряде других случаев.

Суть метода в том, что проводят многотуровые индивидуальные опросы (зачастую с помощью анкет). Затем выполняется компьютерный анализ экспертных оценок для формирования коллективного мнения. При этом выявляют и обобщают аргументы для защиты каждого суждения.

На следующем этапе полученные результаты передают экспертам для корректировок. Их несогласие с коллективным суждением должно быть письменно обосновано. В результате многократного возвращения оценки на корректировку рабочая группа добивается сужения диапазона и выработки согласованного суждения, касающегося перспектив развития исследуемого объекта.

Чем хорош метод:

1. Эксперты, принимающие участие в оценке, не знают друг друга и не общаются. Таким образом, исключено их взаимодействие.
2. Результаты предыдущих туров также представляют интерес и ценность для рабочей группы.
3. Представляется возможность получения статистической характеристики группового мнения.

Несмотря на относительно высокую затратность и продолжительность, этот метод становится лучшим способом предопределения развития долгосрочных ситуаций проблемного характера.

Нередко оценка выполняется специально организованной комиссией (метод комиссий), которые за «круглым столом» рассматривают все аспекты проблемы и принимают согласованное решение. Недостатком становится влияние участников друг на друга и искажение результатов. Примером может служить экспертная преподавателей и врачей.

Другие методы

Выше были перечислены самые распространенные методы выполнения экспертизы, но в практике производственных, научных и исследовательских организаций применяются и другие.

В зависимости от специфики ситуации, которую требуется спрогнозировать, а также от ресурсов и возможностей предприятия, могут быть применены:

• Деловая игра. Она позволяет смоделировать необходимое количество ситуаций для изучения особенностей системы управления или других процессов.
• «Суд» - инсценировка судебного процесса, при котором некоторые эксперты защищают варианты решений, другие пытаются их опровергнуть.
• Метод доклада - после проведения анализа, эксперт выражает свое мнение в виде аналитической записки или доклада. Это актуально при необходимости проведения относительно несложной работы (например, экспертная оценка автомобиля для страхования, налогообложения или возмещения ущерба).

В качестве итога можно отметить, что существование большого количества методов и способов проведения экспертной оценки позволяет руководителю предприятия и рабочей группе выбрать наиболее эффективный вариант для решения конкретной проблемы.

В большинстве рассмотренных видов исследовании предметом изучения является точка зрения потребителей (частных или корпоративных). Однакосуществуют также исследования, которые проводятся с учетом всех факторов, оказывающих влияние на тот или иной рынок, - это конкуренция, аффилированность, общие тенденции, изменения в законодательстве, текущие и запланированные проекты игроков, отраслевое регулирование, риски и т. д. И ни в публикации, ни в отраслевую статистику эти исследования не попадают. Здесь как элемент могут применяться и кабинетное исследование, и потребительские опросы, но основной инструмент в данном случае экспертные интервью с игроками рынка, независимыми аналитиками, руководителями ассоциаций, журналистами, людьми, занимающимися конкурентной разведкой, и т. д.

Метод экспертной оценки - это разновидность исследования, в котором респондентами являются эксперты - специалисты в определенной области деятельности.

Основное назначение метода экспертной оценки - выявление сложных аспектов исследуемой проблемы, повышение надежности информации, выводов.

Отличительная особенность метода состоит в том, что он предполагает компетентное участие экспертов (экспертизу) в анализе и решении проблем исследования.

Экспертиза - процедура получения информации от экспертов. Экспертные оценки - это суждения экспертов о различных сферах человеческой деятельности, предполагающие процедуру сравнения объектов и их свойств по выделенным критериям.

Специфика опроса экспертов состоит в следующем.

Нет необходимости применять в анкете косвенные или контрольные вопросы.

Программа опроса экспертов не детализирована и носит концептуальный характер.

В анкете предпочтительней использовать открытые вопросы с полной свободой выбора формы ответа.

Основные нормативные требования к проведению экспертной оценки :

тщательность подбора экспертов;

оценка надежности представленной экспертами информации;

создание условий для продуктивного использования экспертов в ходе исследования;

учет факторов, влияющих на суждения экспертов;

сохранение информации экспертов без искажения на всех этапах исследования.

Качество и надежность экспертных оценок снижает неупорядоченный подбор экспертов.

Критерии подбора экспертов таковы:

степень компетентности, показателями которой могут служить наличие у эксперта ученой степени, ученого звания, стаж работы по специальности, служебное положение, число опубликованных работ и т. д.;

способность ориентироваться в последних достижениях современной науки в тех областях, которые являются предметом экспертизы;

сочетание узкой специализации и общего кругозора эксперта;

способность к анализу и синтезу изучаемых проблем,

умение перерабатывать и усваивать качественно новую информацию;

высокие моральные качества;

сочетание психологически приемлемых друг для друга в группе экспертов различного возраста, различных научных школ и т. д.

Экспертная группа не может быть многочисленной. Методы отбора экспертов выделим объективный - использование специальных методик отбора - и субъективный - привлечение к процедуре отбора самих потенциальных экспертов.

Объективный подход имеет два варианта :

а) документальный метод - подбор экспертов на основе социально­демографических данных.

б) экспериментальный метод - отбор на основе тестирования кандидата.

Субъективный подход также имеет несколько вариаций ;

а) аттестация - подбор экспертов осуществляется с помощью открытого или тайного голосования потенциальных членов будущей экспертной группы (может проводиться в несколько туров);

б) метод взаимной оценки в баллах или ранжированием;

в) метод самооценки компетентности.

Экспертный опрос может иметь разные формы :

разовый индивидуальный опрос (анкетирование или интервью);

однократный коллективный опрос (совещания, мозговой штурм);

индивидуальный опрос в несколько туров (дельфийская техника);

коллективный опрос в несколько туров (дискуссия, совещание, мно­гоступенчатый отбор).

Еще одна форма экспертного опроса - традиционная дискуссия - метод беседы с небольшой группой экспертов на тему исследования. Целью дискуссии является выработка группового коллективного мнения. Предпосылкой успешной групповой дискуссии является четкая формулировка предмета дискуссии и знакомство с ней подавляющего большинства участников.

В значительной мере успех дискуссии зависит от культуры, подготовки, проведения и оформления коллективного мнения экспертов.

Метод «отнесенной оценки» - повторение нескольких циклов дискуссии с выявлением сущности наметившихся разногласий и постепенной выработкой единого мнения всех или большинства участников экспертизы, при этом за несогласными остается право на частное заключение.

Методы экспертизы при коллективной работе ее участников имеют много явных преимуществ, но одновременно обладают и рядом недостатков. Главный недостаток связан с воздействием экспертов друг на друга. Этот недостаток преодолевается с помощью индивидуального опроса в несколько туров. Заочный вариант метода «отнесенной оценки» приобрел название метода Дельфи, или дельфийской техники (от названия древнегреческого города, получившего известность как центр предсказаний оракулов).

Дельфийская техника гарантирует соблюдение анонимности респондентов: эксперты друге другом не встречаются, они заполняют анонимные анкеты или подключаются непосредственно к работе с компьютером.

После первого тура эксперты знакомятся с итоговыми характеристиками позиции группы в целом. Во втором туре они получают возможность либо сблизить свое мнение с позицией большинства, либо изучить причину отклонения. В третьем туре новая информация открывает возможность еще раз пересмотреть свою точку зрения.

Упрощенные вариации дельфийской техники («мини дельфи») позволяют

собрать экспертные оценки по 2-3 турам за несколько часов или дней.

К недостатки метода Дельфи относятся :

сложность подготовки, проведения и обработки результатов,

сравнительно большие затраты времени и средств.

Несмотря на недостатки, дельфийская техника получила значительное распространение; По масштабам применения во многих странах она оказалась в первой пятерке наиболее популярных методов социального прогнозирования.

Экспертный опрос в современном виде часто строится на совместном использовании различных методов, форм и процедур. Так, на основе использования дельфийской техники построена одна из американских систем прогнозирования - «Паттерн», которая позволяет создать систему информационных моделей в виде дерева целей. Работа по созданию системы начинается с создания сценария, т. е. описания состояния и направления развития исследуемого объекта. На следующем этапе строится дерево целей, для всякой цели разрабатываются необходимые и достаточные подцели, являющиеся условием достижения общей цели. На третьем этапе определяются коэффициенты относительной важности критериев и целей на всех уровнях. Далее определяются конкретные виды необходимых работ, ресурсы и сроки их осуществления. Самая длинная цепочка есть время исполнения всего комплекса работ.

Министерство образования и науки России

Марийский Государственный технический университет

Кафедра контроля и производства радиоаппаратуры

на тему: Методы экспертных оценок

Выполнила: ст. гр. БЖД-41

Копылова И.В.

Проверил: проф. каф. КиПР

Скулкин Н.М.

Йошкар-Ола 2012

Введение

Экспертное оценивание

Этапы экспертного оценивания

Виды экспертных оценок

Обработка результатов опроса экспертов

Заключение

Список литературы

Введение

Примеры методов экспертных оценок. Как будет изменяться экономическая обстановка с течением времени? Что будет с окружающей природной средой через десять лет? Как изменится экологическая обстановка? Будет ли обеспечена экологическая безопасность промышленных производств или же вокруг станет простираться рукотворная пустыня? Достаточно вдуматься в эти постановки естественных вопросов, проанализировать, как десять или тем более двадцать лет назад мы представляли себе сегодняшний день, чтобы понять, что стопроцентно надежных прогнозов просто не может быть. Вместо утверждений с конкретными числами можно ожидать лишь качественных оценок. Тем не менее мы, инженеры, должны принимать решения, например, об экологических и иных проектах и инвестициях, последствия которых скажутся через десять, двадцать и т.д. лет. Как быть? Остается обратиться к методам экспертных оценок. Что это за методы?

1. Экспертное оценивание

Экспертное оценивание - процедура получения оценки проблемы на основе мнения специалистов (экспертов) с целью последующего принятия решения (выбора).

Эксперты (от латинского "expertus" - опытный) - это лица, обладающие знаниями и способные высказать аргументированное мнение по изучаемому явлению.

Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки мнений экспертов.

Сущность методов экспертных оценок заключается в том, что в основу прогноза закладывается мнение специалиста или коллектива специалистов, основанное на профессиональном, научном и практическом опыте. Различают индивидуальные и коллективные экспертные оценки.

Экспертные оценки часто используются при выборе, например:

одного варианта технического устройства для запуска в серию из нескольких образцов,

группы космонавтов из многих претендентов,

набора проектов научно-исследовательских работ для финансирования из массы заявок,

получателей экологических кредитов из многих желающих,

при выборе инвестиционных проектов для реализации среди представленных, и т.д.

2. Этапы экспертного оценивания

1. Постановка цели исследования.

Экспертное оценивание предполагает создание некого разума, обладающего большими способностями по сравнению с возможностями отдельного человека. Источником возможностей мультиразума является поиск слабых ассоциаций и предположений, основанных на опыте отдельного специалиста. Экспертный подход позволяет решать задачи, не поддающиеся решению обычным аналитическим способом, в том числе:

·Выбор лучшего варианта решения среди имеющихся.

·Прогнозирование развития процесса.

·Поиска возможного решения сложных задач.

Перед началом экспертного исследования необходимо четко определить его цель (проблему) и сформулировать соответствующий вопрос для экспертов. При этом рекомендуется придерживаться следующих правил:

·Четкое определение условий, времени, внешних и внутренних ограничений проблемы. * Возможность ответа на вопрос с доступной человеческому опыту точностью.

·Вопрос лучше формулировать как качественное утверждение, чем как оценку числа. Для численных оценок не рекомендуется задавать более пяти градаций.

·Эксперты оценивают возможные варианты, и не следует ожидать от них построения законченного плана действий, развернутого описания возможных решений.

2. Выбор формы исследования, определение бюджета проекта.

Существующие виды экспертных оценок можно классифицировать по признакам:

·По форме участия экспертов: очное, заочное. Очный метод позволяет сосредоточить внимание экспертов на решаемой проблеме, что повышает качество результата, однако заочный метод может быть дешевле.

·По количеству итераций (повторов процедуры для повышения точности) - одношаговые и итерационные.

·По решаемым задачам: генерирующие решения и оценивающие варианты.

·По типу ответа: идейные, ранжирующие, оценивающие объект в относительной или абсолютной (численной) шкале.

·По способу обработки мнений экспертов: непосредственные и аналитические.

·По количеству привлекаемых экспертов: без ограничения, ограниченные. Обычно используется 5-12 человек экспертов.

Наиболее известные методы экспертных оценок: метод Дельфи, мозговой штурм и метод анализа иерархий. Каждому методу соответствуют свои сроки проведения и потребность в экспертах. После выбора метода экспертного оценивания можно определить затраты на процедуру, которые включают оплату экспертов, аренду помещения, приобретение канцтоваров, оплату специалиста по проведению и анализу результатов экспертизы.

3. Подготовка информационных материалов, бланков анкет, модератора процедуры.

Эксперты перед вынесением суждения должны разносторонне рассмотреть представленную проблему. Для проведения этой процедуры необходимо подготовить информационные материалы с описанием проблемы, имеющиеся статистические данные, справочные материалы, бланки анкет, инвентарь. Следует избегать следующих ошибок: упоминать разработчиков материалов, выделять тот или иной вариант решения, выражать отношение руководства к ожидаемым результатам. Данные должны быть разносторонние и нейтральные. Заранее необходимо разработать бланки анкет для экспертов. В зависимости от метода они могут быть с открытыми и закрытыми вопросами, ответ может даваться в виде суждении, парного сравнения, ранжированного ряда, в баллах или в виде абсолютной оценки.

Саму процедуру проводит независимый модератор процедуры, который контролирует соблюдение регламента, раздает материалы и анкеты, но сам не высказывает свое мнение.

4. Подбор экспертов.

Проблема подбора экспертов является одной из наиболее сложных в теории и практике экспертных исследований. Очевидно, в качестве экспертов необходимо использовать тех людей, чьи суждения наиболее помогут принятию адекватного решения. Но как выделить, найти, подобрать таких людей? Надо прямо сказать, что нет методов подбора экспертов, наверняка обеспечивающих успех экспертизы.

В проблеме подбора экспертов можно выделить две составляющие - составление списка возможных экспертов и выбор из них экспертной комиссии в соответствии с компетентностью кандидатов.

Эксперты должны обладать опытом в областях, соответствующих решаемым задачам. При подборе экспертов следует учитывать момент личной заинтересованности, который может стать существенным препятствием для получения объективного суждения. С этой целью, например, применяют методы Шара, когда один эксперт, наиболее уважаемый специалист, рекомендует ряд других и далее по цепочке, пока не будет подобран необходимый коллектив.

5. Проведение экспертизы.

Проведение процедуры отличается в зависимости от используемого метода. Общие рекомендации:

·Установить и соблюдать регламент. Увеличение времени на принятие решения сверх оптимального не повышает точность ответа.

6. Статистический анализ результатов . После получения ответов экспертов необходимо провести их оценку. Это позволяет:

1)Оценить согласованность мнений экспертов. При отсутствии значимой согласованности экспертов необходимо выявить причины несогласованности (наличие групп) и признать отсутствие согласованного мнения (ничтожные результаты).

)Оценить ошибку исследования.

)Построить модель свойств объекта на основе ответов экспертов (для аналитической экспертизы). Результаты экспертного оценивания оформляются в виде отчёта. В отчете указывается цель исследования, состав экспертов, полученная оценка и статистический анализ результатов.

7. Подготовка отчета с результатами экспертного оценивания.

. Виды экспертных оценок

Методы экспертных оценок можно разделить на две группы:

§методы коллективной работы экспертной группы

§методы получения индивидуального мнения членов экспертной группы.

Методы коллективной работы экспертной группы предполагают получение общего мнения в ходе совместного обсуждения решаемой проблемы. Иногда эти методы называют методами прямого получения коллективного мнения. Основное преимущество этих методов заключается в возможности разностороннего анализа проблем. Недостатками методов является сложность процедуры получения информации, сложность формирования группового мнения по индивидуальным суждениям экспертов, возможность давления авторитетов в группе.

Методы коллективной работы включают методы "мозговой атаки", "сценариев", "деловых игр", "совещаний" и "суда".

Мозговая атака. Организуется он как собрание экспертов, на выступления которых наложено одно, но очень существенное ограничение - нельзя критиковать предложения других. Можно их развивать, можно высказывать свои идеи, но нельзя критиковать! В ходе заседания эксперты, "заражаясь" друг от друга, высказывают все более экстравагантные соображения. Часа через два записанное на магнитофон или видеокамеру заседание заканчивается, и начинается второй этап мозгового штурма - анализ высказанных идей. Обычно из 100 идей 30 заслуживают дальнейшей проработки, из 5-6 дают возможность сформулировать прикладные проекта, а 2-3 оказываются в итоге приносящими полезный эффект - прибыль, повышение экологической безопасности, оздоровление окружающей природной среды и т.п. При этом интерпретация идей - творческий процесс. Например, при обсуждении возможностей защиты кораблей от торпедной атаки была высказана идея: "Выстроить матросов вдоль борта и дуть на торпеду, чтобы изменить ее курс". После проработки эта идея привела к созданию специальных устройств, создающих волны, сбивающиеся торпеду с курса.

Метод «635» - одна из разновидностей мозговой атаки. Цифры 6, 3, 5 обозначают шесть участников, каждый из которых должен записать три идеи в течение пяти минут. Лист ходит по кругу. Таким образом, за полчаса каждый запишет в свой актив 18 идей, а все вместе - 108. Структура идей четко определена. Возможны модификации метода. Этот метод широко используется в зарубежных странах (особенно в Японии) для отбора из множества идей наиболее оригинальных и прогрессивных по решению определенных проблем.

Деловые игры основаны на моделировании функционирования социальной системы управления при выполнении операций, направленных на достижение поставленной цели. В отличие от предыдущих методов, где экспертные оценки формируются в ходе коллективного обсуждения, деловые игры предполагают активную деятельность экспертной группы, за каждым членом которой закреплена определенная обязанность в соответствии с заранее составленными правилами и программой.

Основным достоинством деловых игр является возможность выработки решения в динамике с учетом всех этапов исследуемого процесса при взаимодействии всех элементов общественной системы управления. Недостаток заключается в сложности организации деловой игры в условиях, приближенных к реальной проблемной ситуации.

Метод совещаний ("комиссий", "круглого стола") - самый простой и традиционный. Он предполагает проведение совещания или дискуссии с целью выработки единого коллективного мнения по решаемой проблеме. В отличие от метода "мозговой атаки" каждый эксперт может не только высказывать свое мнение, но и критиковать предложения других. В результате такого тщательного обсуждения уменьшается возможность ошибок при выработке решения.

Достоинством метода является простота его реализации. Однако на совещании может быть принято ошибочное мнение одного из участников в силу его авторитета, служебного положения, настойчивости или ораторских способностей.

Метод комиссий - один из методов экспертных оценок, основанный на работе специальных комиссий. Группы экспертов за "круглым столом" обсуждают ту или иную проблему с целью согласования точек зрения и выработки единого мнения. Недостаток этого метода заключается в том, что группа экспертов в своих суждениях руководствуется в основном логикой компромисса.

Метод написания сценария основан на определении логики процесса или явления во времени при различных условиях. Он предполагает установление последовательности событий, развивающихся при переходе от существующей ситуации к будущему состоянию объекта. Своеобразным сценарием может быть описание последовательности и условий международной интеграции хозяйства стран, включающее следующие вопросы:

от каких простейших форм к более сложным должен пройти этот процесс;

как он повлияет на национальное хозяйство и экономические связи стран;

каковы финансовые, организационные, социальные, юридические проблемы, которые могут возникнуть в ходе интернационализации хозяйства.

Прогнозный сценарий определяет стратегию развития прогнозируемого объекта. Он должен отражать генеральную цель развития объекта, критерии оценки верхних уровней дерева целей, приоритеты проблем и ресурсы для достижения основных целей. В сценарии отображаются последовательное решение задачи, возможные препятствия. При этом используются необходимые материалы по развитию объекта прогнозирования.

Сценарий должен быть написан так, чтобы после ознакомления с ним стала ясна генеральная цель проводимой работы в свете социально-экономических задач на прогнозный период.

Он обычно носит многовариантный характер и освещает три линии поведения:

оптимистическую - развитие системы в наиболее благоприятной ситуации;

пессимистическую - развитие системы в наименее благоприятной ситуации;

рабочую - развитие системы с учетом противодействия отрицательным факторам, появление которых наиболее вероятно.

В рамках прогнозного сценария целесообразно прорабатывать резервную стратегию на случай непредвиденных ситуаций.

Сценарий в готовом виде должен быть подвергнут анализу. На основании анализа информации, признанной пригодной для предстоящего прогноза, формулируются цели, определяются критерии, рассматриваются альтернативные решения.

Метод суда является разновидностью метода "совещаний" и реализуется по аналогии с ведением судебного процесса.

В роли "подсудимых" выступают выбираемые варианты решения;

в роли "судей" - лица, принимающие решение;

в роли "прокуроров" и "защитников" - члены экспертной группы.

Роль "свидетелей" выполняют различные условия выбора и доводы экспертов. При ведении такого "судебного процесса" отклоняются или принимаются те или иные решения.

Метод "суда" целесообразно использовать при наличии нескольких групп экспертов, придерживающихся различных вариантов решения.

Методы получения индивидуального мнения членов экспертной группы основаны на предварительном получении информации от экспертов, опрашиваемых независимо друг от друга, с последующей обработкой полученных данных. К этим методам можно отнести методы анкетного опроса, интервью и методы "Дельфи". Основные преимущества метода индивидуального экспертного оценивания состоят в их оперативности, возможности в полной мере использовать индивидуальные способности эксперта, отсутствии давления со стороны авторитетов и в низких затратах на экспертизу. Главным их недостатком является высокая степень субъективности получаемых оценок из-за ограниченности знаний одного эксперта.

Метод «Дельфи». Цель - разработка программы последовательных многотуровых индивидуальных опросов. Индивидуальный опрос экспертов обычно проводится в форме анкет-вопросников. Затем осуществляется их статистическая обработка на ЭВМ и формируется коллективное мнение группы, выявляются и обобщаются аргументы в пользу различных суждений. Обработанная на ЭВМ информация сообщается экспертам, которые могут корректировать оценки, объясняя при этом причины своего несогласия с коллективным суждением. Эта процедура может повторяться до 3-4 раз. В результате происходит сужение диапазона оценок и вырабатывается согласованное суждение относительно перспектив развития объекта. Особенности метода Дельфи:

а) анонимность экспертов (участники экспертной группы неизвестны друг другу, взаимодействие членов группы при заполнении анкет полностью исключается);

б) возможность использования результатов предыдущего тура опроса;

в) статистическая характеристика группового мнения.

Этот метод помогает предопределить развитие проблемных ситуаций, носящих долгосрочный характер. Наши специалисты, работающие в области научно-технического прогнозирования, также разрабатывают методы обработки экспертных оценок. Они носят название эвристических.

Метод интервью предполагает беседу прогнозиста с экспертом по схеме вопрос - ответ, в процессе которой прогнозист в соответствии с заранее разработанной программой ставит перед экспертом вопросы относительно перспектив развития прогнозируемого объекта. Успех такой оценки в значительной степени зависит от способности эксперта экспромтом давать заключение по разным вопросам.

Аналитический метод предусматривает тщательную самостоятельную работу эксперта над анализом тенденций, оценкой состояния и путей развития прогнозируемого объекта. Эксперт может использовать всю необходимую ему информацию об объекте прогноза. Свои выводы он оформляет в виде докладной записки. Основное преимущество этого метода - возможность максимального использования индивидуальных способностей эксперта. Однако он мало пригоден для прогнозирования сложных систем и выработки стратегии из-за ограниченности знаний одного специалиста-эксперта в смежных областях знаний.

. Обработка результатов опроса экспертов

экспертный коллективный индивидуальный опрос

Перейдем к рассмотрению процедур, выполняемых на этапе обработки результатов опроса.

На базе оценок экспертов получается обобщенная информация об исследуемом объекте (явлении) и формируется решение, задаваемое целью экспертизы. При обработке индивидуальных оценок экспертов используют различные количественные и качественные методы. Выбор того или иного метода зависит от сложности решаемой проблемы, формы, в которой представлены мнения экспертов, целей экспертизы.

Чаще всего при обработке результатов опроса используются методы математической статистики.

В зависимости от целей экспертизы при обработке оценок могут решаться следующие проблемы:

·формирование обобщенной оценки;

·определение относительных весов объектов;

·установление степени согласованности мнений экспертов и др.

1)Формирование обобщенной оценки

Итак, пусть группа экспертов оценила какой-либо объект, тогда xj - оценка j-го эксперта, , где m - число экспертов.

Для формирования обобщенной оценки группы экспертов чаще всего используются средние величины. Например, медиана (ME), за которую принимается такая оценка, по отношению к которой число больших оценок равняется числу меньших.

Может использоваться также точечная оценка для группы экспертов, вычисляемая как среднее арифметическое:

2)Определение относительных весов объектов

Иногда требуется определить, насколько тот или иной фактор (объект) важен (существенен) с точки зрения какого-либо критерия. В этом случае говорят, что нужно определить вес каждого фактора.

Один из методов определения весов состоит в следующем. Пусть xij - оценка фактора i, данная j-ым экспертом, , , n - число сравниваемых объектов, m - число экспертов. Тогда вес i-го объекта, подсчитанный по оценкам всех экспертов (wi), равен:

где wij - вес i-го объекта, подсчитанный по оценкам j-го эксперта, равен:

3)Установление степени согласованности мнений экспертов

В случае участия в опросе нескольких экспертов расхождения в их оценках неизбежны, однако величина этого расхождения имеет важное значение. Групповая оценка может считаться достаточно надежной только при условии хорошей согласованности ответов отдельных специалистов.

Для анализа разброса и согласованности оценок применяются статистические характеристики - меры разброса.

Вариационный размах (R):

Xmax - xmin,

где xmax - максимальная оценка объекта;min - минимальная оценка объекта.

Среднее квадратическое отклонение, вычисляемое по известной формуле:

где xj - оценка, данная j-ым экспертом;- количество экспертов.

Коэффициент вариации (V), который обычно выражается в процентах:

Специфичны подходы к проверке согласованности, используемые при оценке объектов методом ранжирования.

В этом случае результатом работы эксперта является ранжировка, представляющая собой последовательность рангов (для эксперта j): x1j, x2j, …, xnj.

Согласованность между ранжировками двух экспертов можно определить с помощью коэффициента ранговой корреляции Спирмэна:

где xij - ранг, присвоенный i-му объекту j-ым экспертом;ik - ранг, присвоенный i-му объекту k-ым экспертом;i - разница между рангами, присвоенными i-му объекту.

Величина может изменяться в диапазоне от -1 до +1. При полном совпадении оценок коэффициент равен единице. Равенство коэффициента минус единице наблюдается при наибольшем расхождении в мнениях экспертов.

Кроме того, расчет коэффициента ранговой корреляции может применяться как способ оценки взаимоотношений между каким-либо фактором и результативным признаком (реакцией) в тех случаях, когда признаки не могут быть измерены точно, но могут быть упорядочены.

В этом случае значение коэффициента Спирмэна может быть интерпретировано подобно значению коэффициента парной корреляции. Положительное значение свидетельствует о прямой связи между факторами, отрицательное - об обратной, при этом, чем ближе абсолютное значение коэффициента к единице, тем теснее связь.

Когда необходимо определить согласованность в ранжировках большого (более двух) числа экспертов, рассчитывается так называемый коэффициент конкордации - общий коэффициент ранговой корреляции для группы, состоящей из m экспертов:

Заметим, что вычитаемое в скобках представляет собой не что иное, как среднюю сумму рангов (при суммировании для каждого объекта), полученных i объектами от экспертов.

Коэффициент W изменяется в диапазоне от 0 до 1. Его равенство единице означает, что все эксперты присвоили объектам одинаковые ранги. Чем ближе значение коэффициента к нулю, тем менее согласованными являются оценки экспертов.

Заключение

Опыт, интуиция, чувство перспективы в сочетании с информацией помогают специалистам точнее выбирать наиболее важные цели и направления развития, находить наилучшие варианты решения сложных научно-технических и социально-экономических задач в условиях, когда нет информации о решении аналогичных проблем в прошлом.

Использование метода экспертных оценок помогает формализовать процедуры сбора, обобщения и анализа мнений специалистов с целью преобразования их в форму, наиболее удобную для принятия обоснованного решения. Но, следует заметить, что метод экспертных оценок не может заменить ни административных, ни плановых решений, он лишь позволяет пополнить информацию, необходимую для подготовки и принятия таких решений. Широкое использование экспертных оценок правомерно только там, где для анализа будущего невозможно применить более точные методы.

Экспертные методы непрерывно развиваются и совершенствуются. Основные направления этого развития определяются рядом факторов, в числе которых можно указать на стремление расширить области применения, повысить степень использования математических методов и электронно-вычислительной техники, а также изыскать пути устранения выявляющихся недостатков. Несмотря на успехи, достигнутые в последние годы в разработке и практическом использовании метода экспертных оценок, имеется ряд проблем и задач, требующих дальнейших методологических исследований и практической проверки. Необходимо совершенствовать систему отбора экспертов, повышение надежности характеристик группового мнения, разработку методов проверки обоснованности оценок, исследование скрытых причин, снижающих достоверность экспертных оценок. Однако, уже и сегодня экспертные оценки в сочетании с другими математико-статистическими методами являются важным инструментом совершенствования управления на всех уровнях.

Список литературы

1Орлов А.И. Экспертные оценки. // Заводская лаборатория. ? 1996. ? Т. 62. ? №1. ? С. 54-60.

2Орлов А.И. Экспертные оценки. Учеб. пособие. - М.: 2002.

Бешелев С.Д., Гурвич Ф.Г. Экспертные оценки в принятии плановых решений. Учеб. пособие. - М.: Экономика, 1976. ? 287 с.

Евланов Л.Г., Кутузов В.А. Экспертные оценки в управлении. - М.: Экономика, 1978. ? 133 с.

Менеджмент. Учеб. пособие. / Под ред. Ж.В. Прокофьевой. - М.: Знание, 2000. - 288 с.

Бешелев С.Д., Гурвич Ф.Г. Экспертные оценки. - М.: Наука, 1973. - 79 с.

Статистические методы анализа экспертных оценок. - М.: Наука, 1977. - 384 с.

Моисеев Н.Н. Математические задачи системного анализа. - М.: Наука, 1981. - 487 с.

Литвак Б.Г.Экспертные оценки и принятие решений. - М.: Патент, 1996.

Характеристики методов экспертных оценок [Электронный ресурс]: #"justify">Экспертное оценивание. / Википедия. [Электронный ресурс]: #"justify">Экспертные оценки. // StatSoft: SPC Consulting. [Электронный ресурс]: http://www.spc-consulting.ru/app/expert.htm

Репетиторство

Нужна помощь по изучению какой-либы темы?

Наши специалисты проконсультируют или окажут репетиторские услуги по интересующей вас тематике.
Отправь заявку с указанием темы прямо сейчас, чтобы узнать о возможности получения консультации.

Введение …………………………………………………………………………..3

Глава 1 Сущность, методы и процесс экспертных оценок ……………………5

1.1 Сущность экспертных оценок ………………………………………………5

1.2 Роль экспертов в управлении ………………………………………………..9

1.3 Процесс экспертного оценивания …………………………………………10

1.4 Методы экспертных оценок ………………………………………………..18

1.4.1 SWOT-анализ ……………………………………………………………...18

1.4.2 Метод SMART …………………………………………………………….20

1.4.3 Метод ранжирования и оценивания ……………………………………..21

1.4.4 Метод непосредственного оценивания …………………………………22

1.5 Оценка согласованности экспертов ……………………………………….23

Глава 2 Методы экспертных оценок на примере ОАО «УАЗ» ...…………….24

Заключение ………………………………………………………………………32

Список использованных источников и литературы …………………………..33

Введение

В исследовании управления широкое распространение имеет метод экс­пертных оценок. Это объясняется сложностью многих проблем, их проис­хождением из "человеческого фактора", отсутствием надежных эксперимен­тальных или нормативных инструментов.

Бесспорно совершенно, что для принятия обоснованных решений необходимо опираться на опыт, знания и интуицию специалистов. После второй мировой войны в рамках теории управления (менеджмента) стала развиваться самостоятельная дисциплина - экспертные оценки.

Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки мнений экспертов, выраженных в количественной и/или качественной форме с целью подготовки информации для принятия решений ЛПР - лицами, принимающими решения.

Изучению возможностей и особенностей применения экспертных оценокпосвя­щено много работ. В них рассматриваются формы экс­пертного опроса (разные виды анкетирования, интер­вью), подходы к оцениванию (ранжирование, нормиро­вание, различные виды упорядочения и т.д.), методы об­работки результатов опроса, требования к экспертам и формированию экспертных групп, вопросы тренировки экспертов, оценки их компетентности (при обработке оценок вводятся и учитываются коэффициенты компе­тентности экспертов, достоверности их мнений), мето­дики организации экспертных опросов. Выбор форм и методов проведения экспертных опро­сов, подходов к обработке результатов опроса и т.д. за­висит от конкретной задачи и условий проведения экс­пертизы.

Экспертные методы применяют сейчас в ситуациях, когда выбор, обоснование и оценка последствий решений не могут быть выполнены на основе точных расчетов. Такие ситуации нередко возникают при разработке современных проблем управления общественным производством и, особенно, при прогнозировании и долгосрочном планировании. В последние годы экспертные оценки находят широ­кое применение в социально-политическом и научно-тех­ническом прогнозировании, в планировании народного хозяйства, отраслей, объединений, в разработке крупных научно-технических, экономических и социальных про­грамм, в решении отдельных проблем управления.

Глава 1 Сущность, методы и процесс экспертных оценок

1.1 Сущность экспертных оценок

Возможность использования экспертных оценок, обоснование их объективности обычно базируется на том, что неизвестная характеристика исследуемого явле­ния трактуется как случайная величина, отражением за­кона распределения которой является индивидуальная оценка специалиста-эксперта о достоверности и значи­мости того или иного события. При этом предполагает­ся, что истинное значение исследуемой характеристики находится внутри диапазона оценок, получаемых от груп­пы экспертов, и что обобщенное коллективное мнение является достоверным.

Однако в некоторых теоретических исследованиях это предположение подвергается сомнению. Например, предлагается разделить проблемы, для решения которых применяются экспертные оценки, на два класса. К пер­ вому классу относятся проблемы, которые достаточно хорошо обеспечены информацией и для которых можно использовать принцип «хорошего измерителя», считая эксперта хранителем большого объема информации, а групповое мнение экспертов - близким к истинному. Ко второму классу относятся проблемы, в отношении которых знаний для уверенности в справедливости на­званных предположений недостаточно; экспертов нельзя рассматривать как «хороших измерителей», и необходи­мо осторожно подходить к обработке результатов экс­пертизы, поскольку в этом случае мнение одного (еди­ничного) эксперта, больше внимания уделяющего иссле­дованию малоизученной проблемы, может оказаться наиболее значимым, а при формальной обработке оно будет утрачено. В связи с этим к задачам второго класса в основном должна применяться качественная обработка результатов. Использование методов осреднения (справедливых для «хороших измерителей») в данном случае может привести к существенным ошибкам.

Задачи коллективного принятия решений по форми­рованию целей, совершенствованию методов и форм управления обычно можно отнести к первому классу. Однако при разработке прогнозов и перспективных пла­нов целесообразно выявлять «редкие» мнения и подвер­гать их более тщательному анализу.

Другая проблема, которую нужно иметь ввиду при проведении системного анализа, заключается в следую­щем: даже в случае решения проблем, относящихся к первому классу, нельзя забывать о том, что экспертные оценки несут в себе не только узкосубъективные черты, присущие отдельным экспертам, но и коллективно-субъективные черты, которые не исчезают при обработке результатов опроса (а при применении Дельфи-процедуры даже могут усиливаться). Иными словами, на экс­пертные оценки нужно смотреть как на некоторую «об­щественную точку зрения», зависящую от уровня науч­но-технических знаний общества относительно предмета исследования, которая может меняться по мере развития системы и наших представлений о ней. Следовательно, экспертный опрос - это не одноразовая процедура. Та­кой способ получения информации о сложной пробле­ме, характеризующейся большой степенью неопределен­ности, должен стать своего рода «механизмом» в слож­ной системе, т.е. необходимо создать регулярную систе­му работы с экспертами.

Следует обратить также внимание на то, что исполь­зование классического частотного подхода к оценке ве­роятности при организации проведения экспертных оп­росов бывает затруднительным, а иногда и невозможным (из-за невозможности доказать правомерность использо­вания представительности выборки). Поэтому в настоя­щее время ведутся исследования характера вероятности экспертной оценки, базирующиеся на теории, размытых множеств Заде, на представлении об экспертной оценке как степени подтверждения гипотезы или как вероятно­сти достижения цели. Одной из разновидностей экс­пертного метода является метод изучения сильных и слабых сторон организации, возможностей и угроз ее деятельности - метод SWOT-анализа.

Сбор экспертной информации зависит от выбора метода экспертных оценок. Обычно для сбора экспертной информации составляют специальные документы, например анкеты, утверждаемые соответствующими руководителями и затем рассылаемые экспертам.

Обработка экспертной информации осуществляется с помощью выбранного метода, как правило, с использованием вычислительной техники. Полученные в результате обработки данные анализируют и используют для решения задач анализа и синтеза систем управления.

Экспертные оценки используют для анализа, диагностики состояния, последующего прогнозирования вариантов развития:

1) объектов, развитие которых либо полностью, либо частично не поддается предметному описанию или математической формализации;

2) в условиях отсутствия достаточно представительной и достоверной статистики по характеристикам объекта;

3) в условиях большой неопределенности среды функционирования объекта, рыночной среды;

4) при средне- и долгосрочном прогнозировании новых рынков, объектов новых областей промышленности, подверженных сильному влиянию открытий в фундаментальных науках, (например, микробиологическая промышленность, квантовая электроника, атомное машиностроение);

5) в случаях, когда или время, или средства, выделяемые на прогнозирование и принятие решений, не позволяют исследовать проблему с применением формальных моделей;

6) отсутствуют необходимые технические средства моделирования, например, вычислительная техника с соответствующими характеристиками;

7) в экстремальных ситуациях.

Задачи, решаемые в процессе экспертных оценок систем управления, можно разделить на две группы:

1) задачи синтеза новых систем управления и их оценки;

2) задачи анализа (измерения) существующих систем управления по выбранным показателям и критериям эффективности.

К задачам первой группы относятся: формирование облика создаваемой системы; прогнозирование технико-экономических показателей стадий ее жизненного цикла; обоснование основных направлений реорганизации социальной системы управления; выбор оптимальных или удовлетворительных способов действий и исходов с использованием создаваемой системы управления и др.

Некоторая часть экспертной информации, получаемая в ходе решения данных задач, носит качественный характер и формируется в виде сложных суждений в описательном виде. Однако задачи синтеза, решаемые с помощью экспертных оценок, могут носить количественный характер, и их решение будет связано с обоснованием многочисленных параметров (характеристик) создаваемой системы.

К задачам второй группы относятся все задачи оценивания существующих или создаваемых вариантов систем управления с помощью заданных показателей и критериев эффективности. Примерами таких задач являются: определение структурных, функциональных или информационных характеристик системы; оценка её эффективности в ходе выполнения различных операций; определение целесообразности дальнейшей эксплуатации технических средств управления и связи и др. Значительная часть экспертной информации, используемой при решении таких задач, носит количественный характер или имеет форму элементарных суждений и обрабатывается с использованием различных статистических методов.

1.2 Роль экспертов в управлении

Экспертиза - это мнение, идея, решение или оценка, основанные на ре­ализации ценного опыта специалиста, глубоких знаниях предмета исследо­вания и технологиях качественного анализа.

Экспертиза бывает индивидуальная и групповая. При групповой экспер­тизе большое значение имеют подбор группы экспертов и методология ито­говой обработки результатов ее работы.

Заключение экспертов представляет собой документ, в котором фиксиру­ется ход исследования и его итоги. При этом выводы и мнения экспертов могут иметь как категоричную ("да", "нет"), так и вероятностную (в виде предположения, ранжирования, коэффициента предпочтительности и пр.) форму.

В организации работы экспертов необходимо придерживаться следующих принципов:

1. Идеи, мнения и оценки должны укладываться в заранее подготовлен­ную схему. Это позволяет делать их обобщение, сравнение, выделе­ние существенного и пр. Такая схема не должна сковывать мысль и ограничивать фантазию. Схема может допускать и предполагать воз­можность ее модификации и дополнения.

2. Обработку экспертных заключений необходимо осуществлять не только в количественном обобщении, но и посредством качественного анализа, выделяя главное, существенное, важное, актуальное, ориги­нальное, новое и пр. Заключение экспертов может быть предметом экспертизы второго этапа.

3. Эксперты должны быть независимыми, т.е. освобождены от каких-либо организационных или концептуальных, а также психологичес­ких ограничений. В этом случае лучшим образом реализуются их опыт, знания, интуиция.

4. Работа экспертной группы должна быть целенаправленной. Понима­ние, зачем и почему проводится экспертиза, является важным элемен­том ее проведения. Во многих случаях необходима специальная подготовка экспертов, которая играет роль мобилизации усилий и интел­лекта.

5. Существуют различные формы организации работы экспертной груп­пы: либо каждый эксперт делает экспертизу индивидуально, потом результаты суммируются и систематизируются, либо эксперты рабо­тают коллективно, взаимодействуя друг с другом.

6. Возможна параллельная и многоэтапная работа нескольких эксперт­ных групп. Сопоставление экспертиз дает важную информацию.

Существует масса методов получения экспертных оценок. В одних с каждым экспертом работают отдельно, он даже не знает, кто ещё является экспертом, а потому высказывает свое мнение независимо от авторитетов. В других экспертов собирают вместе для подготовки материалов для ЛПР, при этом эксперты обсуждают проблему друг с другом, учатся друг у друга, и неверные мнения отбрасываются. В одних методах число экспертов фиксировано и таково, чтобы статистические методы проверки согласованности мнений и затем их усреднения позволяли принимать обоснованные решения. В других - число экспертов растет в процессе проведения экспертизы, например, при использовании метода "снежного кома".

Специалиста или группу специалистов, выступающих в роли экспертов, иногда отождествляют с измерительным прибором, имеющим случайные и систематические ошибки измерения.

Случайные ошибки обусловлены субъективностью мнений экспертов о рассматриваемом вопросе и могут отклоняться в ту или иную сторону от истинного значения. Влияние таких ошибок уменьшается путем усреднения достаточного количества оценок.

Систематическая ошибка присуща всему коллективу экспертов и не может быть устранена путем обработки получаемых оценок. Это говорит о том, что в отдельных случаях необходимо подходить весьма осторожно к результатам экспертного опроса, которые могут иногда выражать в целом ошибочную точку зрения, зависящую от уровня знаний и убеждений экспертов.

1.3 Процесс экспертного оценивания

К основным этапам процесса экспертного оценивания относят:

формирование цели и задач экспертного оценивания;

формирование группы управления и оформление решения на проведение экспертного оценивания;

выбор метода получения экспертной информации и способов ее обработки;

подбор экспертной группы и формирование при необходимости анкет опроса;

опрос экспертов (экспертизу);

обработку и анализ результатов экспертизы;

интерпретацию полученных результатов;

составление отчета.

Задачу на проведение экспертного оцениваний ставит ЛПР. Этап формирования цели и задач экспертного оценивания является основным. От него зависит надежность получаемого результата и его прагматическая ценность. Формирование цели и задач экспертнoгo оценивания диктуется существом решаемой проблемы. Здесь должны быть учтены следующие факторы: надежность и полнота имеющейся исходной информации, требуемая форма представления результата (качественная или количественная), возможные области использования полученной информации, сроки ее представления, имеющиеся в распоряжении руководства ресурсы, возможность привлечения специалистов других областей знаний и многое другое. Задача оформляется в виде руководящего документа (например, решения на проведение экспертного оценивания).

Для подготовки решения и руководства всей дальнейшей работой назначается руководитель экспертизы. Он определяет состав группы управления. Группа управления осуществляет обратную связь с экспертами либо методом Дельфи.

На группу управления возлагается не только вся организационно-плановая работа по обеспечению благоприятных условий для эффективной творческой деятельности экспертов, но и аналитическая работа по подбору экспертной группы, определению методов получения и обработки информации, составлению анкет - опросников, содержательной интерпретации получаемых результатов.

Этот большой и сложный круг решаемых задач требует включения в состав группы управления высококвалифицированных специалистов как в области рассматриваемой проблемы, так и в других областях - психологии, математики, медицины, социологии.

Подбор конкретных экспертов проводится на основе анализа качества каждого из предлагаемых экспертов. Используются для этой цели разнообразные способы:

· оценка кандидатов в эксперты на основе статистического анализа результатов прошлой деятельности в качестве экспертов по I проблемам исследования СУ;

· коллективная оценка кандидата в эксперты как специалиста в данной области

· самооценка кандидата в эксперты;

· аналитическое определение компетентности кандидатов в эксперты.

Однако всем этим методам присущи определенные недостатки, в том числе: отсутствие единой общепризнанной методики оценки; высокая трудоемкость оценки; возникновение проблем этического характера при использовании субъективных методов оценки.

В ходе указанной работы зачастую, применяют одновременно несколько способов: самооценки и коллективной оценкикачеств предлагаемого эксперта. Такой подход позволяет достаточно обоснованно подобрать экспертов с необходимыми качествами. Однако следует признать, что способ оценок прошлой деятельности представляется более объективным, чем способы самооценок и коллективной оценки.

В общем случае формирование экспертной группы предваряют следующие мероприятия:

· выявляется и формулируется проблема;

· определяется цель и область деятельности группы;

· составляется предварительный список экспертов;

· проводится анализ и отбор экспертов (на основе использования одного или нескольких способов отбора их);

· уточняется список экспертов; . получается согласие эксперта для участия в работе экспертной группы;

· определяется окончательный репрезентативный список экспертов. Всех потенциальных экспертов в зависимости от их качества и компетенции можно классифицировать на семь классов

Пример градации качества и компетентности экспертов

Выбор числа классов качества экспертов в данном случае обусловлен «правилом семерки», которым традиционно пользуются при решении проблем управления качеством.

Такая градация позволяет отобрать требуемых экспертов для работы в экспертной группе. Для получения достаточно объективных результатов исследования СУ отбор желательно осуществлять из числа экспертов, относящихся к 1-4-му классам качества. Кандидатов в эксперты более низких классов качества привлекать к экспертизам не целесообразно.

Независимо от избранного способа оценки качеств кандидатов эксперты должны соответствовать во всех случаях определенным требованиям, в числе которых:

Профессиональная компетентность и наличие практического и исследовательского опыта в области управления;

Креативность (умение решать творческие задачи); . научная интуиция;

Заинтересованность в объективных результатах экспертной работы;

Независимость суждений;

Деловитость «собранность» умение переключаться с одного вида деятельности на другой, коммуникативность, независимость суждений, мотивированность действий);

Объективность;

Нонконформизм;

Высокая общая эрудиция.

Проведение сбора мнений экспертов предполагает определение: места и времени сбора мнений; формы и методики сбора мнений; количества туров сбора мнений; состава и содержательной части документации; порядка занесения результатов мнений экспертов в документы.

Очень важным является определение формы сбора мнений экспертов. Среди всех известных форм сбора мнений можно отметить индивидуальные, коллективные (групповые) и смешанные. Таким образом, указанные формы различаются прежде всего по фактору участия экспертов в работе (индивидуальное или коллективное) и каждая из них имеет ряд разновидностей:

Анкетирование;

Интервьюирование;

Дискуссия;

Мозговой штурм

Совещание;

Деловая игра.

Все они обладают своими достоинствами и недостатками. Во многих случаях каждая их этих разновидностей используется совместно с другими, что зачастую обеспечивает больший эффект и объективность. Смешанная форма применяется при сборе мнений экспертов в случаях некоторой неясности проблемы, при разногласиях? индивидуальных мнений или разногласиях экспертов при коллективном обсуждении.

После проведения опроса группы экспертов осуществля­ется обработка результатов. Исходной информацией для обработки являются числовые данные, выражающие предпочтения экспертов, и содержательное обоснование этих предпочтений. Целью обработки является получе­ние обобщенных данных и новой информации, содержа­щейся в скрытой форме в экспертных оценках. На осно­ве результатов обработки формируется решение проб­лемы.

Наличие как числовых данных, так и содержательных высказываний экспертов приводит к необходимости при­менения качественных и количественных методов обра­ботки результатов группового экспертного оценивания. Удельный вес этих методов существенно зависит от клас­са проблем, решаемых экспертным оцениванием.

Все множество проб­лем можно разделить на два класса. К первому классу относятся проблемы, для решения которых имеется до­статочный уровень знаний и опыта, т. е. имеется необ­ходимый информационный потенциал. При решении про­блем, относящихся к этому классу, эксперты рассмат­риваются как хорошие в среднем измерители. Под тер­мином «хорошие в среднем» понимается возможность получения результатов измерения, близких к истинным. Для множества экспертов их суждения группируются вблизи истинного значения. Отсюда следует, что для об­работки результатов группового экспертного оценивания проблем первого класса можно успешно применять ме­тоды математической статистики, основанные на осред­нении данных.

Ко второму классу относятся проблемы, для решения которых еще не накоплен достаточный информационный потенциал. В связи с этим суждения экспертов могут очень сильно различаться друг от друга. Более того, суждение одного эксперта, сильно отличающееся от остальных мнений, может оказаться истинным. Очевид­но, что применение методов осреднения результатов групповой экспертной оценки при решении проблем вто­рого класса может привести к большим ошибкам. По­этому обработка результатов опроса экспертов в этом случае должна базироваться на методах, не использую­щих принципы осреднения, а на методах качественного анализа.

Учитывая, что проблемы первого класса являются наиболее распространенными в практике экспертного оценивания, основное внимание в этой главе уделяется методам обработки результатов экспертизы для этого класса проблем.

В зависимости от целей экспертного оценивания и выбранного метода измерения при обработке результа­тов опроса возникают следующие основные задачи:

1) построение обобщенной оценки объектов на основе индивидуальных оценок экспертов;

2) построение обобщенной оценки на основе парного сравнения объектов каждым экспертом;

3) определение относительных весов объектов;

4) определение согласованности мнений экспертов;

5) определение зависимостей между ранжировками;

6) оценка надежности результатов обработки.

Задача построения обобщенной оценки объектов по индивидуальным оценкам экспертов возникает при груп­повом экспертном оценивании. Решение этой задачи за­висит от использованного экспертами метода измерения.

При решении многих задач недостаточно осуществить упорядочение объектов по одному показателю или неко­торой совокупности показателей. Желательно иметь чис­ленные значения для каждого объекта, определяющие относительную его важность по сравнению с другими объектами. Иными словами, для многих задач необхо­димо иметь оценки объектов, которые не только осуще­ствляют их упорядочение, но и позволяют определять степень предпочтительности одного объекта перед дру­гим. Для решения этой задачи можно непосредственно применить метод непосредственной оценки. Однако эту же задачу при определенных усло­виях можно решить путем обработки оценок экспертов.

Определение согласованности мнений экспертов про­изводится путем вычисления числовой меры, характери­зующей степень близости индивидуальных мнений. Ана­лиз значения меры согласованности способствует выра­ботке правильного суждения об общем уровне знаний по решаемой проблеме и выявлению группировок мне­ний экспертов. Качественный анализ причин группиров­ки мнений позволяет установить существование различ­ных взглядов, концепций, выявить научные школы, опре­делить характер профессиональной деятельности и т. п. Все эти факторы дают возможность более глубоко осмыслить результаты опроса экспертов.

Обработкой результатов экспертного оценивания можно определять зависимости между ранжировками различных экспертов и тем самым устанавливать един­ство и различие в мнениях экспертов. Важную роль иг­рает также установление зависимости между ранжиров­ками, построенными по различным показателям сравне­ния объектов. Выявление таких зависимостей позволяет вскрыть связанные показатели сравнения и, может быть, осуществить их группировку по степени связи. Важность задачи определения зависимостей для практики очевид­на. Например, если показателями сравнения являются различные цели, а объектами - средства достижения це­лей, то установление взаимосвязи между ранжировка­ми, упорядочивающими средства с точки зрения дости­жения целей, позволяет обоснованно ответить на вопрос, в какой степени достижение одной цели при данных средствах способствует достижению других целей.

Оценки, получаемые на основе обработки, представ­ляют собой случайные объекты, поэтому одной из важ­ных задач процедуры обработки является определение их надежности. Решению этой задачи должно уделяться соответствующее внимание.

Обработка результатов экспертизы представляет со­бой трудоемкий процесс. Выполнение операций вычисления оценок и показателей их надежности вручную свя­зано с большими трудовыми затратами даже в случае решения простых задач упорядочения. В связи с этим целесообразно использовать вычислительную технику и особенно ЭВМ. Применение ЭВМ выдвигает проблему разработки машинных программ, реализующих алгорит­мы обработки результатов экспертного оценивания.

1.4Методы экспертных оценок

1.4.1 SWOT-анализ

Особой разновидностью экспертного метода, пользующейся большой по­пулярностью, является оригинальный метод SWOT-анализа. Он получил та­кое название по первым буквам четырех английских слов, которые в рус­ском переводе означают: Сильные и Слабые стороны, Возможности и Угро­зы.

Эта методология может использоваться в качестве универсальной. Осо­бый эффект она имеет при исследовании процессов в социально-экономической системе, которой присуща динамичность, управляемость, за­висимость внутренних и внешних факторов функционирования, циклич­ность развития.

По методологии этого анализа проводится распределение факторов, ха­рактеризующих предмет исследования по этим четырем составляющим с учетом принадлежности этого фактора к классу внешних или внутренних факторов.

В результате появляется картина соотношения сильных и слабых сторон, возможностей и опасностей, которая подсказывает, как следует изменить си­туацию, чтобы иметь успех развития.

Распределение факторов по этим квадрантам или секторам матриц не всегда является легким делом. Бывает, что один и тот же фактор одновре­менно характеризует и сильные, и слабые стороны предмета. Кроме того, факторы действуют ситуативно. В одной ситуации они выглядят достоинст­вом, в другой - недостатком. Иногда они бывают несоизмеримыми по своей значимости. Эти обстоятельства можно и необходимо учитывать.

Один и тот же фактор можно размещать в нескольких квадрантах, если трудно однозначно определить его место. Это не скажется отрицательно на исследовании. Ведь суть метода заключается в том, чтобы идентифицировать факторы, разместить их таким образом, чтобы их концентрация подсказала пути решения проблемы, чтобы они стали управляемыми.

В каждом квадранте факторы не обязательно должны обладать одинако­вым весом, но они должны быть представлены в полной своей совокупности.

Заполненная матрица показывает реальное положение дел, состояние проблемы и характер ситуации. Это первый этап SWOT-анализа.

На втором этапе необходимо провести сравнительный анализ сильных сторон и благоприятных возможностей, который должен показать, как использовать сильные стороны. Вместе с тем надо проанализировать и слабые стороны относительно существующих опасностей. Такой анализ покажет, насколько вероятен кризис. Ведь опасность увеличивается, когда она возни­кает в условиях ослабленности, когда слабые стороны не дают возможность препятствовать опасности.

Конечно, весьма полезно сделать сравнительный анализ сильных сторон и существующих опасностей. Ведь сильные стороны можно плохо использо­вать при предотвращении кризиса, сильные стороны надо видеть не только относительно благоприятных возможностей, но и относительно опасностей.

В исследовании систем управления предметом этого метода могут быть различные проблемы развития управления. Например, эффективность, пер­сонал, стиль, распределение функций, структура системы управления, меха­низм управления, мотивация, профессионализм, информационное обеспече­ние, коммуникации и организационное поведение и пр.

Использование специально подготовленных и отобранных экспертов или внутренних консультантов позволяет повысить эффективность этого метода.

1.4.2 Метод SMART

Существует множество модификаций метода SWOT-анализа. Наиболее интересный из них метод разработки и анализ целей.

Известно, что цель управления является решающим фактором успеха, эффективности, стратегии и развития. Без цели невозможно разработать план или программу. Но это касается не только цели управления, но и цели исследования. Ведь сформулировать корректно эту цель тоже бывает нелег­ко. Программа исследования, использования методов его проведения зависят от цели.

Цель должна разрабатываться по критериям Достижимости, Конкретнос­ти, Оцениваемости (измеримости), с учетом Места и Времени. Эти критерии отражают английские слова - Specific, Measurable, Achievable, Relevant, Timed, в сокращенном названии это SMART. Так и называется этот метод.

Метод предполагает последовательную оценку целей по совокупности критериев, расположенных в матричной форме. Вот набор сопоставимых факторов, отражающих характеристики цели: труднодостижима-легкодостижима, высокие затраты - низкие затраты, имеет поддержку пер­сонала - не имеет поддержки персонала, имеет приоритеты - не имеет приоритетов, требует много времени - требует мало времени, имеет широ­кое влияние - имеет ограниченное влияние, ориентирована на высокие технологии - ориентирована на низкие (обычные) технологии, связана с но­вой организацией управления - не связана с новой организацией управле­ния.

На следующем этапе составляется матрица определения проблем. Для до­стижения цели необходимо решить ряд проблем. Но для этого их надо сна­чала определить.

Распределение проблем осуществляется по следующим критериям: суще­ствующая ситуация, желаемая ситуация, возможность достижения цели. Эти критерии характеризуют горизонталь матрицы. По вертикали рассматривают следующие критерии: определение проблемы, оценивание проблемы (коли­чественные параметры), организация решения (кто, где, когда), затраты на решение проблемы.

Такая матрица позволяет составить план исследований.

1.4.3 Метод ранжирования и оценивания

По методу ранговэксперт осуществляет ранжирование (упорядочение) исследуемых объектов организационной системы в зависимости от их относительной значимости (предпочтительности), когда наиболее предпочтительному объекту присваивается ранг 1, а наименее предпочтительному - последний ранг, равный по абсолютной величине числу упорядочиваемых объектов. Более точно упорядочение бывает при меньшем количестве объектов исследования, и наоборот.

При предпочтительной (по рангам) расстановке объектов экспертизы одним экспертом сумма рангов должна равняться сумме чисел всего натурального ряда количества объектов Н, начиная с единицы: Н= (Н+1): 2.

Результирующие ранги объектов ранжирования по данным опросов определяются как сумма рангов для каждого объекта. При этом в итоге первый ранг присваивается тому объекту, который получил наименьшую сумму рангов, а последний - тому, у которого оказалась наибольшая сумма рангов, т.е. наименее значимому объекту (пример определения результирующего ранга трех объектов семью экспертами)

Чем больше привлекается экспертов, тем выше объективность результата оценки. Однако привлечение большого числа квалифицированных экспертов и высокая трудоемкость экспертных работ повышает стоимость проведения оценок качества. Поэтому, чтобы снизить трудоемкость работ экспертов, используют метод рангов, который предусматривает только ранжирование показателей, а не их численное определение экспертами.

Тем не менее данный метод применяется в практике исследования СУ, несмотря на свою простоту и малую трудоемкость, сравнительно. Это объясняется большим числом ранжируемых объектов исследования.

1.4.4 Метод непосредственного оценивания

Представляет собой упорядочение исследуемых объектов (например, при отборе параметров для составления параметрической модели) в зависимости от их важности путем приписывания баллов каждому из них. При этом наиболее важному объекту приписывается наибольшее количество баллов по принятой шкале (дается оценка). Наиболее распространен диапазон шкалы оценок: от 0 до 1; 0 до 5; 0 до 10; 0 до 100. В простейшем случае оценка может быть 0 или 1.

Иногда оценивание осуществляется в словесной форме. Например, «очень важный», «важный», «маловажный» и т.п., что тоже иногда для большого удобства обработки результатов опроса переводится в балльную шкалу (соответственно 3, 2, 1).

Непосредственное оценивание следует применять при полной уверенности в профессиональной информированности экспертов о свойствах исследуемых объектов. По результатам оценок определяются ранг и весомость (значимость) каждого исследуемого объекта

1.5 Оценка согласованности экспертов

Собранные мнения экспертов обрабатываются как количественно (численные данные), так и качественно (содержательная информация). При этом используются различные способы. Необходимо отметить, что при наличии численных данных для решения вопросов, имеющих достаточный информационный материал, применяются в основном методы усреднения экспертных суждений. Однако даже при имеющихся численных данных, но при недоста-точности информации по решаемому вопросу (что нередко бывает мри исследовании СУ) наряду с количественными методами обработки экспертных данных используются также методы качественного анализа и синтеза.

При этом следует помнить, что мнения экспертов часто совпадают не полностью, поэтому необходимо количественно оценивать меру согласованности мнений экспертов и устанавливать причины несовпадения суждений.

При ранжировании объектов эксперты обычно расходят­ся во мнениях по решаемой проблеме. В связи с этим возникает необходимость количественной оценки степе­ни согласия экспертов. Получение количественной ме­ры согласованности мнений экспертов позволяет более обоснованно интерпретировать причины в расхождении мнений.

В настоящее время известны две меры согласованно­сти мнений группы экспертов: дисперсионный и энтро­пийный коэффициенты конкордации.

Глава 2 Методы экспертных оценок на примере ОАО «УАЗ»

В современных условиях оценка персонала является одним из важнейших элементов системы управления, на ее основе руководители принимают соответствующие решения в отношении своих сотрудников. От того, насколько информация, полученная в рамках оценочных мероприятий, будет качественной и надежной, в конечном счете зависит эффективность принимаемого решения.

Большое значение оценки персонала предприятия обусловлено и тем, что она связывает все элементы системы управления персоналом в единое целое. Невозможно осуществить управление персоналом ни по одному направлению (кадровому планированию, отбору, развитию работников, стимулированию труда, трудовым перемещениям и др.), не проводя оценку соответствующих характеристик сотрудников предприятия.

Рассмотрим практический опыт оценки персонала на одном из крупнейших российских промышленных предприятий ОАО «УАЗ».

В качестве основной формы рассматриваемого процесса на протяжении многих лет применялась аттестация сотрудников. Проведение аттестации характеризовалось достаточно простой схемой. Непосредственный начальник работника составлял на него характеристику. За этим следовало заседание аттестационной комиссии, которая только на основании оценки руководителя (характеристики) принимала решение о соответствии (несоответствии) сотрудника занимаемой должности. Ни о каких других экспертах (кроме руководителя работника) не было и речи. Результаты такой аттестации не давали достаточно обоснованной информации по совершенствованию работы с кадрами, т. е. аттестация носила чисто формальный характер, не было системного подхода к данному мероприятию, заинтересованности в получении достоверных результатов. Выводы аттестационной комиссии фиксировались в личных делах работников и не находили дальнейшего применения для повышения качества персонала. С приходом нового собственника и команды руководителей в ОАО «УАЗ» изменилось отношение к персоналу, который стал рассматриваться как наиболее важный ресурс развития. Поэтому проблемам, связанным с работниками, стало уделяться больше внимания, а система оценки персонала претерпела значительные эволюционные изменения. В 2002 г. в Дирекции по персоналу был создан отдел анализа персонала с целью формирования системы оценки персонала, анализа полученных в результате оценки данных и эффективного их использования. В тот период руководством была поставлена задача: провести оценку руководителей, специалистов и служащих в форме аттестации с использованием нового метода, в качестве которого нами был выбран метод экспертной оценки.

Итак, под аттестацией мы понимаем процедуру определения квалификации, уровня знаний, практических навыков, деловых и личностных качеств работника, качества трудовой деятельности и ее результатов и установления их соответствия (несоответствия) требованиям занимаемой должности. Целью проведения аттестации в ОАО «УАЗ» является повышение эффективности труда и заинтересованности работника в результатах своего труда и деятельности всей организации.

Аттестации подлежат все руководители, специалисты и служащие ОАО «УАЗ», за исключением:

Работников, проработавших в занимаемой должности менее одного года;

Беременных женщин; женщин и одиноких мужчин, имеющих детей в возрасте до трех лет.

Аттестация в ОАО «УАЗ» проводится периодически, один раз в три года. Сроки проведения аттестации утверждаются приказом генерального директора ОАО «УАЗ». График проведения аттестации составляется Дирекцией по персоналу и утверждается директором по персоналу. В графике указываются сроки проведения аттестации в структурных подразделениях. График проведения аттестации доводится до сведения работников не позднее чем за два месяца до заседания аттестационной комиссии.

Для проведения аттестации в каждом структурном подразделении ОАО «УАЗ» создаются аттестационные комиссии. Аттестационная комиссия состоит из председателя, заместителя председателя, секретаря, представителя выборного профсоюзного органа и других членов комиссии. Рекомендуется включать в аттестационную комиссию не более девяти человек. Кроме того, в состав комиссии могут привлекаться эксперты, не участвующие в голосовании.

Решение аттестационной комиссии принимается большинством голосов присутствующих на заседании членов комиссии. Комиссия правомочна решать вопросы в том случае, если на заседании присутствует не менее двух третей ее членов. При равенстве голосов принимается решение в пользу аттестуемого сотрудника.

Кроме того, директором по персоналу формируется Центральная аттестационная комиссия для аттестации руководителей высшего звена управления (заместителей директоров, управляющих производствами, начальников управлений и центров). В ее состав включаются все функциональные директора ОАО «УАЗ».

В случае, если аттестуемый работник не принял участия в аттестационных мероприятиях без уважительной причины, аттестационная комиссия правомочна проводить обсуждение без участия аттестуемого. Уважительными причинами являются: болезнь, командировка, отпуск, учеба.

На стадии подготовки к аттестации на предприятии была сформирована рабочая группа, состоящая из руководителей структурных подразделений и сотрудников Дирекции по персоналу. Группа решила, что в рамках оценочных мероприятий перед собственно аттестацией необходимо оценить наиболее важные характеристики персонала, в качестве которых были определены следующие:

1. Профессиональные знания и умения.

2. Уровень качества работы.

3. Своевременность выполнения заданий.

4. Инициативность в нововведениях.

5. Сложность выполняемых работ.

Для определения степени выраженности деловых качеств сотрудников нами применяется экспертная оценка - метод групповой оценки работников, основанный на опросе его руководителей и лиц одинакового должностного статуса. Кроме того, проводится самооценка работника. Для участия в группе экспертов отбираются компетентные работники:

Имеющие с оцениваемым высокий уровень коммуникативно-деловых связей;

Совместно проработавшие не менее года;

Не состоящие в родственных отношениях.

Количественный состав экспертных групп четыре человека плюс сам оцениваемый сотрудник.

В целях регламентации проведения аттестации был разработан порядок осуществления данного процесса:

1 этап (подготовительный):

1.1. Издание приказа генерального директора по заводу о проведении аттестации; доведение приказа и графика проведения аттестации до руководителей всех структурных подразделений под роспись.

1.2. Назначение распоряжением руководителя каждого структурного подразделения ответственного за проведение аттестационных мероприятий (координатора) и формирование состава аттестационной комиссии.

1.3. Проведение специалистами отдела анализа персонала Дирекции по персоналу семинара по обучению координаторов процедуре оценочных мероприятий.

1.4. Составление координатором плана мероприятий по проведению аттестации, утверждение его руководителем структурного подразделения и информирование аттестуемых.

1.5. Сформированы и утверждены руководителями структурных подразделений списки работников, подлежащих аттестации, и работников, не подлежащих аттестации, с четким обоснованием причин, по которым данный работник не подлежит аттестации, и предоставление списков в отдел анализа персонала (в обязательном порядке на электронных и бумажных носителях) в течение семи рабочих дней с момента получения приказа о проведении аттестации.

1.6. Составление списков экспертных групп и их утверждение руководителем структурного подразделения.

2 этап (оценка):

2.1. Составление непосредственным руководителем характеристики на аттестуемого работника с занесением ее в оценочный лист.

2.2. Организация и проведение координатором экспертной оценки персонала. Максимальный срок проведения мероприятий - пять рабочих дней.

Членами экспертных групп оцениваются деловые качества руководителей, специалистов и служащих ОАО «УАЗ». Каждый эксперт заполняет опросные листы на аттестуемого сотрудника, руководствуясь только своим мнением, в соответствии с предложенной инструкцией и шкалой. Кроме того, осуществляется самооценка работника, т. е. заполнение опросного листа самим аттестуемым по тем же качествам.

2.3. Координаторы передают заполненные опросные листы в отдел анализа персонала Дирекции по персоналу для определения степени выраженности каждого делового качества у аттестуемого работника; результаты подсчета заносятся в таблицу в оценочном листе.

Средний балл по каждому деловому качеству работника рассчитывается как среднее арифметическое значение оценок всех экспертов по данному деловому качеству работника, т. е. по формуле:

СБ=(01+02+...+0п):п,

где СБ - средний балл выраженности делового качества,

0i - оценка (в баллах) делового качества, поставленная i-м экспертом (i = 1,2,...n),

n - количество экспертов.

На основании полученных средних баллов определяется степень выраженности каждого делового качества оцениваемого сотрудника в соответствии с таблицей.

Степень выраженности делового качества оцениваемого сотрудника:

Средний балл до 2,4 - Качество не выражено

Средний балл 2,5 - 3,4 - Качество выражено слабо

Средний балл 3,5 - 4,4 - Качество выражено достаточно

Средний балл 4,5 - 5,0 - Качество выражено высоко

2.4. Передача отделом анализа персонала заполненных оценочных листов в аттестационную комиссию структурного подразделения (не позднее чем за две недели до заседания аттестационной комиссии) для ознакомления с ними аттестуемых работников под роспись.

3 этап (заседание аттестационной комиссии):

3.1. Изучение аттестационной комиссией оценочных листов, заслушивание мнения непосредственного руководителя аттестуемого работника, проведение собеседования с аттестуемым, обсуждение полученных выводов и их утверждение голосованием.

3.2. Формулирование аттестационной комиссией по результатам голосования окончательных выводов и рекомендаций с занесением их в аттестационный лист.

а) соответствует занимаемой должности;

б) соответствует занимаемой должности при условии улучшения работы и выполнения рекомендаций аттестационной комиссии с повторной аттестацией через год;

в) не соответствует занимаемой должности.

Об увеличении должностного оклада;

О переводе сотрудника на другую должность;

О приоритетных направлениях развития;

О зачислении сотрудника в кадровый резерв.

3.3. Доведение координатором непосредственно после проведения аттестации выводов и решений аттестационной комиссии до аттестуемых и их руководителей под роспись.

3.4. Передача координатором аттестационных листов в отдел анализа персонала.

3.5. По завершении аттестации отдел анализа персонала Дирекции осуществляет статистическую обработку данных по всем аттестованным работникам с составлением сводного отчета, после чего аттестационные листы помещаются в личные дела сотрудников.

Примечание: информация, содержащаяся в оценочных и аттестационных листах, является конфиденциальной и не подлежит разглашению лицам, не входящим в состав аттестационной комиссии и не задействованным в процедуре обработки и хранения аттестационных листов. После завершения аттестации предложения аттестационной комиссии, зафиксированные в аттестационных листах, рассматриваются руководителем структурного подразделения для принятия решения в течение двух месяцев с момента ознакомления с ними. Работник, в случае признания его не соответствующим занимаемой должности, направляется на повышение квалификации или переподготовку, либо с его письменного согласия переводится на другую должность. По истечении двух месяцев перевод работника на другую должность по результатам данной аттестации не допускается. При необходимости проведения повторной аттестации, директор по персоналу издает распоряжение с указанием структурных подразделений, списков работников, подлежащих повторной аттестации, и сроков ее проведения. Заседания аттестационных комиссий проходят в прежнем составе. Решение о соответствии (несоответствии) работника занимаемой должности принимается на основании:

Характеристики руководителя на аттестуемого работника;

Все спорные вопросы, связанные с результатами аттестации, рассматриваются аттестационной комиссией в соответствии с действующим законодательством или передаются в Комиссию по трудовым спорам.

Таким образом, если до 2002 г. аттестация в ОАО «УАЗ» проводилась только на основе характеристики руководителя, то с2002 г. в основу аттестации была положена экспертная оценка, что позволило снизить степень субъективизма оценки. За период с 2002 по 2005 г. нами совместно со структурными подразделениями предприятия была проведена аттестация всех руководителей, специалистов и служащих ОАО «УАЗ», подлежащих аттестации, число которых составляет более пяти тысяч человек.

Заключение

В настоящее время все шире применяются различные методы экспертных оценок. Они незаменимы при решении сложных задач оценивания и выбора технических объектов, в том числе специального назначения, при анализе и прогнозировании ситуаций с большим числом значимых факторов - всюду, когда необходимо привлечение знаний, интуиции и опыта многих высококвалифицированных специалистов-экспертов.

Экспертные методы непрерывно развиваются и совершенствуются. Основные направления этого развития определяются рядом факторов, в числе которых можно указать на стремление расширить области применения, повысить степень использования математических методов и электронно-вычислительной техники, а также изыскать пути устранения выявляющихся недостатков.

Несмотря на успехи, достигнутые в последние годы в разработке и практическом использовании метода экспертных оценок, имеется ряд проблем и задач, требующих дальнейших методологических исследований и практической проверки. Необходимо совершенствовать систему отбора экспертов, повышение надежности характеристик группового мнения, разработку методов проверки обоснованности оценок, исследование скрытых причин, снижающих достоверность экспертных оценок.

В основу экспертной оценки свойств и деловых качеств кандидата положены количественные параметры и оценочные критерии, полученные в результате интервью. Хотя здесь и присутствуют элементы условности и субъективизма, однако при хорошей разработке шкалы оценок и внимательном (профессиональном) подходе экспертов оценить испытуемых можно с высокой степенью достоверности.

Список использованных источников и литературы

1. Григоров В. М. Эксперты в системе управления общественным про­изводством // М.: Мысль, 1976

2. Демидова А.В. Исследование систем управления. – М.: Приор-издат, 2005. – 96 с.

3. Джонсон Р. и др. Системы и руководство (теория систем и руковод­ство системами) / Пер. с англ. // М.: Советское радио, 1974.

4. Игнатьева А.В. Исследование систем управления. – М.: ЮНИТИ-ДАНА, 2003. – 157 с.

5. Кафидов В.В. Исследование систем управления. – М.: Академический Проект, 2005. – 160 с.

6. Малин А.С. Исследование систем управления. – М.: ГУ ВШЭ, 2005. – 399 с.

7. Мишин В.М. Исследование систем управления. - М.: ЮНИТИ-ДАНА, 2005

8. Мухин В.И. Исследование систем управления. – М.: Экзамен, 2003. – 384 с.

9. Ползунова Н.Н. Исследование систем управления. – М.: Академический Проект, 2004. – 176 с.

10. Рейльян Я. Р. Основа принятия управленческих решений //М.: Фи­нансы и статистика, 1989

11. Ременников В.Б. Разработка управленческого решения. Учеб. пособие. - М.: ЮНИТИ-ДАНА, 2000.

12. Смолкин A.M. Менеджмент: основы организации. - М.: ИНФРА-М, 1999.

13. Управление организацией. /Под ред. А.Г. Поршнева, З.П. Румянцевой, Н.А. Саломатина. -М.: ИНФРА-М, 1999.