Как мы импортозаместили FEEL и PDRI

Оглавление

• 1. Введение
• 1.1. Статистика успешных и неуспешных проектов
• 1.2. Основные причины неудач в проектах
• 1.3. Что делать?
• 2. Обзор методологии выполнения проектных экспертиз
• 2.1. Базовые предпосылки и краткая история вопроса
• 2.2. Работающие решения
• 2.3. Почему потребовалось создать собственный инструмент
• 3. Метод ПМСОФТ. PRII - Project Readiness & Integration Index^© - импортозамещение для FEL и PDRI
• 3.1. Кратко о самом методе
• 3.2. С чем сравниваем результат и как это работает
• 4. Выводы
• 5. Источники информации

1. Введение

1.1. Успешные и неуспешные проекты

Мировые тенденции уже достаточно давно показывают усложняющиеся условия реализации инвестиционных проектов в горнодобывающих отраслях, нефтегазовой отрасли, машиностроении, иных промышленных проектах, инфраструктурных проектах и др. Отмечается что, доступ к сырьевым источникам становится более дорогим, эффективность строящихся производств становится реальным повысить только путем применения «прорывных» технологий (однако, при этом новые технологии не всегда оказываются достаточно апробированы), усиливающаяся конкуренция, требующая быстрых реализаций и внедрений, увеличивается стоимость обслуживания заемных средств, а возможности реального доступа к ним становятся все более проблематичными и т.п. Кроме этого, возникли и продолжают нарастать проблемы недостаточной компетенций специалистов, инженеров, что особенно негативно сказывается в условиях реализации инновационных проектов.

Эксперты прогнозируют сохранение этих трендов и лишь ~25% проектов в мире, по оценкам, смогут быть реализованы относительно близко к ожиданиям.

1.2. «Внутренние» причины неудач в проектах

Отклонения конкретных проектов от планов вряд ли можно оправдать лишь негативными макро-тенденциями, так как всегда имеются вполне конкретные причины, например:

• Использование неполных или недостоверных исходных данных;
• Использование непроверенных гипотез и применение необоснованных допущений;
• Отказ от рассмотрения альтернатив (или выбор нерелевантных альтернатив);
• Неучет (или неполный учет) рисков;
• Игнорирование неопределенностей и откладывание важных решений «на потом»;
• Желание ускорить инжиниринговый цикл из-за возникающего дефицита времени, например, сократив объем исследований, снизив требования к детализации проектирования и т.п.;
• Нарушение логики Stage Gate Process (под различными предлогами происходит игнорирование системной работы на ранних этапах жизненного цикла).

В результате этого в проектах объективно принимаются неоптимальные решения, когда происходит недооценка затрат и сроков реализации проекта с одной стороны и переоценка бизнес-выгод, с другой. Одновременно с этим срабатывают 2 связанных между собой парадокса:

• У хуже проработанных проектов прогнозы по доходности, стоимости и срокам всегда заметно лучше, чем у полностью проработанных проектов;
• Плохо проработанному проекту проще получить финансирование, чем хорошему.

1.3. Что делать?

Все известные подходы к тому, как обезопасить себя от принятия неверных решений, базируются на двух постулатах:

1. Невозможно обойтись без формализованного «фильтра», не допускающего к принятию решения плохо проработанные проекты, как влекущие существенные риски;
2. Перед принятием решения невозможно обойтись без экспертного мнения о полноте и качестве проработки проекта, а также о его готовности к принятию решения.

Оба постулата реализованы в типовом алгоритме гейт-кипинга (рис.1), который в той или иной степени применяется большинством компаний.

Рис.1. Типовой алгоритм прохождения гейта

Если задача настройки «фильтрации» проектов, как процесс допуска к принятию решений, вполне понятна, то вторая задача - собственно, проведение самой экспертизы с выдачей экспертами максимально объективных результатов, требует комментариев.

2. Обзор методологии выполнения проектных экспертиз

2.1. Базовые предпосылки и краткая история вопроса

Отсутствие единых метрик оценки

История проектных экспертиз насчитывает не одно столетие. Первые экспертизы появились ровно тогда, когда человек начал возводить искусственные сооружения;

Не существовало объективных, и тем более, унифицированных (единых отраслевых) метрик и шкал оценки качества проработки проекта. Каждый эксперт действовал в меру своего опыта и интуиции, Важную роль при принятии решений играли авторитет эксперта и степень доверия к нему со стороны заказчика.

Склонность руководителей проектов «завышать показатели» и репутационные преимущества

Руководители проектов всегда не объективны в оценке результатов своей работы, они объективно склонны завышать оценки для проекта;

Персональные компетенции Руководителя проекта косвенно свидетельствуют о качестве полученных им результатов лишь в понимании хорошо знающих их руководителей. Новички – всегда «в проигрыше»

При отсутствии критериев оценки мнение экспертов также не объективно

В схожих обстоятельствах одни и те же эксперты выдают различные результаты;

Опытных экспертов, которым безоговорочно доверяют Лица, принимающие решение (ЛПР), «на всех – не хватает».

Слишком велико влияние персонального «экспертного мнения», но даже опытные эксперты не застрахованы от ошибок

Лица, принимающие решение становятся «жертвами обстоятельств»

Лица, принимающие решения остаются не уверены в объективности достигнутых результатов и это мешает им принимать правильные решения

Часто обстоятельства и персональный производственный опыт вынуждают ЛПР принимать решения не взирая ни на что.

2.2. Работающие решения

Решение проблемы систематизации и унификации факторов оценки полноты и качества проработки проектов, а также выработка критериев для соответствующих оценок происходило двумя параллельными путями примерно в одно и то же время. В Таблице 1 приведены ключевые события, повлиявшие на развитие проектных экспертиз.

В настоящее время широкое распространение получили две методологии оценки проектов: методология FEL (Front-End Loading) от IPA (Independent Project Analysis) и PDRI (Project Definition Rating Index) от CII (Construction Industry Institute).

Методологии являются схожими по назначению и инструментам, они предназначены для оценки полноты и качества проработки проектов на ранних стадиях. Однако несмотря на общие черты, они имеют и различия (Таблица 2).

Таблица 1. Ключевые события, повлиявшие на развитие инструментов проектных экспертиз

Вехи	Ключевые события
1958	Проработка проектов по этапам (Stage Gate process). John W. Hackney (основатель стоимостного инжиниринга, AACE Int.) впервые провел исследование уровня определения содержания проекта с анализом превышения затрат и сроков (в рамках RAND Corp - 30 проектов индустриального строительства). Разработаны ранги и чек листы качества проработки проекта
1965	Методология FEL (Front End Loading)[1] при оценке проектов на ранних этапах. Edward Merrow вышел из RAND и призывает использовать методологию FEL. Robert G. Cooper публикует первые результаты применения Stage Gate для разработки новых продуктов
1986	Распространение методологии FEL на различных этапах проектов. BP приобрела химическую и нефтяную компанию AMOCO, в т.ч. с пониманием, что в ней развита эффективная система управления проектами и CAPEX (CVP) в логике жизненного цикла. Практики AMOCO начинают распространяться на другие активы BP
1994-1995-1999	IPA (IPA INSTITUTE) подтвердила эффективность Stage Gate- подхода с оценкой качества проработки проектов на гейтах. По исследованиям IPA проекты, которые не следовали процессу гейткипинга показывают в среднем ухудшение NPV до 45%, а те, которые следовали, показали улучшение NPV до +5% Институт CII (Институт строительной индустрии, США, Техас) разработал методику PDRI (Project Definition Rating Index). Версия PDRI для проектов в сфере капитального строительства была создана в 1999 году
2000-е и настоящее время	IPA систематизировала подходы к принятию решений в проектах. Началось широкомасштабное распространение независимой экспертизы проектов для поддержки принятия решений ЛПР Институт CII развил методологию PDRI применительно к промышленным проектам, общестроительным проектам (гражданское строительство), инфраструктурным проектам, «горным» проектам, специальным проектам, например по производству медицинских и биологических препаратов и др.

Таблица 2. Особенности методологий оценки проектов по FEL (IPA) и PDRI (CII)

	FEL (IPA)	PDRI (CII)
Цель и фокус	Фокусируется на оценке степени проработки проекта на ранних стадиях (например, FEL 1, FEL 2, FEL 3) Оценивает, насколько детально проработаны ключевые аспекты проекта, такие как технические требования, бюджет, график и риски. Основная цель — минимизировать изменения на более поздних этапах проекта, что снижает риски и затраты	Оценивает полноту определения проекта на основе индекса, который измеряет степень проработки различных аспектов проекта. Фокусируется на оценке того, насколько хорошо определены цели, требования, бюджет, график и другие ключевые элементы проекта. Основная цель — обеспечить, что проект имеет четкие и согласованные цели и требования на ранних стадиях
Подход к оценке	Использует поэтапный подход, где проект проходит через несколько уровней проработки (FEL 1, FEL 2, FEL 3). Каждый уровень требует определенной степени детализации и проработки, что позволяет постепенно углублять понимание проекта. Оценка проводится на основе конкретных критериев, таких как степень проработки технических требований, бюджета и графика	Использует индекс, который оценивает полноту определения проекта по различным категориям (например, цели проекта, требования, бюджет, график). Индекс PDRI представляет собой числовое значение, которое отражает степень проработки проекта. Оценка проводится на основе набора вопросов, которые помогают определить, насколько хорошо определены ключевые аспекты проекта.
Структура и критерии	Метод оперирует уровнями проработки проектов (FEL 1, FEL 2, FEL 3), каждый из которых имеет свои критерии и признаки. Признаки относятся к базовым и наиболее значимым вопросам: степени изученности различных аспектов проекта, бизнес-решениям обоснованности технико-технологических решений, качеству оценки стоимости, сроков, оценки рисков и пр. Критерии готовности проекта приняты на основе бенчмарков	Метод базируется на наборе вопросов, которые охватывают различные аспекты проекта (бизнес-цели, требования, технология, технические решения, бюджет, график, проектная команда и т.д.). Критерии включают полноту определения целей, требований, бюджета, графика и других ключевых элементов проекта Каждый из критериев имеет вес, который зависит, как от смыслового содержания этого критерия, так и от оценки, которая выставляется экспертом по данному критерию. Логика «развесовки» критериев в зависимости от оценки такова: чем ниже по качеству проработан проект по конкретному критерию, тем этот критерии имеет больший вес. И наоборот, хорошо проработанный проект, оцениваемый по конкретному критерию, существенно снижает его значимость (так как хорошо проработанный вопрос не влияет на проект)
Результат оценки	Результатом является оценка уровня проработки проекта (FEL 1, FEL 2, FEL 3), который показывает, на каком уровне (по детализации/качеству проработки) реально находится исследуемый проект и насколько он готов к следующему этапу	Результатом является индекс PDRI проекта в целом и по каждой из категорий (областей) оценки.
Бенчмарк и применение	IPA INSTITUTE накопил обширную базу лучших практик по различным аспектам планирования проектов, реализуемых в разных индустриях. При исследовании конкретного проекта путем сравнения с бенчмарками можно сделать вывод о достаточности или недостаточности его проработки Метод может быть использован в отношении крупных, сложных и мега-проектов с высокой степенью неопределенности, где требуется детальная проработка на ранних стадиях	CII накопил обширную базу данных проектов, находящихся на разных этапах жизненного цикла, для которых был оценен индекс PDRI и обозначены полно и неполно проработанные проекты (в различных аспектах). Бенчмарк диапазонов (мин-макс) индексов, присущих проектам, находящимся на разных этапах, можно найти в специальной литературе. При исследовании конкретного проекта результат (индекс данного проекта) может быть сопоставлен с данными бенчмарка (индексами аналогичных проектов из той же отрасли), чтобы убедиться в достаточности или недостаточности проработки и выявить ключевые недостатки. Такое сопоставление возможно, как в отношении проекта в целом, так и по отдельным областям (аспектам) оценки Метод широко применяется для проектов, реализуемых в различных отраслях
Потребность в обучении и/или привлечении специализированных экспертов для проведения оценки проекта	Метод требует либо обучения по методикам IPA, либо привлечения экспертов IPA (или аналогичных, лучше - сертифицированных) в качестве консультантов для проверки и интерпретации получаемых результатов. В настоящее время отсутствует возможность привлечения международных экспертов.	Метод требует вводного обучения. Привлечение опытных экспертов (эксперты - не обязательно от CII) повышает качество получаемых результатов
Стоимость и сроки	Дорого, трудоемко, долго	Менее дорого, но достаточно трудоемко и долго

2.3. Почему потребовалось создать собственный инструмент

Оба метода предполагают, что по мере продвижения проекта от этапа к этапу пробелы в его проработке и планировании будут устраняться до тех пор, пока не будет достигнут достаточный уровень качества (измеренный и отнесенный к бенчмаркам по соответствующему методу), обеспечивающий оптимальный баланс рисков и возможностей, которые должны быть учтены при принятии решения по проекту.

FEL (IPA)

FEL является интуитивно понятным, так как определение задач, присущих FEL достаточно полно соответствует содержанию этапов жизненного цикла традиционного проекта и общепринятым фазам инжиниринговой проработки. Так, например (приведено в Таблице 3 применительно к проектам Oil&Gas):

Таблица 3. Пример приблизительного сопоставления FEL с содержанием этапов жизненного цикла проекта

		FEL-1	FEL-2	FEL-3
Основные задачи этапов проекта	Геология и запасы	Первичные геологические исследования и картографирование зон распространения залежей, Укрупненные расчеты объема возможных запасов нефти и газа	Определение запасов, детальное геологическое моделирование месторождения, моделирование разработки месторождения
	Границы и содержание проекта, экономика проекта	Изучение экономических аспектов реализации проекта	Уточнение экономических аспектов реализации проекта	Подтверждение экономики проекта
	Проекти-рование и оптимизация проектных решений	Концепт, базовое проектирование	Определение наилучших технико-технологических решений, проектирование	Детальное проектирование
	Реализация проекта			Бурение скважин Строительно-монтажные работы Передача в эксплуатацию
Фазы инжиниринговой проработки		Предварительная концепция проекта	Базовое проектирование	Рабочее проектирование

Однако, воспользоваться индексом FEL в качестве инструмента для оценки полноты и качества проработки проекта представляется затруднительным ввиду следующего:

a) Недоступна широкомасштабная база данных (бенчмарк) по лучшим практикам при реализации проектов в различных отраслях. Компании, использующие методологию FEL, используют собственный бенчмарк или наработки IPA, выполненные по заказу в предыдущие периоды

b) С целью получения объективной оценки при анкетировании и для анализа полученной информации необходимы эксперты IPA, привлечение которых в настоящее время труднореализуемо

c) Метод обладает мощным потенциалом при его использовании в ходе комплексных экспертиз проектов и функциональных ашурансов, однако неприменим в случае необходимости экспресс-оценок (быстрых оценок) и «самооценок», которые были бы привлекательны, прежде всего, для руководителей проектов перед инициированием решений по проекту.

PDRI (CII)

PDRI [1,2] также достаточно интуитивен и понятен, так как метод оперирует вполне узнаваемыми категориями, например (приведено на Рис. 2 применительно к проектам промышленного строительства):

Рис. 2. Структура категорий и элементов PDRI для оценки проектов промышленного строительства

Метод PDRI базируется на выставлении оценок (от 0 до 5) по каждой категории (например, в проектах промышленного строительства предусмотрено16 категорий) и каждому элементу в них (например, в проектах промышленного строительства предусмотрено 70 элементов). Оценка по каждому элементу соответствует определенному балльному значению индекса, предложенному СII с учетом эскалируемого значения в зависимости от уровня оценки (чем хуже оценка, тем выше балл индекса по данному элементу, а значит ниже рейтинг). Сумма баллов по проекту соответствует итоговому балльному индексу PDRI (от 70 до 1000).

Несмотря на очевидную простоту и доступность пользоваться методологией PDRI, если руководителю проекта необходимо достаточно быстро выполнить экспресс-оценку своего проекта) также представляется не вполне удобным ввиду того, что хоть метод и имеет потенциал при выполнении комплексных экспертиз проектов и функциональных ашурансов, однако малоприменим из-за своей относительно высокой трудоемкости (ведь необходимо тщательно проверить и оценить проект по множеству элементов, а также обосновать оценки перед оппонентами).

Ввиду указанных ограничений ПМСОФТ разработал метод, верхнеуровнево схожий с PDRI по общему подходу к оценке, но, в отличие от PDRI, позволяющий оперативно выполнить «самооценку» проекта.

3. Метод ПМСОФТ. PRII - Project Readiness & Integration Index^© - импортозамещение для FEL и PDRI

3.1. Кратко о самом методе

Метод PRII^© базируется на оценке полноты и качества проработки, а также интегрированности интуитивно узнаваемых артефактов, которые создаются в ходе проектирования и планирования проекта,

В отличии от PDRI и FEL, PRII^© не требует выставления оценок, баллов или рейтингов, Достаточно лишь бинарно («ДА» или «НЕТ») ответить на 4 простых вопроса применительно к каждой из категорий оценки (в качестве примера в Таблице 4 приведено 15 типовых категорий, сгруппированных по трем оцениваемым областям в проектах промышленного строительства).

Эти вопросы, так или иначе задают все эксперты, в том числе и применяющие методологии FEL или PDRI:

1. Уверены ли вы, что полностью проработали проект по соответствующей категории?
2. Уверены ли вы, что все исходные данные для проработки проекта по соответствующей категории были собраны/получены?
3. Уверены ли Вы в качестве использованных исходных данных?
4. Уверены ли вы, что в ходе проработки проекта по данной категории были выбраны корректные подходы или методы, а полученный результат достаточно обоснован?

Таблица 4. Пример структуры областей и категорий для оценки проектов промышленного строительства по методике PRII^©

I. Бизнес, производство и технологии	II. Проектные решения	III. Стратегия реализации проекта
A. Производственные аспекты	F. Площадка реализации проекта	L. Стратегия закупок
B. Бизнес-цели	G. Технологические процессы	M. Организация инжиниринга
C. Выбор технологии	H. Перечень оборудования	N. Контроль проекта
D. Содержание проекта	I. Общестроительные, конструктивные, архитектурные решения	P. План реализации проекта, управление проектом
Е. Оптимизация проектных решений	J. Инфраструктура
	K. Электроснабжение, АСУТП, КИП

Для каждой отрасли характерны особенности, которые учтены в структуре категорий. К настоящему времени категории разработаны для проектов промышленного строительства, инфраструктурного строительства, гражданского строительства, «горных» проектов, объектов шельфового строительства (Oil&Gas). В разработке находятся проекты геологии и разработка (Oil&Gas).

Для каждой из категорий разработано достаточно детальное описание содержания, которое позволяет квалифицированно ответить на каждый из четырех указанных выше вопросов.

Оценка полноты и качества проработки проекта по каждой категории и, соответственно, по каждой области, выражается в процентах (за 100% принимается полное, эталонное определение проекта в соответствующей категории). Оценка по категории рассчитывается автоматически исходя из:

• соотношения количества полученных положительных и отрицательных ответов;
• веса соответствующей категории, который зависит от величины рисков, возникающих в связи с неполной проработкой проекта по данной категории и степени влияния таких рисков на проект (веса категорий зависят от отрасли, определены по имеющимся бенчмаркам и нормативно «зашиты» в алгоритмы расчетов).

3.2. С чем сравниваем результат и как это работает

Поскольку ПМСОФТ аккумулировал и проанализировал пул часто встречающихся в практике наихудших и наилучших ситуаций по каждой из категорий, то в качестве результата PRII^© выдает не только саму оценку, но и соответствующие ей референсные значения, которые привязаны к определенной инжиниринговой фазе проекта (Scoping Study, Concept, PRE-FEED, FEED, Detail Design).

Пример результата (для одного из проектов гражданского строительства) представлен в Таблице 5 и на Рис.4.

Таблица 5. Оценка и референсные значения полноты и качества по методике PRII^©

Текущая инжиниринговая фаза: FEED

ПРОЕКТ В ЦЕЛОМ	Нижн. граница [%]	Верхн. граница [%]	Индекс PRII© [%]
ПРОЕКТ	47%	77%	55%
ПО НАПРАВЛЕНИЯМ ОЦЕНКИ	Нижн. граница [%]	Верхн. граница [%]	Индекс PRII© [%]
БИЗНЕС РЕШЕНИЯ	50%	86%	50%
ПРОЕКТНЫЕ РЕШЕНИЯ	42%	67%	63%
СТРАТЕГИЯ РЕАЛИЗАЦИИ ПРОЕКТА	52%	77%	50%
ПО КАТЕГОРИЯМ ОЦЕНКИ	Нижн. граница [%]	Верхн. граница [%]	Индекс PRII© [%]
БИЗНЕС-СТРАТЕГИЯ	50%	92%	50%
ЛОГИКА ЭКСПЛУАТАЦИИ	50%	82%	0%
ТРЕБОВАНИЯ К ПРОЕКТУ	50%	80%	75%
ИНФОРМАЦИЯ О ПЛОЩАДКЕ СТРОИТЕЛЬСТВА	50%	75%	100%
СТРАТЕГИЯ СТРОИТЕЛЬСТВА	44%	69%	50%
АСПЕКТЫ ПРОЕКТИРОВАНИЯ	35%	60%	50%
ОБОРУДОВАНИЕ	36%	61%	50%
СТРАТЕГИЯ ЗАКУПОК	64%	89%	50%
УПРАВЛЕНИЕ ПРОЕКТОМ	50%	75%	50%
ПЛАН РЕАЛИЗАЦИИ ПРОЕКТА	50%	75%	50%

Рис. 4. Оценка PRII^© проекта гражданского строительства по областям и категориям и референсные значения по бенчмарку

Ключевые выводы по результатам оценки данного проекта по индексу PRII^©:

• Качество проработки данного проекта в целом соответствует референсным значениям по отрасли, однако по отдельным категориям (где оценки ниже референсных значений) проект де-факто находится на этапе PRE-FEED, а не на FEED, как было заявлено). Кроме того, по одной из категорий проект полностью не проработан.
• Проект не готов к принятию решения и требует доработки по категории, которая была проигнорирована

4. Выводы

a) Экспертиза готовности проектов к принятию решений – один из ключевых инструментов достижения запланированных целей проекта путем обеспечения качества его реализации

b) Результаты экспертиз должны быть максимально объективными и представлены ЛПР для принятия решения в агрегированном, наглядном, понятном и сопоставимом с бенчмарками виде. Это достигается путем применения специализированных инструментов оценки (индексов проработки/индексов готовности проектов)

c) Существующие в практике индексы готовности проектов (FEL от IPA и PDRI от CII) в настоящее время не могут быть широко используемы для целей оперативной «самооценки» проекта, выполняемой руководителем проекта в силу ряда объективных причин, основными из которых являются – недоступность бенчмарков, невозможность/трудности участия экспертов (от разработчиков методов), высокая трудоемкость исследования и интерпретации результатов, а значит и длительность мероприятия

d) PRII^© от ПМСОФТ является импортозамещенным (по отношению к FEL/PDRI) инструментом «быстрого бенчмаркинга», который предназначен, прежде всего, для руководителей проектов, чтобы оперативно оценить «свежим взглядом» достаточность того, что уже сделано по проекту.

e) PRII^© позволяет в режиме реального времени выполнить мониторинг статуса интегрированности бизнес-обоснования, производственных и технологических вопросов, проектных решений и стратегии реализации проекта. Оценка выполняется по относительно небольшому числу категорий, которое зависит от отрасли, в которой реализуется проект, Полученный результат сопоставляется с референсными значениями, взятыми из реальных практик. По мере апробации PRII^© бенчмарк референсных значений может корректироваться.

f) Одновременно с этим руководители проектов получают «подсвеченные» зоны неопределенностей и видение нерешенных задач; рекомендации по улучшениям и применению реальных управленческих инструментов; возможность взвешенно планировать дальнейшие шаги;

g) PRII^© может служить служит инструментом коммуникаций руководителя проекта с заинтересованными лицами, чтобы повысить шансы на успешное согласования текущих результатов и планов по проекту

5. Источники информации

[1] Development of the Project Definition Rating Index (PDRI) For Infrastructure Projects by Evan Bingham. Approved November 2010 by the Graduate Supervisory Committee: G. Edward Gibson, Jr., Chair, William Badger, Samuel Ariaratnam. ARIZONA STATE UNIVERSITY. December 2010

[2] Project Definition Rating Index. Industrial Projects. Construction Industry Institute®. Front End Planning Research Team Implementation Resource. July 1996 113-2 Version 4/1