Главная страница Visual 2000 · Общий список статей

Интеллектуальный анализ данных в "1С:Предприятии 8.0"

Андрей Колесов

© Андрей Колесов, 2006
Авторский вариант. Статья была опубликована c незначительной литературной правкой в журнале BYTE/Россия (N 02/2006, с. 18)


Одна из главных тенденций на рынке учетно-управленческих систем...

Одна из главных тенденций на рынке учетно-управленческих систем – это постоянное повышение спроса на применение средств аналитической обработки данных, обеспечивающих принятие обоснованных руководящих решений. Именно поэтому одним из стратегических направлений развития системы ПО "1С:Предприятие" является постоянное расширение возможностей средств экономической и аналитической отчетности. Однако сегодня заказчикам уже недостаточно использование традиционных инструментов, позволяющих создавать разнообразные отчеты, сводные таблицы и диаграммы, которые создаются на основе заранее определенных показателей и связей и которые нужно анализировать вручную. Предприятиям все чаще нужны качественно иные средства, позволяющие автоматически искать неочевидные правила и выявлять неизвестные закономерностей (рис. 1). Именно так можно генерировать качественно новые знания на основе накопленной компанией информации и принимать порой совсем нетривиальные решения для повышения эффективности бизнеса, применяя методы интеллектуального анализа данных (ИАД).

Рис. 1. Логика развития "интеллектуальности" решаемых аналитических задач

Выпуск летом 2003 года новой версии технологической платформы "1С:Предприятие 8.0" позволил существенно расширить возможности бизнес-анализа данных (см. врезку "Экономическая и аналитическая отчетность"). Однако тут нужно сделать одно важное замечание. Платформенное ПО "1С" развивается не только "шагами" от версии к версии, но также постоянно совершенствуется и расширяется внутри одной версии, причем в двух направлениях – технологическом и прикладном. Так после первого объявления "восьмерки" выпущено уже более десятка релизов платформы, по состоянию на январь 2006 года самая последняя версия имеет номер 8.0.13, и она весьма-весьма существенно отличается от того, что было два с половиной года назад!

Одним из направлений развития "1С Предприятие 8.0" является как раз механизмы бизнес- аналитики, в частности средства ИАД появились в ней только в 2005 году. При этом важно отметить, что большинство функций анализа реализованы на уровне технологической платформы и становятся доступными пользователям только после включения в новые релизы прикладных решений. Таким образом, появляется некоторый разрыв (порой в несколько месяцев) между появлением новых возможностей и их предоставлением пользователям.

Имея в виду эту проблему, для сокращения подобного разрыва фирма "1С" выпустила в сентябре 2005 года специальное прикладное решение "Подсистема анализа данных" (ПАД), которая может быть встроена в любую конфигурацию платформы "1С Предприятие 8.0". Помимо широкого набора базовых функций в ее поставку входят более тридцати предварительно настроенных моделей для типовой конфигурации "Управление торговлей". ПАД включает в себя как раз качественно новые ИАД-средства, которые ранее отсутствовали в программах "1С".

Алгоритмы ИАД, включенные в новую конфигурацию (версия 1.0.5), формируют аналитические модели (шаблоны), которые описывают закономерности в исходных данных. Эти модели представляют самостоятельную ценность (могут многократно использоваться), а также применяются для автоматизированного формирования прогнозов, в том числе сценарных) с заранее неизвестными показателями.

Механизм ИАД представляет собой набор взаимодействующих друг с другом объектов встроенного языка, что позволяет разработчику использовать его составные части в произвольной комбинации в любом прикладном решении. Встроенные объекты позволяют легко организовать интерактивную настройку параметров анализа пользователем, а также позволяют выводить результат анализа в удобной для отображения форме в табличный документ (рис. 2). Применяя к исходным данным один из видов анализа, можно получить результат анализа, который представляет собой некую модель поведения данных. Результат анализа может быть отображен в итоговом документе, или сохранен для дальнейшего использования — на его основе может быть создана модель прогноза, позволяющая прогнозировать поведение новых данных.

Рис. 2. Общая схема функционирования механизма интеллектуального анализа данных

В текущей версии подсистемы реализованы методы, получившие наибольшее коммерческое распространение в мировой практике:

Далее мы подробнее рассмотрим суть и возможности практического применения этих методов ИАД.

В начало статьи

Кластеризация

Целью кластеризации является выделение из множества объектов одной природы некоторого количества относительно однородных групп _ сегментов или кластеров. Объекты распределяются по группам таким образом, чтобы внутригрупповые отличия были минимальными, а межгрупповые – максимальными (рис. 3). Методы кластеризации позволяют перейти от по- объектного к групповому представлению совокупности произвольных объектов, что существенно упрощает оперирование ими.

Рис. 3. Анализ данных методом кластеризации

Вот возможные сценарии применения кластеризации на практике:

Сегментация клиентов по определенной совокупности параметров позволяет выделить среди них устойчивые группы, имеющие сходные покупательские предпочтения, уровни продаж и платежеспособности, что значительно упрощает управление взаимоотношениями с клиентами.

При классификации товаров очень часто используются достаточно условные принципы классификации. Выделение сегментов на основе группы формальных критериев позволяет определить действительно однородные группы товаров. В условиях широкой и довольно разнородной номенклатуры товаров управление ассортиментом на уровне сегментов по сравнению с управлением на уровне номенклатуры существенно повышает эффективность продвижения, ценообразования, мерчендайзинга, управления цепочками поставок.

Сегментация менеджеров позволяет эффективнее спланировать организационные изменения, улучшить мотивационные схемы, скорректировать требования к нанимаемому персоналу, что, в конечном счете, позволяет повысить управляемость компании и стабильность бизнеса в целом.

Сходство и различие между объектами определяется "расстоянием" между ними в пространстве факторов. Способ измерения расстояния определяется метрикой, которая указывает принцип определения сходства/различия между объектами выборки. Текущая реализация поддерживает следующие метрики:

Способы формирования кластеров на основе информации о расстоянии между кластеризуемыми объектами определяется методом кластеризации. В текущей версии реализованы следующие методы кластеризации:

Любой из реализованных в платформе методов кластеризации предполагает явное указание количества искомых кластеров. Для атрибутов объектов можно вводить веса для атрибутов объектов, что позволяет расставлять приоритеты между ними.

Результатами анализа с помощью кластеризации являются:

Алгоритмы кластеризации позволяют не только провести кластерный анализ объектов на множестве заданных атрибутов, но и спрогнозировать значение одного или нескольких из них для актуальной выборки на основании отнесения объектов этой выборки к тому или иному кластеру.

В начало статьи

Поиск ассоциаций

Этот метод предназначен для выявления устойчивых комбинаций элементов в определенных событиях или объектах. Результаты анализа представляются подсистемой в виде групп ассоциированных элементов. Здесь же помимо выявленных устойчивых комбинаций элементов приводится развернутая аналитика по ассоциированным элементам (рис. 4).

Рис. 4. Представление результатов анализа методом "поиска ассоциаций" представляются в виде групп ассоциированных элементов.

Первоначально метод был разработан для поиска типичных сочетаний товаров в покупках, поэтому иногда его еще называют анализом покупательской корзины. Применительно к этому сценарию в качестве ассоциируемых элементов, как правило, выступают товарные группы или отдельные товары. А группирующим объектом, объединяющим элементы выборок, может быть любой объект информационной системы, идентифицирующий сделку, например: заказ покупателя, акт об оказании услуг или кассовый чек.

Информация о закономерностях в товарных предпочтениях покупателей позволяет повысить эффективность управления отношениями с клиентами (в части рекламных кампаний и маркетинговых акций), ценообразования (формирование комплексных предложений и системы скидок), управления запасами и мерчендайзинга (распределение товаров в торговых залах). Другим примером использования этого метода является определение предпочитаемых клиентами комбинаций рекламных каналов для исключения их дублирования при проведении целевых рекламных кампаний. Это позволяет существенно снизить издержки на подобные мероприятия.

Реализованный в платформе алгоритм поиска ассоциаций имеет достаточно гибкие средства управления адекватностью моделей анализа или прогноза. Параметр "Минимальный процент случаев" определяет "порог срабатывания" алгоритма на ту или иную комбинацию элементов в событии или объекте, что позволяет не принимать во внимание слабо распространенные ассоциации. Параметр "Минимальная достоверность" определяет требуемую устойчивость искомых ассоциаций, а параметр "Минимальная значимость" позволяет выявить из них наиболее приоритетные. Существенно облегчает восприятие результатов анализа и прогноза параметр "Тип отсечения правил", который может принимать значения "Отсекать избыточные" и "Отсекать покрытые другими правилами".

Для практической интерпретации результатов, полученных данным алгоритмом критически важно разбиение исходного множества ассоциируемых элементов на действительно однородные с точки зрения проводимого анализа группы.

В начало статьи

Дерево решений

В результате применения этого метода к исходным данным создается иерархическая (древовидная) структура правил вида "Если... то...", а алгоритм анализа обеспечивает процесс вычленения на каждом этапе наиболее значимых условий и переходов между ними. Данный алгоритм получил наибольшее распространение при выявлении причинно-следственных связей в данных и описании поведенческих моделей. Типичная зона применимости деревьев решений – оценка различных рисков, например, закрытия заказа клиентом или его перехода к конкуренту, несвоевременной поставки товара поставщиком или просрочки оплаты товарного кредита. В качестве типичных входных факторов модели выступают сумма и состав заказа, текущее сальдо взаиморасчетов, кредитный лимит, процент предоплаты, условия поставки и иные параметры, характеризующие объект прогноза. Адекватная оценка рисков обеспечивает принятие информированных решений по оптимизации отношения доходность/риск в деятельности компании, а также полезна для увеличения реалистичности различных бюджетов (рис. 5).

а)

б)

Рис. 5. Применение метода "дерево решений" позволяет на основе входных факторов модели (а) получать оценку рисков принятия тех или иных управленческих решений (б).

В качестве примера, иллюстрирующего способность этого алгоритма выявлять причинно- следственные связи, можно привести задачу оптимизации работы отдела продаж. Для ее решения в качестве прогнозируемой величины выберем интересующий показатель эффективности менеджеров по продажам, например удельную доходность на клиента, а в качестве факторов – совокупность данных, потенциально влияющих на результат. Алгоритм определит факторы, оказывающие наибольшее влияние на результат, а также типичные комбинации условий, приводящих к тому или иному результату.

Более того, подсистема "Анализ данных" позволит оценить (спрогнозировать) ожидаемые значения целевого показателя на основании актуальных данных, а также провести прогноз "Что, если...", изменяя подаваемые на вход модели показатели. Результаты анализа и прогноза с помощью деревьев решений позволяют существенно снизить влияние неопределенности бизнес- окружения на состояние компании, а также решить широкий спектр задач, связанных с выявлением сложных и неочевидных причинно-следственных связей.

Алгоритм "Дерево решений" формирует причинно-следственную иерархию условий, приводящую к определенным решениям. В результате применения этого метода к обучающей выборке создается иерархическая (древовидная) структура правил расщепления вида "Если... то...". Алгоритм анализа (обучения модели) сводится к итеративному процессу вычленения на каждом этапе наиболее значимых условий и переходов между ними. Условия могут иметь как количественный, так и качественный характер и формируют "ветви" этого абстрактного дерева. Его "листву" образуют значения прогнозируемого атрибута (решения), которые также как и условия переходов может иметь как качественную, так количественную трактовку. Совокупность этих условий, налагаемых на факторы и структура переходов между ними до конечного решения и образуют модель прогноза.

Данный алгоритм получил наибольшее распространение при оценке исходов различных событийных цепочек и выявлении причинно-следственных связей в выборках. Управление значимостью и достоверностью модели данного алгоритма осуществляется с помощью параметров "Тип упрощения", "Максимальная глубина дерева" и "Минимальное количество элементов в узле".

В качестве результата анализа выборки с помощью алгоритма "Дерево решений" выступают:

В начало статьи

Типовые бизнес-сценарии использования методов ИАД

В документации ПАД имеется раздел, посвященный типовым примерам применения интеллектуального анализа данных применительно к конфигурации "1С Управление торговлей 8.0.". Здесь мы приведем только несколько таких бизнес-сценариев.

В начало статьи

В начало статьи

Заключение

Современный бизнес столь многогранен, что количество факторов, потенциально оказывающих влияние на то или иное решение, может исчисляться десятками. Конкуренция усиливается день ото дня, жизненный цикл товаров укорачивается, предпочтения клиентов меняются все быстрее. Для развития бизнеса необходимо максимально динамично реагировать на стремительно меняющееся бизнес-окружение, учитывая тонкие, а подчас трудноуловимые закономерности развития событий.

Какие группы клиентов откликнутся на рекламную акцию, а какие безвозвратно уйдут к конкурентам? Открывать новую бизнес-линию или пока повременить? Не просрочит ли покупатель платеж, а поставщик - отгрузку? Каковы возможности для роста и где скрываются потенциальные угрозы? Такие вопросы ежедневно задают себе и коллегам тысячи менеджеров.

Подсистема анализа данных, реализованная в "1С:Предприятии 8.0" призвана помочь пользователям корпоративной информационной системы быстрее находить ответы на нетривиальные вопросы, обеспечивая автоматизированное преобразование данных, накопленных в корпоративной информационной системе, в практически полезные и хорошо интерпретируемые закономерности.

Для непосредственного проведения анализа и прогнозирования данных специфических навыков и знаний не требуется. Предполагается хорошее владение анализируемой предметной областью и понимание основных причинно-следственных связей в ней. Для подготовки источников данных и прогнозных моделей требуется умение использовать построитель запросов и знание принципов размещения информации в объектах метаданных конфигурации.

В начало статьи

ВРЕЗКА 1. Экономическая и аналитическая отчетность в "1С:Предприятии 8.0"

Платформа "1С:Предприятие 8.0" (1С8:0) включает целый ряд механизмов формирования экономической и аналитической отчетности, позволяющих формировать интерактивные документы (а не просто печатные формы) в рамках тех или иных прикладных решений. Таким образом, пользователь может работать с отчетами так же, как с любой экранной формой, в том числе изменять параметры отчета, перестраивать его, использовать "расшифровки" (получение дополнительных отчетов на основе отдельных элементов уже сформированного отчета) и т.д. Кроме этого, имеются несколько универсальных программных средств, позволяющих формировать любые произвольные отчеты, в зависимости от стоящих перед ними задач. Это могут делать, в том числе, и сами пользователи (достаточно опытные), хорошо знакомые со структурой используемого прикладного решения.

Далее мы кратко рассмотрим основные средства отчетности в "1С:Предприятии 8.0".

Запросы – это один из способов доступа к данным в "1С:Предприятии 8.0", с помощью которого выполняется выборка информации из базы данных по определенным условиям, как правило, в сочетании с простейшей обработкой получаемых данных: сгруппировать, отсортировать, вычислить. Изменение данных с помощью запросов невозможно, так как они изначально предназначены для быстрого получения сведений из больших массивов информации. БД реализована в виде совокупности связанных между собой таблиц, к которым можно обращаться как по-отдельности, так и к нескольким таблицам во взаимосвязи. Для реализации собственных алгоритмов разработчик может использовать язык запросов, основанный на SQL и содержащий значительное количество расширений, ориентированных на отражение специфики финансово-экономических задач и сокращения усилий на создание прикладных решений. В состав платформы входит конструктор запросов, который позволяет составить правильный текст запроса, используя только визуальные средства (рис. 6).

а)

b)

Рис. 6. Конструктор запросов (а) позволяет разработчику составить текст запроса (б) исключительно визуальными средствами.

Табличный документ представляет собой мощный механизм визуализации и редактирования информации, в том числе с использованием динамического считывания информации из базы данных (рис. 7). Табличный документ может использоваться как сам по себе, так и входить в состав любой из форм, используемых в прикладном решении. По своей сути он напоминает электронные таблицы (состоит из строк и столбцов, в которых размещаются данные), но его возможности гораздо шире. В нем поддерживается выполнение операций группировки, расшифровки, включения примечаний. В документе можно применять различные возможности оформления отчета, в том числе графические диаграммы. Табличный документ может содержать в себе сводные таблицы, которые сами по себе являются эффективным инструментом программного и интерактивного представления многомерных данных.

Рис. 7. Отступ уровней иерархии при использовании группировок формируется в табличном документе автоматически.

Конструктор выходной формы помогает разработчику создавать отчеты и представлять данные отчетов в удобном табличном или графическом виде. Он включает в себя все возможности конструктора запросов, а также создания и настройки формы.

Построитель отчета – объект встроенного языка, который предоставляет возможность динамического создания отчета как программными, так и интерактивными средствами (рис. 8). В основе его работы лежит запрос, по которому пользователю дается возможность интерактивной настройки всех основных параметров, содержащихся в тексте запроса. Результаты выполнения этого запроса выводятся в табличный документ, в котором могут также использоваться сведения из произвольных источников данных. Разработчик, используя команды построителя отчета, может изменить состав параметров, доступных пользователю для настройки.

Рис. 8. Схема работы построителя отчетов

Географические схемы позволяют наглядно представлять информацию, имеющую территориальную привязку: к странам, регионам, городам. Данные на них могут отображаться различными способами: в виде текста, гистограммы, цветом, картинкой, кругами различного диаметра и цвета, круговыми диаграммами (рис. 9). Это позволяет отобразить, например, объемы продаж по регионам в графическом виде. Пользователь может изменять масштаб отображаемой схемы, получать расшифровки при нажатии мыши на объектах схемы и даже создавать новые географические схемы. Географическая схема может быть также использована просто для отображения тех или иных географических данных, например, схемы проезда к офису или маршрута движения транспортного средства.

Рис. 9. Географическая схема может быть отображена в форме или в табличном документе, а также сохранена в виде отдельного файла

Интеллектуальный анализ данных. Эти механизмы позволяют выявлять неочивидные закономерности, которые обычно скрываются за большими объемами информации. Здесь используются взаимодополняющие методы обнаружения знаний, получившие наибольшее коммерческое распространение в мировой практике: кластеризация (группировка относительно сходных объектов), поиска ассоциаций (поиск устойчивых комбинаций событий и объектов) и дерево решений (построение причинно-следственной иерархии условий, приводящей к определенным решениям).

Консоль запросов и консоль отчетов. Обе эти консоли не входят в состав технологической платформы, а представляют собой внешние отчеты, который могут быть запущены в любом прикладном решении. Они помогают разработчику или опытному пользователю соответственно составить текст запроса и проанализировать его результаты или оформить произвольный отчет.

В начало статьи

ВРЕЗКА 2. Совместные решения "1С" для эффективного управления предприятием

Помимо функций, реализованных непосредственно в рамках платформы "1С:Предприятие 8.0" в арсенал средств бизнес-анализа "1С" пополняется также специализированными решениями, создаваемыми в том числе в рамках проекта "1С-Совместно" – с участием партнеров фирмы и независимых разработчиков (см. "Совместные решения фирмы "1С" и ее партнеров", BYTE/Россия N 09/2005). Здесь мы представим два продукта, связанным с применением интеллектуальным методов анализа.

"1С:Предприятие 8.0. 1С-ВИП Анатех: ABIS . ABC . Управленческий учет и расчет себестоимости"

"1С-ВИПАнатех-ВДГБ: ABIS.BSC. Сбалансированная система показателей"

В начало статьи