РЕФЕРАТ

Работа содержит 76 страницы, 19 рисунков да 2 таблицы. Было

использовано 17 источников.

Цель работы. Целью данной работы есть повышение эффективности

обработки больших данных в MicroGrid за счет метода машинного

обучение, что отличается гибридным методом прогнозирование нагрузка в

системе.

В магистерский десиртации рассматривается задача применение

Anomaly Detection и Future Selection как гибридное средство Machine

Learning для обработки больших данных да прогнозирование нагрузка

системы. Научная новизна полученных результатов состоит в получении

дальнейшего развития теории применения методов машинного обучения

для обработки и анализа больших данных (Big Data) в части

прогнозирования нагрузки в системах MicroGrid[1]. Предложено решение

задачи прогнозирование нагрузка применение методов опорных векторов

(SVM) да Future Selection. Проведен анализ и сравнение с другими

методами и обнаружены преимущества данного метода

Ключевые слово : MicroGrid, Big Data, Machine Learning, Anomaly

Detection, Feature Selection.

2 
 
 Содержание 
ВВЕДЕНИЕ  ........................................................................................................................................... 8 
РАЗДЕЛ 1  ........................................................................................................................................... 10 
ОБРАБОТКА БОЛЬШИХ ДАННЫХ В СРЕДЫ MICROGRID  .................................................. 10 
1.1. Существующие решение обработки данных в MicroGrid  ........................................... 10 
1.2. Источники больших данных да их регистрация  ........................................................... 11 
1.3. Активность человека в MicroGrid  ..................................................................................... 18 
Выводы  ............................................................................................................................................... 19 
РАЗДЕЛ 2  ........................................................................................................................................... 20 
ОБЗОР ВЕТКИ ANOMALY DETECTION И СУЩЕСТВУЮЩИХ АЛГОРИТМОВ В 
MACHINE LEARNING  ........................................................................................................ 20 
2.1. Существующие методы Machine Learning  ..................................................................... 20 
2.2. Обзор существующих методов Anomaly Detection  ................................................ 21 
2.3 Сравнение существующих алгоритмов обработки данных  ........................................ 39 
Выводы  ............................................................................................................................................... 42 
РАЗДЕЛ 3  ........................................................................................................................................... 44 
Прогнозирование нагрузка на основе машинного обучение  ............................................. 44 
3.1 Уровень спроса на электроэнергию в системах MicroGrid  .................................... 44 
3.2 Методы поиска Particle Swarm Optimization (PSO), Ant Колонны Optimization (ACO) 
да Genetic Алгоритм (GA)  .............................................................................................. 47 
3.3 Инструмент выбора функций Feature Selection  ...................................................... 49 
3.4  Предлагаемый выбор функций на основе BGA-GPR ............................................ 51 
Выводы  ........................................................................................................................................... 55 
РАЗДЕЛ 4  ........................................................................................................................................... 57 
ОБРАБОТКА ДАННЫХ МЕТОДАМИ ANOMALY DETECTION  ............................................. 57 
4.1  Детектирование аномалий  ................................................................................................ 57 
4.2 Метод обработки данных Anomaly Detection  .......................................................... 60 
4.3 Пример сервиса обработки данных  ................................................................................. 63 
4.4.  Модифицированный метод обработки в MicroGrid  .............................................. 67 
Выводы  ............................................................................................................................................... 70 
РАЗДЕЛ 5  ........................................................................................................................................... 71 
РАЗРАБОТКА СТАРТАП – ПРОЕКТА  ......................................................................................... 71 
5.1. Описание идеи проекта (технологии)  ............................................................................. 73 
5.2. Технологический аудит идеи проекта  ............................................................................. 73 
5.3. Анализ рыночных возможностей запуска стартап-проекта  ....................................... 74 
Выводы  ............................................................................................................................................... 77 

3 
 
ОБЩИЕ ВЫВОДЫ ПО РАБОТЫ  .................................................................................................. 78 
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ  ....................................................................... 79 

ВВЕДЕНИЕ

Актуальность. Развитие электронных систем, интеллектуальных

средств управление да обмена информацию привел к формирование новой

информационно-энергетической концепции SmartGrid, в рамках которой

рассматриваются локальные электротехнические объекты – MicroGrid,

содержащие определенный набор источников да нагрузок, которые, как

правило, подключены к централизованной электросети. В рамках

MicroGrid возникает целый ряд задач управление и согласованное

функционирование устройств, что приводит к необходимости

оперирование большими информационными потоками.

В отрасли электроэнергетики происходит активное внедрение

«интеллектуальных сетей» SmartGrid да MicroGrid. Поэтому тематика

исследований, посвящена обработке больших данных в MicroGrid да

прогнозированию нагрузка за помощью Machine Learning, есть актуальной.

Цель работы. Целью данной работы есть повышение эффективности

обработки больших данных в MicroGrid за счет гибридного метода

машинного обучения, отличающегося обнаружением аномальной в системе

и прогнозированием нагрузки на основе собранных данных.

Для достижение цели в работе решаются такие задачи:

1. Анализ существующих решений обработки данных в MicroGrid.

2. исследование существующих алгоритмов в Machine Learning.

3. Описание метода прогнозирование нагрузка

4. Описание метода обработки данных, выбор

основных параметров

5. Модифицированный метод обработки данных.

Объектом исследование есть обработка больших данных, связанных

с аномальными данными, которые поступают с датчиков для улучшения

результатов прогнозирование нагрузки в системах MicroGrid.

Предметом исследование есть метод обработки данных с

помощью machine learning.

РАЗДЕЛ 1

ОБРАБОТКА БОЛЬШИХ ДАННЫХ В СРЕДЫ MICROGRID

1.1. Существующие решение обработки данных в MicroGrid

Одним из известных проектов разработки умных домов является

"ACHE MicroGrid" в Боулдери, штат Колорадо, какой использует

адаптивный контроль домашнего среды и нейронных сетей[3].

ACHE MicroGrid контролирует основные функции дома, включая

температуру, освещение и отопление, без необходимости вмешательства

пользователя. Целью ACHE MicroGrid есть прогнозирование да адаптация

режимов работы устройств дома, разработка сервиса, основанного на

наблюдениях нейронной сети за способос жизни людей в дома.

Проект Техасского университета MavHome[4], есть разработкой

какая обуславливает себя как "рациональный агент". Рациональный агент

систематизирует собранные данные, обрабатывает их, и пытается

использовать для угадывания действий пользователя. Система MavHome

базируется на алгоритме LeZi-update отслеживает пользователей да их

поведенческой модели.

Проект "GatorTech MicroGrid" был разработан в Флорида. Он состоит

из отдельных устройств с возможностью обработки информации, таких как

кровать, почтовый ящик, пол, входная дверь и другие. Все устройства

подключены к одной платформе и имею датчики да исполнительные

устройства.

TERVA система личного оздоровительного наблюдения разработана

в Финляндии позволяет наблюдать за «изменениями, связанными с

оздоровительной деятельностью дома" в будь которые промежутки

времени. TERVA работает на домашнем вычислительном устройстве да

поддерживает связь с разными приборами контролирующими датчики в

дома. Система отслеживает параметры АД, температуры пользователя,

веса, интервал сердцебиение, частоту дыхания, движений тому подобное.

Microgrid была разработана в Финляндии, используя внутреннее

отслеживание и емкостное позиционирование. Цель – выявить

деятельность человека, живущая в интеллектуальном доме. Система

использует электроды, встроенные в пол дома, чтобы обнаружить

человека, а потом обнаруживает взаимодействие человека с предметами

быта (столы, кровати, холодильники и диваны).

Можно использовать радиочастотные сигналы, а также датчики

кровати для выявления присутствия жителей, которым приходится

вставать с кровати в летней человека.

Проект SPHERE осуществляет мониторинг и поезда внутри жилых.

домов. Суть этого проекта состоит в добавления данных датчиков да

создании набора данных для мониторинга и управления любым состоянием

здоровья. SPHERE использует физический (несущий) мониторинг

сигналов, мониторинг домашнего среды да мониторинг на основе

философии Мультимодальный подход к звуковой системы полностью

интегрированный с интеллектуальными алгоритмами обработки данных,

которые контролируют сбор данных.

1.2. Источники больших данных да их регистрация

Система MicroGrid отличается от полностью автоматизированной

системы. Микросеть характеризуется присутствием человека, этот фактор

приводит к необходимости учет внешних факторов - влияния человека на

работу оборудование да работоспособность системы. Человеческий

фактор приводит к работы с большим объемом данных. Поэтому

разработчики и исследователи вынуждены использовать методы

машинного обучения обработки больших данных в своей работе Большое

разнообразие этих методов включает подходы, инструменты и принципы

обработки, особенно эффективные в системах с постоянным приростом

данных, да необходимостью превращение результатов, понятных для

восприятие человеком. Методы машинного

обучение (Machine Learning) это важный да эффективный инструмент

обработки больших объемов данных Как отрасль информатики, Machine

Learning использует статистические методы для обеспечения обучения

компьютерным систем с постепенным улучшением производительности

решения конкретных задач без явного программирование.

В MicroGrid различают несколько аномальных режимов:

1. Аварийные случаи;

2. выход технических параметров за допустимы пределы;

3. Нетипичная активность, непонятное поведение человека –

«человеческий фактор»

Первые две дела решают чисто технические, инженерные да отделы

инженерного развития С точки зрения машинного обучения в микросети,

самый большой интерес представляет третий случай, поскольку наличие

«человеческого фактора» приводит к большой количества потенциальных

задач, которые следует обрабатывать как обучающую выборку. Такие

системы могут содержать большие объемы данных, которые невозможно

обработать стандартными методами.

С многих методов машинного обучение наиболее подходящим есть

метод Anomaly Detection. В этой диссертации рассматривается проблема

использование обнаружения аномалий в Microgrid в качестве инструмента

машинного обучение для обработки больших данных, собранных во время

наблюдения и обработки данных.

Применение технологий обработки больших данных, в частности

методов машинного обучение, за последние годы существенно ускорило и

улучшило процесс обработки данных практически в любой предметной

области (физика, экономика, медицина и и т.д.). Хотя в области управление

электрическими объектами да интеллектуальными энергетическими

сетями, которые обычно включают микросетевые системы

возобновляемых да альтернативных источников энергии, до сих пор

такие методы нет использовались, хочет

формирование алгоритмов управление с точки зрения больших данных.

Такой системы имеют большой потенциал (погодные параметры,

экологические параметры, экономические показатели). Наконец, это

разрешает проводить детальный анализ, анализ и прогнозирование

режимов работы, выбирать и проводить сравнительный анализ наилучших

стратегий управления, постоянную диагностику состояний да обнаружение

аномальных, предпохожих да чрезвычайных ситуаций режимов работы

Это чрезвычайно важно Повышение энергоэффективности, всестороннее

внедрение и качество работы MicroGrid. С другого стороны, учитывая

большой объем данных, потребность в дальнейшей обработке, хранении да

передачи предполагает внедрение принципиально новых методов да

информационных технологий - облачных да распределенных компьютеров,

искусственного интеллекта, машинного обучение да Интернета вещей. И

таблица единой информационной среды

Для современных скадных комплексов MicroGrid актуальна проблема

создание гетерогенной сети сбора, обработки и передачи данных, что

характеризуют внутренний состояние да параметры окружающего среды

электротехнических комплексов с источниками рассредоточенной

генерации MicroGrid: параметры климата да экологические параметры,

технические да технологические параметры MicroGrid (физические да

электрические параметры, показатели эффективности режимов

функционирования), экономические показатели эффективности работы

(оптимизационная целевая функция, динамические тарифы на

электрическую энергию в MicroGrid). Учитывая большой объем этих

данных, что обосновывает отнесение их к категории BigData, можно

утверждать, что вопрос высокоэффективной да быстродействующей

обработки этих данных с использованием современных методов

машинного обучение, распределенных вычислений, искусственного

интеллекта чрезвычайно актуальны. Такой подход предоставляет

возможность обеспечить функционирование MicroGrid, в частности,

объектов военного назначение, критическими требованиями для

которых есть минимальная количество физических информационных

линий, надежное электроснабжение да возможность работы в автономном

режиме.

Современные электротехнические комплексы с источниками

рассредоточенной генерации MicroGrid характеризуются высоким

степенью насыщенности разнообразными устройствами генерации,

потребления и накопления энергии, а также передачи больших массивов

разнотипных (гетерогенных) данных, что значительно усложняет задачу

построения адекватных методов оперативного управление да

информационного обмена в информационно-управляющему среде таких

комплексов.

Технологии обработки больших данных – методы машинного

обучения, классификации, аномальной детекции, регрессионного анализа –

позволяют оперировать с большими объемами данных, накопленных в

процессе длительного функционирование MicroGrid в разных режимах, да

есть основой для выбора эффективной стратегии управление.

Для контроля за деятельностью жильца в доме используется ряд

сенсорных устройств. Информация, собранная с устройств, обрабатывается

и сохраняется для анализа и использования в текущем и будущем

состоянии. Поскольку объем этих данных чрезвычайно большим, это

объясняет целесообразность использования методов машинного обучения

для обработки Big Data.

MicroGrid с встроенным модулем интеллектуального машиннгоо

обучение реализует концепции, в какой сеть датчиков, интегрированная в

сеть устройств обработки создает большой поток данных".

Современные MicroGrid используют системы мониторинга здоровья

и использование (Health and usage monitoring systems - HUMS).

Некоторыми типичными примерами датчиков, имеющихся в

MicroGrid, есть датчики температуры, движения, расстояния, влажности,

звука, потока воды, газа, дверей. Экологические датчики используются для

обнаружения взаимодействия между пользователем да объектами, что

помогает определить показатели ежедневной

деятельности человека К ним относятся датчики, встроенные в кровать,

стулья, кухонные приборы тому подобное. Датчики движения

обнаруживают перемещение человека используя оптические,

микроволновые, инфракрасные, акустические наблюдение. Датчики

движения обычно используются в составе систем безопасности да

освещение. Также используется сеть беспроводных датчиков движения, где

некоторые из них объединяются с контактными датчиками на дверях.

Инфракрасные датчики близости от Motionwireless используются

системой In-HomeMonitoring (IMS). Или датчики движения могут

использоваться в Smart Houses для обнаружение безопасности да падение

для людей наклонного возраста, отслеживание пользователей да анализа

поведенческих моделей.

В Университет охраны здоровья да науки штата Орегон

инфракрасные датчики движения использовались для разработки системы

регистрации движения населённых пунктов. Эти инфракрасные датчики

размещены в каждому корпусе микросетки. Дверь также имеют магнитные

контактные датчики для "отслеживание потока посетителей" или для

контроля за тем, или кто-то есть в дома.

Однако недостатком есть то, что жителям нужно идентифицировать

идентификатор радиочастот (RFID) для подключения к получателю для

идентификации. Этот недостаток также усугублялся тем, что в доме 18 раз

было больше одного человека, каждый человек должен был быть помечен

RFID, чтобы можно было узнать, где эта человек находится. Несколько

объектов можно идентифицировать, одновременно анализируя вес объекта.

Ультразвуковые датчики используются также для обнаружения

движения. Система Gator MicroGrid использует ультразвуковые датчики

для обнаружение движения, ориентации и информации о местоположении

взрослых людей в MicroGrid. Несколько приемников позволяют

устанавливать разные расстояния для каждого приемника, определяя

таким образом точное

местонахождение. Датчики для определение камеры да движения могут

работать вместе в нескольких сценариях. При реализации распределенной

сети интеллектуальных камер, функции которой заключались в

локализации и обнаружении падений пользователей. В системе

используются маломощные камеры с датчиками класса Mote (узлы

сенсоров), создавая инфраструктуру беспроводной сети.

Кроме того, камеры используют децентрализованную процедуру

обнаружение пади. Другой пример использование камер - это те, которые

случайно принимают изображение окружающей среды.

Сделанные изображения используются для обнаружения

"соответствующей информации": например, если человек спит, это

происходит через отсутствие движения. Небольшие камеры с низкой

раздельным способностью (например, 352-288 пикселей) являются

лучшими в MicroGrid, поскольку они просты в использовании, требуют

низкой раздельной способности да низкой мощности и легко

подключаются к источнику питания для обработки. Кроме того, камеры

использовали децентрализованный процесс обнаружения неисправностей.

Датчики для обнаружения лихорадки были разработаны для

измерения температуры на основе анализа термических изображений

Детекторы лихорадки используют термическую камеру, какую можно

разместить в любому месте MicroGrid (над кроватью, в ванной комнате).

Другой проект использует датчики, помещенные в комнату

для локализации человека с помощью Impulse-Radio Ultra-WideBand (IR-

UWB). Базовая станция использовалась для получение датчиков данных да

координат отметки. Используя оценку, включенную IR-UWB, для оценки

расстояния к отметки, используя алгоритмы объемного времени

(RTT).

Логический механизм планирования сна на основе корреляции

(LCSSM) был внедрен для уменьшение энергопотребление беспроводных

SN. В другому исследовании был реализован маломощный низкочастотный

полосовой интегрированный КМОП-фильтр для пассивных инфракрасных

(Passive Infra-red - PIR) датчиков в беспроводных SN, что также уменьшает

потребление электроэнергии. PIR также использовались вместе с

sensorsflexifore в MicroGrid для обнаружения занятости человека в

объектах (диван, туалет, кровать, стулья и т.д.). Датчики Flexiforce были

реализованы с динамическим порогом в режиме реального времени, чтобы

обеспечить более точное чтение выходного сигнала датчика.

Другие проекты также используют смартфоны, для определение

активности человека посредством интегрированного акселерометра,

гироскопа, GPS и камеры.

Акселерометры в наручных часах используются для мониторинга

двигательной активности. Главная идея состоит в поэтому, чтобы

определить основные движения человека (лежать, сидеть, стоять, ходить,

бегать, подниматься или спуститься вниз, работать на компьютере).

Собранный сигнал посылается на персональный сервер через

радиочастотный связь.

Korel and Koo являются разработчиками систем о контекстном

осмыслении с использованием сенсорных сетей тела (Body Sensor Network

- BSN) для постоянного мониторинга пациентов, чтобы выявить

угрожающие аномалии жизни. Пациент носит или имеет

имплантированный устройство для контроля любого физиологического

параметра (например, артериального давления, пульса). Исследование

сосредоточено на контекстно-осмысленном зондировании да сравнить

байесовских сетей, искусственных нейронных сетей да скрытых

марковских моделей.

Похожий метод контекстного осмысления и в этой работе для

выявления аномальных поведенческих моделей человека у MicroGrid.

1.3. Активность человека в MicroGrid

Люди придерживаются определенных моделей в своей повседневной

жизни. В контексте MicroGrid ежедневная деятельность пользователя

создает шаблоны, которые играют важную роль в прогнозировании

будущих событий. Назначение интеллектуального пользовательского

интерфейса заключается в формировании MicroGrid как модели

повседневной жизни; Поэтому микросеть должна находить повторяющиеся

шаблоны в действиях пользователя да предусматривать поведение

пользователя для дальнейшей помощи [8]

.Мониторинг активности пользователей используется для

наблюдение и регистрации действий лица, с целью достижения целей

комфорта да эффективности, которые MicroGrid может предложить.

Поэтому необходимо обеспечить способность к изучению и применению

полученных знаний, адаптации системы управления Microgrid к поведению

пользователя. Поскольку пользователь создает шаблон, ненормальная

поведение пользователей может быть обнаружена путем постройки

обычного поведенческого изображения пользователя. Как правило,

датчики да фотоаппараты в MicroGrid используются для отслеживание или

идентификации деятельности пользователя да анализа поведения людей

Наблюдение за поведением пользователя используется для

прогнозирование его дальнейшей активности. исследование в направлении

обнаружение нетипичных (аномальных) поведенческих моделей человека

есть актуальными для систем психофизиологического мониторинга

пожилых людей, лиц, что нуждаются постоянного надзора да

попечительство, находятся в постстрессовых состояниях, находятся под

влиянием чрезвычайных или экстремальных ситуаций.

Таким образом, разработка методов распознавания активности

человека в MicroGrid основывается на алгоритмах интеллектуального

управления к которым, в частности относятся и алгоритмы машинного

обучение. Алгоритмы искусственного интеллекта, алгоритмы машинного

обучения и методы выведения данных используются для моделирование да

прогнозирование поведения пользователя.

Учитывая значительные различия в поведенческой деятельности

между разными людьми и одним и тем же человеком в разные дни,

чрезвычайно важно построить схемы тренировок, на основе которых

тренируется система. Полнота да адекватность обучающих схем есть

Гарантией надежных результатов.

Информационная инфраструктура современных комплексов

MicroGrid оснащена огромным количеством датчиков, фиксирующих

разные типы событий и образуют информационную картину

функционирования технических устройств и подсистем, а также

перемещение и действия человека Количество срабатываний n

двухпозиционных датчиков (что фиксируют бинарные события типа

«вкл/выкл») можно рассчитать[11].

Выводы

Наличие человеческого фактора в MicroGrid приводит к

необходимости оперирование большими объемами данных, что заставляет

исследователей обращаться к специализированных методов работы с

большими данным (Big Data).

Среди совокупности методов машинного обучение наиболее

подходящим есть метод детектирования аномалий (Anomaly Detection),

который был выбран для определение нетипичных моделей поведения

человека (аномальной поведения) в MicroGrid.

РАЗДЕЛ 2

ОБЗОР ВЕТКИ ANOMALY DETECTION И

СУЩЕСТВУЮЩИХ Алгоритмы В MACHINE

LEARNING

2.1. Существующие методы Machine Learning

Информационно-управляющая система MicroGrid нуждается

мощного инструментария информационной поддержки для обеспечения

сбора обработки да прогнозирование больших объемов разнотипных

данных[9].

Важным частью таких решений есть модуль анализа данных, какой

реализует алгоритм выполнения процесса анализа и установления связи

между событиями. За помощью этих моделей данных система микросетей

должно предусматривать поведение пользователя на основе исторических

данных и развивать осведомленность о да так называемые ситуации, есть

понимать намерение пользователя в определен время да изменять

параметры режима работы устройств и подсистем.

На рис 2.1 изображена классификационная схема схема методов

Machine Learning.

Рис. 2.1 Методы Machine Learning

В данной работе для формирование поставленной цели было выбрано

ветку Anomaly Detection рис 2.1.

Существующие методы Anomaly Detection:

1. LOF (Local Outlier Factor);

2. SVM (Support Vector Machine);

3. SVDD (Support Vector домашний Description);

4. PCA (Principal component analysis).

Рассмотрим эти методы более подробно с точки зрения их

недостатков и преимуществ при решении задачи выявления аномального

поведения человека с MicroGrid.

2.2. Обзор существующих методов Anomaly

Detection LOF (Local Outlier Factor)

Местный уровень выбросов Маркус М. для поиска противоречивых

точек данных путем измерения локального отклонения данной точки

данных на основе соседей. Алгоритм обнаружения несоответствий,

предложенный в 2000 Бронигом, Гансом-Питером Крайгелем, Реймондом

Т и Сандером Джорджем

Этот метод основан на оценке плотности размещения объектов

исследуются на предмет выбросов. Предметы в районах с самой маленькой

плотностью трактуются как выбросы. Преимущество метода LOF перед

другими методами работы с объектами высокой плотности состоит в том,

что LOF принимает да звону локальную плотность". Поэтому LOF

успешно обнаруживает разногласия, когда выборка содержит объекты

разных классов, которые нет есть разногласиями. На рис 2.2 показан

пример, когда объекты учебной выборки принадлежат двум классам