# Система управління експертними опитуваннями. Аналіз предметної області

# Вступ

У цьому документі розглядаються основні визначення, підходи та способи вирішення завдань і порівняльня характеристика існуючих засобів вирішення завдання, що відносяться до систем управління експертними опитуваннями.

# Основні визначення

# Експерт

Експерт[1] — особа, якій доручено провести дослідження матеріальних об'єктів, явищ і процесів, що містять інформацію про обставини справи, і дати висновок з питань, які виникають під час розгляду справи й стосуються сфери її спеціальних знань.

# Експертний потенціал

Основні показники експертного потенціалу: [1]

Високий рівень інтелекту
Значний досвід роботи
Визнання колег
Активна наукова діяльність
Існування публікацій у престижних виданнях
Престижна освіта
Високий особистий статус

# Експертне оцінювання та його методи

Експертне оцінювання[2] — метод отримання узагальненої інформації шляхом оцінювання ситуації, події чи явища групою незалежних експертів.

Методи експертних оцінок:

Експертні методи оцінювання[3] — це спосіб прогнозування та оцінки майбутніх результатів дій на основі прогнозів фахівців. Вони здійснюються в єдності з іншими методами оцінювання і поділяють на кількісні та якісні:[4]

Вправи дилетантів[4]. Низький за кваліфікаційним рівнем та називається «вправи дилетантів». Сутність його в тому, що будь-яке педагогічне явище (методична розробка, інноваційні технології, інтерактивний метод навчання, нетрадиційна форма навчання або виховання тощо) пропонується оцінити членам педколективу, які не мають високої кваліфікації.
Мозковий штурм[4]. Середній — називається «мозковий штурм», що означає: оцінювання здійснюють педагоги високої кваліфікації, але які не виконували функції управлінців.
Оцінка експертів[4]. Високий — здійснюють експерти, тому вони не тільки мають достатній досвід управлінської діяльності, а й у процесі оцінювання «проєктів» (попередніх прогнозів) чи здобутих результатів у певній діяльності вміють використовувати широкий арсенал як кількісних, так і якісних методів оцінювання.

# Анкета

Анкета[5] — структурно організований набір запитань, кожне з яких логічно пов'язане з основною метою дослідження, отримання інформації відбувається шляхом опитування респондентів.

Побудова анкети повинна складатися з чотирьох частин:

I) Вступна[5]: у першій частині анкети пояснюється мета дослідження, гарантується анонімність відповідей, дається інструкція щодо заповнення, підкреслюються важливість та цінність відповідей респондента.

II) Демографічна[5]: в цій частині фіксуються вікові, статеві, етнічні, соціально-статусні, професійні, освітні, сімейно-шлюбні, соціально-поселенські та інші ознаки респондента.

III) Основна[5]: складається з набору запитань, відповіді на які передбачають виконання завдань дослідження. Ця частина анкети за змістом найбільш вагома та складна. Запитання повинні враховувати психологічні особливості респондентів. Запитання складають блоками, у чіткій логічній послідовності. Головна мета запитань анкети полягає в тому, щоб зацікавити респондента, включити його поступово в процес співпраці з анкетою.

IV) Завершальна[5]: остання частина анкети передбачає подяку респондентам та, можливим є, побажання на майбутнє.

Оформлення[6]:

Суттєве значення має і зовнішній вигляд анкети. Анкета сприятливо впливає на респондента в тому випадку, коли в поліграфічному відношенні вона виконана якісно.

Сірий папір, невиразний шрифт підсвідомо відштовхують респондента, а якщо в анкеті траплятимуться граматичні чи стилістичні помилки, значна частина опитуваних іронічно й зневажливо поставиться до заповнення анкети.

В анкеті мають бути абзаци, курсиви, тобто підкреслення особливо важливих її моментів, інтервали і відступи між запитаннями і варіантами відповідей. Тексти запитань і тексти варіантів відповідей повинні мати різний шрифт (жирний в текстах запитань і звичний в текстах відповідей).

Значну роль у графічному оформленні відіграють ілюстративні матеріали, вказівні стрілки. Вони знімають втому, пояснюють зміст запитання, вказують на перехід до нової теми тощо.

Важливим також є наявність (в дужках після тих чи інших запитань) різного роду інструктивних вказівок та орієнтирів. Наприклад, «Можете підкреслити кілька варіантів відповіді», «Підкресліть один варіант відповіді», «Всі, хто підкреслив варіант 2 попереднього запитання, переходять до 26 запитання» та ін.).

Нумерація запитань і варіантів відповідей повинна бути в єдиній цифровій системі. Недоречним буде нумерацію запитань робити римськими цифрами, а нумерацію варіантів відповідей — арабськими чи навпаки, або замість цифрової нумерації застосовувати нумерацію літерами.

Види запитань в анкетах

1. За змістом[5]:

особистісні (стать, вік, професія, освіта і т.д.);
про факти свідомості (думки, враження, судження, мотиви і т.д.);
про факти поведінки (результати діяльності, вчинки, дії і т.д.).

2. За формою відповідей[5]:

закриті (містять повний набір можливих варіантів відповіді);
дихотомічні (відповіді так/ні);
поліваріативні (є декілька варіантів відповіді);
шкальні (наприклад, повністю згоден/згоден/частково згоден/не згоден);
табличні;
напівзакриті (містять певні варіанти відповіді, але можна також внести власну);
відкриті (передбачають самостійну та розгорнуту відповідь респондентів).

3. За сформованістю запитання[5]:

прямі (спрямовані на безпосереднє та відкрите отримання інформації від респондентів);
непрямі (пов'язані з використанням якоїсь уявної ситуації, яка дозволить приховано дізнатись певну інформацію).

4. За функціями[5]:

інформаційні (основні);
фільтри (використовують у випадку, якщо потрібно зібрати інформацію не від усіх респондентів, а від певної категорії);
контрольні (дають можливість уточнити правильність відповіді респондента).

# Підходи та способи вирішення завдання

Існує кілька основних методів вирішення завдання такого типу.

Метод «мозкового штурму».[7] Цей спосіб є найбільш відомим та розповсюдженим методом колективного прийняття творчих рішень. Він полягає у процесі генерування та створення власних ідей на задану тему, які учасники можуть пропонувати несподівано та спонтанно. Такий метод базується на гіпотезі, що при звичайному
обговоренні, людина обдумує та відкидає занадто багато ідей, які потенціально могли б стати успішними. Гальмівний вплив надають боязнь невдачі, страх виявитися смішним і т.д. А в методі «мозкового штурму» людина не встигає проаналізувати всі думки та може надати раціональне розв'язання проблеми або корисну новаторську ідею.
Метод незалежних характеристик.[8] Такий метод дає можливість загалом оцінити певне явище, у випадку якщо інформація про нього міститься у багатьох незалежних джерелах. Цей метод виконується в три етапи. По-перше, ми повинні зіставити та порівняти різні думки. По-друге, слід обробити їх виконавши математико-статистичні обчислення та процедури. І після цього можна переходити до третього етапу - формулювання істинних висновків. Метод незалежних характеристик широко використовується у вивченні психології людини. Прикладом ефективності цього методу є дослід коли кількох людей, добре знайомих з чимось або кимось, просять схарактеризувати це за певними критеріями, а після цього аналізують результати та узагальнюють інформацію в інтегральний показник. У колективній оцінці суб'єктивні відхилення взаємознищуються за рахунок великої кількості людей, що забезпечує об'єктивний, науково обґрунтований результат.
Метод "Дельфі".[9] Ця методика спрямована на удосконалення процесу прийняття оцінок, з метою отримання результатів, використовуючи не математику і статистику, а людей, які приймають остаточне рішення орієнтуючись на думку інших. Якщо потрібно корегуючи її, підсилюючи свою аргументи або відмовляючись від гіршої ідеї на користь кращої та більш обґрунтованої. Використовуючи цю техніку, можна знизити вплив некомпетентних учасників на групову оцінку, таке явище також можна побачити при простому анкетуванні. Воно досягається за рахунок отримання інформації від більш компетентних та досвідчених експертів.

Він має досить багато варіацій, але в цілому його можна описати наступним чином:
- Формується група (як правило з експертів, але в окремих випадках можуть бути залучені люди, які не є експертами), причому важливо те, що ці люди не спілкуються безпосередньо один з одним.
- Кожному члену групи пропонується анонімно висловити пропозицію відносно проблеми, з якої потрібно прийняти рішення.
- Після чого кожен член групи отримує загальний звіт про висловлені припущення. В деяких випадках перераховуються всі пропозиції.
- На підставі отриманого звіту учасникам знову пропонується висловити свої думки. Подібні цикли повторюються або протягом встановленого часу, або до того часу, поки узагальнений звіт перестане змінюватися, що означатиме, що кожен член групи залишився при своїй думці.
Перевагою цього метода є:
- анонімність експертів (учасники експертної оцінки не знайомі один з одним);
- використання результатів попереднього туру опитування (із анкет вибирається необхідна інформація);
- статистичний характер групової відповіді (відображення точки зору більшості).
- Основний недолік методу: вплив думки більшості на експертів, які дали крайні оцінки, у наступних за першим туром ітераціях.

# Порівняльна характеристика існуючих засобів вирішення завдання

# Google Forms

Google Forms[10] — програмне забезпечення для адміністрування опитування. Додаток дозволяє користувачам створювати та редагувати опитування в Інтернеті, співпрацюючи з іншими користувачами в режимі реального часу. Зібрану інформацію можна автоматично внести в електронну таблицю.

# SurveyMonkey

SurveyMonkey[11] — компанія з experience management-у , яка пропонує хмарне програмне забезпечення для підтримки сервісних рішень у аналізі бренду, ринку, досвіду роботи з продуктами, досвіду співробітників, досвіду клієнтів, розробці онлайн-опитувань та наборі платних програм.

# Survio

Survio[12] — зручна та проста в використанні онлайн-система опитування для підготовки анкет, збору, аналізу даних та обміну результатами. Також включає в себе інструменти для поширення і повного аналізу відповідей, зібраних під час опитування.

# SurveyJS

SurveyJS[13] — безкоштовна бібліотека веб-розробок з відкритим вихідним кодом для веб-додатків статистичних опитувань, написаних на JavaScript. Бібліотека підтримує кілька популярних фреймворків, включаючи Angular 2, jQuery, Knockout (веб-фреймворк), React.js, Vue.js.

# Система “ОСА”

Система “ОСА”[14] — програмне забезпечення у відкритому доступі, створене для обробки та аналізу даних соціологічних та маркетологічних досліджень, що була створена у 1989 році за підтримки Інституту соціології НАН України.

# Порівняльна характеристика існуючих засобів вирішення завдання

✅ - наявний функціонал;

❌ - відсутній функціонал;

Критерії	Google Forms[10]	SurveyMonkey[11]	Survio[12]	SurveyJS[13]	Система “ОСА”[14]	Наш проект
Можливість використання без попередньої реєстрації	✅	❌	❌	✅	✅	✅
Інтуїтивно зрозумілий інтерфейс	✅	✅	✅	❌	❌	✅
Мова інтерфейсу	UKR/ENG/RUS	ENG/RUS	ENG/RUS	ENG	UKR/RUS	UKR/ENG
Наявність шаблонів форм опитування	✅	2 безкоштовні шаблони	✅	❌	❌	✅
Можливість поширити опитування через соц. мережі	✅	✅	✅	❌	❌	✅
Ліміт на відповіді в опитуваннях (безкоштовна версія)	❌	40 на місяць	100 на місяць	❌	❌	❌
Наявність всього функціоналу безкоштовно	✅	❌	✅	✅	✅	✅
Захист інформації	Надійна компанія, за весь час існування не було жодного випадку витоку даних.	Тільки власник опитування має доступ до результатів, що дозволяє зберегти всю інформацію конфіденціальною.	Мають свою систему групування та зберігання. інформації. Випадків втрати даних не було.	Відсутність негативних відгуків на наявність збою.	Інформація зберігається на пристрої користувача.	Вся інформація захищена.
Види опитувань	Варіанти відповідей, прапорці, власна відповідь, можливість додати фото, діаграми, відео, тексту, імпортувати запитання	Таблиці, можливість додати текст, відео, фото, підказку	Можливість вибрати декілька варіантів відповідей, прапроці, можливість додати логотип, вибір зображення, відповіді у вигляді матриці, оцінювання у вигляді рейтингу, можливість додати текст, відео, фото, підказку	Декілька варіантів відповідей, прапорці, власна відповідь, відповіді у вигляді матриці, оцінювання у вигляді рейтингу, вставка коду, можливість вставити текст, відео, фото, підказку	Варіанти відповідей, прапорці, власна відповідь, вибір зображення, оцінювання у вигляді рейтингу	Варіанти відповідей, прапорці, власна відповідь, вибір зображення, оцінювання у вигляді рейтингу
Результати опитувань	Загальні результати, діаграми результатів, відповіді окремих респондентів	Загальні результати, відповіді окремих респондентів, аналітика відповідей	Загальні результати, діаграми відповідей, відповіді окремих респондентів, історія відвідувань опитування	Загальні результати, діаграми відповідей, відповіді окремих респондентів, можливість поширити відповіді	Загальні результати, діаграми відповідей, відповіді окремих респондентів	Загальні результати, діаграми відповідей, відповіді окремих респондентів
Наявність зворотнього зв'язку	✅	✅	✅	✅	❌	✅
Час існування проекту	2014	1999	2012	2015	2004	2021
Вартість користування	Безкоштовно	Безкоштовно, є платна версія (від 30€)	Безкоштовно, є платна версія (від 17$)	Безкоштовно, є платна версія (від 199€)	Безкоштовно	Безкоштовно
Можливість формування та управління експертними групами, процесом опитування	❌	У платній версії	У платній версії	У платній версії	✅	✅
Режими роботи (реалізація методів експ. опитування)	Дельфі	Дельфі	Дельфі, у платній версії ще й мозкова атака	Дельфі, у платній версії ще й мозкова атака	Делфі	Делфі

# Висновки

Дослідив усі сервіси зі списку, можна з упевненістю виділити, так би мовити, фаворита серед них. Не дивно, це система організації та управління експертними опитуваннями від корпорації “Google”. Але фаворитом його назвати можна лише через найбільшу кількість користувачів. Сервіс пропонує юзер-френдлі інтерфейс користувача, що робить його використання дуже простим та інтуїтивно зрозумілим. Такі результати були досягнуті великою кількістю прийнятих виборів за користувача, що стало причиною бідності функціоналу у порівнянні з системами конкурентів. Google Forms користується попитом серед людей різних категорій, але не всіх. Такі сервіси як Survey Monkey та Survio зайняли цей ринок, ринок людей, яким недостатньо того, що пропонує Google. Ці сервіси у свою чергу відрізняються різноманітнішим функціоналом та наявності платних функцій. Останній, не без причини, сервіс у списку - “OCA”. Сервіс технічно і морально застарів. Його все ще технічно підтримують, та навіть випускають оновлення, але у реаліях де твій конкурент - гугл дуже важко з таким “легасі” щось протиставити. Але різноманіття функціоналу там може вразити, тож і ця платформа платформа користується попитом у певній аудиторії.

Тож, підбиваючи підсумки, у кожного сервісу є своє призначення та місце на ринку. Виділити найкращий неможливо. Кожен відповідає потребам цільової аудиторії. Тут палка з двома кінцями - зробити шалений функціонал на шкоду простоті та інтуїтивності. Маючи досвід, проблематику та готові рішення на ринці, ми спробуємо створити власний, збалансований проект який задовільнить більший спектр користувачів.

# Посилання

← Вступ Запити зацікавлених осіб →