Институт Демократика го претстави првиот отворен RAW датасет од финансирани проекти на Европската Унија, Светска банка и УНДП. Овој ресурс е резултат на тримесечна посветена работа на нашите тимови – од скрејпинг и чистење на податоци, до напредна синтетичка аугментација со помош на најсовремени големи јазични модели (LLM).
Датасетот содржи богати и детални информации за секој проект, вклучувајќи наслови, акроними, цели и буџети, податоци за донатори и институции кои ги спроведуваат активностите, како и географски ознаки со држави, региони и ISO кодови. За секој проект е документирана структура на активности, испораки и резултати, а дополнително се вклучени и официјални документи и комуникациски материјали. Со помош на LLM е генерирано извршно резиме кое дава концизен преглед на проектот, како и синтетички описи на активности, испораки и резултати кои ја прикажуваат неговата суштина и импакт. Датасетот содржи и кратки дескриптори што овозможуваат полесно пребарување и категоризација, што го прави ресурс кој не е само листа на проекти, туку целосна база со длабински информации погодни за истражување, анализа и развој на напредни AI апликации.
12GB
Големина на дата сет
5 милиони
Записи
70,000
Финансирани проекти
Како е создаден?
- Скрејпинг: податоците се собрани во период од 3 месеци од повеќе извори.
- Нормализација и чистење: отстранување на дупликати, исправка на неусогласени формати и стандардизација.
- Синтетичка аугментација со LLM: за секој проект се генерираа:
- Извршно резиме
- Активности
- Испораки (Outputs)
- Резултати
На овој начин, секој проект е збогатен со дополнителен контекст и структуриран опис, што го прави датасетот непроценлив за истражување и практична примена.
За што може да се користи?
Овој датасет отвора нови хоризонти. Тој е корисен за:
- Истражувачи и академици: анализа на трендови во финансирањето, мерење на импакт и споредба по сектори.
- Новинари и истражувачко новинарство: откривање на поврзаности меѓу проекти, институции и донатори.
- НВО и граѓански организации: идентификување на можности за нови иницијативи и подобрување на транспарентноста.
- Владини институции: подобро координирање и следење на ефектите од странските инвестиции.
- AI заедницата: како богат извор на податоци за тренинг и тестирање на модели за natural language processing и knowledge graph апликации.
Преземање на датасетот
Датасетот е достапен за бесплатно преземање. За да добиете пристап, ве молиме пополнете ја формата подолу.
По пријавувањето, ќе добиете линк на е-маил за преземање на целиот датасет.
Примерок
За брз увид, подготвивме и демо датасет со дел од податоците: https://cloud.zemi.mk/s/QWjEWafwEFfgsSA
Поглед кон иднината: Politus.AI
Овој датасет е само првиот чекор. Нашата визија продолжува со развој на Politus.AI – AI-powered платформа за креирање и усовршување на проектни предлози и законодавни текстови. Тренингот се базира на сопствен dataset од над 5 милиони структурирани записи од вистински ЕУ проекти и законодавни амандмани.
Politus.AI ќе овозможи:
- Интелигентна поддршка при drafting на ЕУ проектни апликации.
- Подобрување и корекција на законодавни текстови.
- Автоматизирано споредување со претходни проекти и амандмани.
- Поголема прецизност, транспарентност и ефикасност во донесувањето одлуки.
Креатор на датасетот: Столе Китановиќ, Претседател на Институт Демократика.
