Modele ewaluacji poprawności danych lingwistycznych pozyskanych metodą crowdsourcing
Loading...
Date
2023
Authors
Advisor
Editor
Journal Title
Journal ISSN
Volume Title
Publisher
Title alternative
Models for evaluating the correctness of linguistic data obtained using crowdsourcing
Abstract
Crowdsourcing pozwala na wykorzystanie zbiorowej inteligencji dużej grupy ludzi do rozwiązywania zadań z dziedzin takich jak sztuczna inteligencja, uczenie maszynowe i rozwój badań naukowych za pośrednictwem platform internetowych. Współcześnie badania nad rozwojem metody crowdsourcingu skupione są przede wszystkim w trzech obszarach: optymalizacji jakości pozyskanych danych, optymalizacji kosztu procesu oraz optymalizacji czasu trwania procesu. Niniejsza rozprawa skupia się na zagadnieniach związanych z optymalizacją jakości procesu crowdsourcingu dla zadań dotyczących danych lingwistycznych. Praca opisuje autorski model Dynamicznej Informacji Zwrotnej (DIZ), którego zadaniem jest generowanie informacji zwrotnej w sposób automatyczny. Rozprawa weryfikuje skuteczność tego modelu dla danych empirycznych oraz danych symulacyjnych. Analiza wyników przeprowadzonego eksperymentu wykazuje skuteczność modelu DIZ w poprawie jakości generowanej informacji zwrotnej, jednak jakość tego rozwiązana jest zależna od jakości oznaczeń tworzonych przez anotatorów.
Crowdsourcing uses the collective intelligence of a large group of people to solve tasks in fields such as artificial intelligence, machine learning and scientific research development through online platforms. Nowadays, research on the development of the crowdsourcing method is focused primarily in three areas: optimization of the quality of acquired data, optimization of the cost of the process and optimization of the duration of the process. This dissertation focuses on issues related to optimizing the quality of the crowdsourcing process for tasks related to linguistic data. The work describes the author's Dynamic Feedback Model, whose task is to generate feedback automatically. The dissertation verifies the effectiveness of this model for empirical and simulation data. The analysis of the results of the experiment shows the effectiveness of the author's model in improving the quality of the generated feedback, but the quality of this solution depends on the quality of the markings created by annotators.
Description
Wydział Matematyki i Informatyki
Sponsor
Keywords
crowdsourcing, obliczenia ludzkie, nauczanie maszynowe, przetwarzanie języka naturalnego, human-based computation, machine teaching, natural language processing