Capitolul 1. Introducere
Limbajul natural este un fenomen extrem de complicat. El se dezvolta incet si treptat de-a lungul unei perioade indelungate de timp, aparent pentru a optimiza comunicarea dintre oameni.
In limbajul natural, apare o mare incidenta a variatiei si incertitudinii. Cea mai mare sursa a variatiei este data de continutul mesajelor. In plus, fiecare mediu de transmisie a limbajului natural este supus la zgomote, distorsiuni si pierderi.
Datorita acestor incertitudini se naste nevoia unui model lingvistic. Cea mai importanta utilizarea a modelelor lingvistice este aplicarea in recunoasterea automata a actelor de vorbire, unde un computer este folosit pentru a pune textul intr-o forma acceptabila. Limbajul natural poate fi vazut ca un proces stohastic. Fiecare cuvant, enunt, document sau alt nivel al vorbirii este tratat ca fiind o variabila aleatoare cu o anumita probabilitate de distributie. Daca W=w1w2…wn reprezinta o secventa de n cuvinte, scopul modelului lingvistic este de a calcula probabilitatea P(W).
O metoda de a calcula aceasta probabilitate este de a considera o regula de tip lant, in care cuvintele de la un anumit moment depind de cele dinaintea lui.
In lucrarea de fata se inceaca o abordare de acest gen. Se doreste sa se ajunga la recunoasterea actelor de vorbire din texte de tip chat care au un anumit format, recunoastere bazata pe identificarea unor modele lingvistice ale textelor si pe gasirea unor cuvinte-cheie specifice fiecarui act de vorbire in parte.
Initial se incearca obtinerea unui model lingvistic prin aplicarea unor tehnici de invatare asupra unor texte adnotate manual si prin folosirea unui model Markov ascuns, iar dupa aceea se incearca recunoasterea actelor de vorbire din texte neadnotate pe baza modelului obtinut in pasul anterior si a identificarii unor cuvinte-cheie specifice pentru fiecare act de vorbire in parte.
Capitolul 2. Notiuni referitoare la dialog
Intelegerea limbajului natural din transcrierea dialogurilor ridica probleme specifice fata de textele obisnuite, deoarece dialogul are cateva caracteristici care ingreuneaza acest lucru.
Una din principalele caracteristici ale dialogului este structura sa bazata pe replici (turn-taking), fiecarui participant venindu-i randul la un moment dat sa spuna ceva.
Problema este cum isi dau seama participantii cand este randul lor sa vorbeasca. Pentru aceasta, exista o regula care sa modeleze aportul participantilor la un dialog:
1. daca in timpul replicii curente, cel ce vorbeste specifica faptul ca un anumit participant la dialog trebuie sa vorbeasca in continuare, atunci acela este cel ce va urma;
2. daca vorbitorul curent nu specifica nici o persoana ca fiind urmatorul vorbitor, atunci oricine poate sa continue;
3. daca nimeni nu preia rolul de vorbitor in momentul in care vorbitorul curent a terminat ceea ce avea de spus, atunci vorbitorul curent poate sa continue.
Prima parte a regulii are o importanta deosebita, deoarece subliniaza faptul ca exista anumite tipuri de replici prin care un vorbitor poate sa selecteze cine va fi urmatorul vorbitor. Cele mai frecvente replici de genul acesta sunt intrebarile la care vorbitorul selecteaza o anumita persoana sa ii raspunda. Astfel de constructii se numesc perechi de adiacenta.
Aceasta regula scoate in evidenta si un alt aspect al dialogurilor: linistea dintre doua replici consecutive. In general, timpul de latenta dintre doua replici consecutive este foarte mic si de aceea, in momentul in care se intalnesc momente de tacere mai indelungate, pot exista anumite cauze care le genereaza. In cazul perechilor de adiacenta, daca intervine o pauza intre cele doua replici componente ale acesteia, se poate trage concluzia ca a existat un anume disconfort in a raspunde la prima replica. In afara acestor perechi de adiacenta, incidenta momentelor de liniste este mai putin semnificativa.
O alta caracteristica foarte importanta a dialogurilor este aceea ca ele sunt destinate vorbirii, ceea ce duce la o serie de diferente fata de textele scrise. Aceste diferente se refera la structura replicilor: acestea tind sa fie mai scurte, de tip propozitie simpla (si nu fraza ca in textele scrise), iar subiectele replicilor sunt de cele mai multe ori pronume si nu substantive. Acest lucru duce la o crestere a greutatii de segmentare a dialogurilor, deoarece pot exista cazuri in care o replica se poate intinde pe mai multe ture, precum si cazuri in care o tura cuprinde mai multe replici. Pentru a putea segmenta un dialog, se aplica algoritmi bazati pe identificarea limitelor dintre replici, cautandu-se diferite indicii in acest sens: cuvinte-cheie (cuvinte ce tind sa apara la inceputul sau sfarsitul unei replici); modele de cuvinte N-gram (care pot fi antrenate pe un set de replici adnotate in care se specifica limitele fiecareia dintre ele, iar apoi, prin aplicarea unui decodificator, sa se gaseasca succesiunea de limite cea mai probabila pe un text neadnotat); prozodie (diferenta de intonatie, accentul, duratele unor fraze).
O alta caracteristica importanta a dialogurilor este ca intre participanti se stabileste un scop comun. Adica, cei care participa la dialog, trebuie intr-un fel sau altul sa aprobe sau sa motiveze ceea ce spune vorbitorul. Daca aceste replici aprobatoare nu apar, inseamna ca s-a intamplat ceva in intelegerea a ceea ce vorbitorul a spus.
Ultima carcateristica importanta a dialogurilor consta in modul de interpretare a replicilor. Interpretarea nu se face doar in sensul propriu al cuvintelor. Acest lucru a fost semnalat de Grice in lucrarea sa referitoare la implicaturile conversationale. El a subliniat faptul ca ascultatorii sunt indemnati sa inteleaga replica in alte sensuri decat cel propriu, daca nu sunt respectate anumite maxime:
• Maxima cantitativa – fii exact atat de informativ pe cat este necesar;
o Contributia ta trebuie sa fie atat de informativa pe cat este necesar;
o Nu spune mai mult decat este necesar;
• Maxima calitativa – incearca sa aduci o contributie adevarata;
• Maxima relevantei – fii relevant;
o Nu spune lucruri pe care nu le crezi adevarate;
o Nu spune lucruri pe care nu poti sa le demonstrezi;
• Maxima ce tine de maniera – fii perspicace;
o Evita obscuritatea expresiilor;
o Evita ambiguitatea;
o Fii concis;
o Fii ordonat;
Capitolul 3. Acte de vorbire
3.1 Adnotarea actelor de vorbire
Teoria actelor de vorbire a fost introduse de Austin. El a intuit ca o replica a unui dialog este un fel de actiune executata de catre vorbitor. Tot el a observat ca unele verbe descriu o stare de fapt, iar Austin le-a numit acte constatative, in timp ce altele au ca efect schimbarea unei stari de fapt sau efectuarea unor actiuni. El le-a numit pe acestea din urma acte performative, iar actiunile ce sunt descrise de astfel de verbe, acte de vorbire. Termenul de acte de vorbire este in general utilizat pentru a descrie acte ilocutionale.
Plecand de la ideile lui Austin, Searle a dezvoltat teoria actelor de vorbire, specificand ca acestea pot fi impartite intr-una din urmatoarele clase:
• ilustrative, care reprezinta o stare de fapt: asertiuni, descrieri;
• comisive, care implica vorbitorul intr-un curs viitor de actiuni: promisiuni, amenintari;
• directive, ce atrag atentia asupra efectuarii unei actiuni: comenzi, cereri;
• declaratii, care aduc o anumita stare de lucruri: denumire, arestare, casatorie, binecuvantare;
• expresive, care indica starea psihologica sau atitudinea mentala a vorbitorului: felicitari, multumiri, scuze;
• verdicative, care dau o apreciere: judecata, iertare.
O incercare recenta de a dezvolta schemele de adnotare a actelor de vorbire este arhitectura DAMSL (Dialog Act Markup in Several Layers) care codifica pe diferite nivele informatiile referitoare la replicile unui dialog. Doua dintre aceste nivele, functia de anticipare (FLF, in engleza, “forward looking function”) si functia de adaptare regresiva (BLF, in engleza, “backward looking function”) sunt extensii ale actelor de vorbire ce extrag notiuni legate de structura dialogului cum ar fi perechile de adiacenta sau notiunile de grupare.
