Coraz więcej dostawców rozwiązań AI dla biur obsługi klienta (contact/call center) oferuje funkcje automatycznego rozpoznawania emocji rozmówców. System analizuje ton głosu, tempo wypowiedzi czy głośność nagrania i na tej podstawie ocenia poziom frustracji, zadowolenia lub zaangażowania klienta.
Z perspektywy biznesowej może to wyglądać jak narzędzie poprawiające jakość obsługi. Z perspektywy AI Act[1] i RODO pojawia się jednak szereg pytań dotyczących legalności takiego przetwarzania.
AI analizuje głos pracownika – tutaj pojawia się zakaz
Jedna z najważniejszych zasad AI Act dotyczy systemów rozpoznawania emocji stosowanych w miejscu pracy.
Art. 5 ust. 1 lit. f AI Act zakazuje wprowadzania do obrotu, oddawania do użytku lub wykorzystywania systemów AI służących do wnioskowania o emocjach osób fizycznych w miejscu pracy lub instytucjach edukacyjnych. Wyjątek dotyczy systemów stosowanych w celach medycznych lub związanych z bezpieczeństwem. Zakazy te obowiązują od 2 lutego 2025 r.
Komisja Europejska zwraca przy tym uwagę na szczególne ryzyko związane z rozpoznawaniem emocji. W preambule AI Act wskazano m.in. na ograniczoną wiarygodność takich systemów, problemy z ich specyficznością i możliwością uogólniania wyników oraz ryzyko dyskryminacji. W kontekście zatrudnienia znaczenie ma również nierównowaga stron pomiędzy pracodawcą a pracownikiem.
Oznacza to, że jeżeli AI analizuje głos konsultanta i na tej podstawie wnioskuje, że pracownik jest np. zestresowany, sfrustrowany, znudzony albo zaangażowany, zastosowanie takiego systemu może być objęte zakazem.
Nie zmienia tego fakt, że wynik analizy nie prowadzi automatycznie do zwolnienia, premii czy kary.
Jeżeli system ma jedynie wytypować rozmowy do późniejszego odsłuchania przez człowieka, nie oznacza to automatycznie, że zakazane zastosowanie staje się dopuszczalne. Kluczowe znaczenie ma bowiem sam cel użycia AI do wnioskowania o emocjach pracownika.
A co, jeżeli AI analizuje tylko klienta?
Tutaj sytuacja wygląda inaczej.
Zakaz z art. 5 ust. 1 lit. f nie obejmuje wszystkich zastosowań systemów rozpoznawania emocji. Dotyczy konkretnie obszaru miejsca pracy i instytucji edukacyjnych. Komisja wskazuje, że systemy rozpoznawania emocji stosowane w innych obszarach nie są z tego powodu objęte zakazem z art. 5 ust. 1 lit. f. Nie oznacza to jednak, że można stosować je bez ograniczeń.
Co więcej, Komisja podaje bardzo konkretny przykład dotyczący właśnie call center. Za system rozpoznawania emocji może zostać uznane rozwiązanie, które analizuje głos klienta – np. jego ton, wysokość i głośność – aby wnioskować o jego emocjach, oceniać poziom satysfakcji albo zdecydować o przekierowaniu rozmowy do człowieka.
To istotna wskazówka dla przedsiębiorców: AI Act nie zakazuje samej idei analizowania emocji klienta w call center, ale takie rozwiązanie może podlegać rygorystycznym wymaganiom dotyczącym systemów wysokiego ryzyka oraz innym przepisom, w szczególności RODO.
Głos a transkrypcja – ta różnica ma znaczenie
W praktyce bardzo ważne jest ustalenie, w jaki sposób system „rozpoznaje emocje”.
AI Act definiuje system rozpoznawania emocji jako system służący do identyfikowania lub wnioskowania o emocjach lub zamiarach osób fizycznych na podstawie ich danych biometrycznych[2]. Komisja wskazuje jako przykłady m.in. takie cechy głosu jak jego charakterystyka, podniesiony głos czy szept, jeżeli są wykorzystywane do wnioskowania o emocjach. Nie oznacza to jednak automatycznie, że administrator przetwarza szczególne kategorie danych osobowych w rozumieniu art. 9 RODO. Ocena na gruncie AI Act i RODO odbywa się na podstawie odrębnych definicji.
Samo wykrycie, że rozmówca podniósł głos, mówi szybciej albo zwiększył głośność wypowiedzi, nie musi jeszcze oznaczać rozpoznawania emocji. Kluczowe jest to, czy system wykorzystuje te cechy do wywnioskowania określonego stanu emocjonalnego, np. złości, frustracji lub satysfakcji.
Dlatego zupełnie inaczej należy ocenić dwa rozwiązania:
- Pierwsze: AI analizuje nagranie głosu i na podstawie tonu, wysokości czy głośności ocenia, czy klient jest zdenerwowany.
- Drugie: nagranie jest najpierw transkrybowane, a następnie system analizuje wyłącznie słowa i zwroty występujące w tekście, np. identyfikuje negatywny sentyment albo słowa takie jak „reklamacja”, „problem”, „odmowa” czy „niezadowolony”.
W drugim przypadku sama analiza tekstu nie oznacza jeszcze zastosowania systemu rozpoznawania emocji w rozumieniu AI Act. Komisja wskazuje, że systemy wnioskujące o emocjach lub sentymencie, jeżeli robią to bez wykorzystywania danych biometrycznych, pozostają poza zakresem tej konkretnej definicji.
To jednak nie oznacza, że analiza transkrypcji jest całkowicie pozbawiona ryzyka prawnego. Nadal może dochodzić do przetwarzania danych osobowych oraz profilowania na gruncie RODO.
System rozpoznawania emocji klienta może być systemem wysokiego ryzyka
Systemy AI przeznaczone do rozpoznawania emocji zostały wskazane w załączniku III AI Act[3] w obszarze biometrii. Co do zasady oznacza to kwalifikację takich rozwiązań jako systemów wysokiego ryzyka, chyba że w konkretnym przypadku znajdzie zastosowanie przewidziany w AI Act mechanizm wyłączenia.
Oznacza to, że ich wykorzystanie wiąże się z dodatkowymi wymaganiami przewidzianymi przez AI Act. Zakres obowiązków zależy przy tym od roli danego podmiotu – inne obowiązki dotyczą dostawcy systemu, a inne przedsiębiorcy, który wdraża go w swojej działalności.
Dlatego przed wdrożeniem nie wystarczy zapewnienie, że system „analizuje tylko klienta”. Warto sprawdzić, co dokładnie dzieje się z nagraniem i jakie wyniki generuje system.
Ma to znaczenie zwłaszcza wtedy, gdy rozmowa znajduje się na jednej ścieżce audio i system nie rozróżnia głosu klienta od głosu konsultanta. W takiej sytuacji przedsiębiorca powinien móc wykazać, że analiza nie prowadzi również do wnioskowania o emocjach pracownika.
Warto przy tym rozdzielić dwie kwestie: kwalifikację systemu jako systemu wysokiego ryzyka oraz moment, od którego stosują się poszczególne obowiązki AI Act. W przypadku systemów wysokiego ryzyka wskazanych w załączniku III przepisy dotyczące tych systemów będą stosowane od 2 grudnia 2027 r.
Nie oznacza to jednak, że do tego czasu systemy rozpoznawania emocji pozostają poza regulacją AI Act.
Dodatkowy obowiązek: poinformowanie osoby o zastosowaniu systemu
W tym miejscu pojawia się kolejny istotny element AI Act.
Od 2 sierpnia 2026 r. obowiązuje art. 50 AI Act[4], który przewiduje m.in. obowiązek poinformowania osób fizycznych o tym, że są objęte działaniem systemu rozpoznawania emocji.
Komisja Europejska opublikowała 20 lipca 2026 r. wytyczne dotyczące obowiązków przejrzystości z art. 50, które mają pomóc dostawcom i podmiotom wdrażającym AI w prawidłowym stosowaniu tych przepisów.
Obowiązek wynikający z AI Act należy przy tym stosować łącznie z RODO. Art. 50 ust. 3 wyraźnie wskazuje, że dane osobowe przetwarzane w związku z działaniem systemu rozpoznawania emocji muszą być przetwarzane zgodnie z właściwymi przepisami o ochronie danych.
Samo nagrywanie rozmowy nie oznacza zgody na analizę emocji
Niezależnie od AI Act pozostaje RODO.
To właśnie tutaj pojawia się jeden z częstszych błędów w projektach wykorzystujących AI:
„Skoro możemy zgodnie z prawem nagrywać rozmowę, możemy również poddać ją analizie AI”.
Takiego założenia nie można przyjąć automatycznie.
Nagrywanie rozmowy i analizowanie jej pod kątem stanu emocjonalnego mogą być dwoma różnymi operacjami realizującymi różne cele przetwarzania. Każdy z tych celów powinien zostać oceniony z perspektywy zasad RODO, w tym zgodności z zasadą celowości, podstawą prawną, niezbędnością i proporcjonalnością.
Trzeba więc odpowiedzieć m.in. na pytania:
- Czy analiza emocji jest rzeczywiście potrzebna?
- Czy pozwala osiągnąć konkretny cel biznesowy?
- Czy ten sam cel można osiągnąć mniej ingerującymi środkami?
- Jakie wnioski tworzy system i jak długo są przechowywane?
- Czy wynik analizy wpływa na sposób obsługi klienta lub decyzje dotyczące konkretnej osoby?
W niektórych przypadkach warto również przeanalizować, czy sposób wykorzystania wyników systemu może prowadzić do zastosowania art. 22 RODO dotyczącego zautomatyzowanego podejmowania decyzji, w szczególności, gdy klasyfikacja wygenerowana przez AI wpływa na sposób traktowania klienta lub dostęp do określonych usług.
Case study: analiza emocji klientów a RODO
Dobrym przykładem pokazującym praktyczne konsekwencje takiego podejścia jest decyzja węgierskiego organu ochrony danych NAIH dotycząca Budapest Bank z 10 lutego 2022 r[5].
Bank wykorzystywał narzędzie analizujące nagrania rozmów z infolinii. System miał m.in. identyfikować rozmowy, w których klient mógł być niezadowolony, a następnie kierować je do dalszego odsłuchania i oceny. Analiza obejmowała również elementy związane ze stanem emocjonalnym rozmówcy.
NAIH zakwestionował rozwiązanie m.in. z perspektywy przejrzystości, podstawy prawnej, konieczności przetwarzania i skuteczności systemu. Szczególnie istotne było to, że bank nie był w stanie przekonująco wykazać, że technologia rzeczywiście pozwala na wiarygodne rozpoznawanie emocji. W dokumentacji wskazano, że w 91,96% przypadków emocja pozostawała nierozpoznana.
Organ uznał również, że samo poinformowanie klienta o nagrywaniu rozmowy i wykorzystaniu danych do poprawy jakości obsługi nie wystarczało, jeżeli w rzeczywistości nagrania były wykorzystywane także do analizy emocji i innych celów.
Sprawa zakończyła się m.in. nakazem zaprzestania określonych praktyk oraz karą w wysokości 250 mln HUF.
Choć decyzja została wydana jeszcze przed wejściem w życie AI Act, jej znaczenie dla obecnych wdrożeń AI jest bardzo duże. Pokazuje bowiem, że przedsiębiorca powinien być w stanie odpowiedzieć nie tylko na pytanie „czy mamy technologię, która potrafi coś przeanalizować?”, ale przede wszystkim „czy analiza jest konieczna, proporcjonalna, przejrzysta i wystarczająco skuteczna, aby uzasadnić takie przetwarzanie danych?”
To właśnie ten sposób myślenia jest dziś szczególnie istotny przy projektach wykorzystujących AI do analizy rozmów z klientami.
Czy potrzebna jest DPIA?
W przypadku rzeczywistego systemu rozpoznawania emocji klientów DPIA w wielu wdrożeniach nie będzie jedynie dobrą praktyką, lecz obowiązkiem. Jeżeli administrator uzna, że ocena skutków nie jest wymagana, powinien być w stanie udokumentować przesłanki takiego stanowiska.
Art. 35 RODO przewiduje obowiązek przeprowadzenia oceny skutków dla ochrony danych, jeżeli dany rodzaj przetwarzania – w szczególności z wykorzystaniem nowych technologii – może powodować wysokie ryzyko naruszenia praw lub wolności osób fizycznych.
Przy analizie emocji można wskazać kilka czynników zwiększających ryzyko: wykorzystanie nowej technologii, systematyczne analizowanie zachowania osób, tworzenie wniosków dotyczących ich stanu emocjonalnego, możliwość profilowania lub scoringu oraz skala przetwarzania danych.
DPIA nie powinna być przy tym traktowana jako formalny załącznik do projektu. Powinna pomóc odpowiedzieć na bardzo praktyczne pytania: czy system jest rzeczywiście skuteczny, jak często popełnia błędy, jakie generuje fałszywie pozytywne wyniki i czy istnieją mniej ingerujące alternatywy.
Co sprawdzić przed wdrożeniem AI do analizy rozmów?
Przed uruchomieniem rozwiązania warto przygotować odpowiedź na kilka podstawowych pytań.
- Co analizuje system? Czy jest to głos, jego cechy i parametry, czy wyłącznie transkrypcja?
- Czyj głos analizuje system? Czy możliwe jest techniczne oddzielenie klienta i konsultanta?
- Jakie wyniki generuje AI?
- Czy powstaje jedynie ogólna informacja o rozmowie, czy również scoring lub klasyfikacja przypisana do konkretnej osoby?
- Do czego wykorzystywany jest wynik? Czy służy wyłącznie do przekierowania rozmowy, czy również do oceny pracy konsultantów, coachingu, premiowania albo innych decyzji personalnych?
- Jak organizacja informuje osoby o stosowaniu AI?
- Czy wykonano analizę zgodności z RODO i ocenę potrzeby przeprowadzenia DPIA?
W praktyce ocena zgodności takich rozwiązań nie zależy od marketingowej nazwy produktu ani deklaracji dostawcy. Kluczowe znaczenie ma to, jakie dane analizuje system, czy wykorzystuje cechy głosu do wnioskowania o emocjach, jakie wyniki generuje i w jaki sposób są one wykorzystywane przez organizację.
To właśnie odpowiedzi na te pytania pozwalają ustalić, czy przedsiębiorca ma do czynienia z zakazanym zastosowaniem AI, systemem wysokiego ryzyka, czy też rozwiązaniem, które wymaga przede wszystkim oceny pod kątem zasad wynikających z RODO.
Źródła:
[1] https://eur-lex.europa.eu/eli/reg/2024/1689/oj/eng.
[2] https://ai-act-service-desk.ec.europa.eu/pl/ai-act/article-3.
[3] https://ai-act-service-desk.ec.europa.eu/pl/ai-act/annex-3.
[4] https://ai-act-service-desk.ec.europa.eu/en/ai-act/article-50?.
