TCC DA PUC-RS
O meu trabalho de conclusão de curso foi a análise da experiência da pessoa usuária em um chatbot de agendamento de consulta e retorno médico com roteiro pré-definido de um plano de saúde.
O estudo do chatbot foi dividido nas seguintes etapas:
• Mapeamento da jornada existente;
• Pesquisa de métrica;
• Análise de atendimento;
• Criação da Matriz CSD;
• Avaliação da usabilidade vinculada às Heurísticas de Nielsen;
• Levantamento de dúvidas técnicas e pontos de melhorias iniciais.
O estudo começou com o mapeamento da jornada do chatbot através do desenho da árvore conversacional. Dessa forma, foi possível identificar a seguinte jornada: a pessoa usuária se identifica, em seguida é apresentado especialidades médicas para ser escolhida, depois é solicitado o CEP, pergunta se aceita uma sugestão médica ou já possui uma referência, a pessoa escolhe o período de atendimento que gostaria de fazer o agendamento, em seguida oferece para escolher entre data ou agenda próxima, é mostrada as opções de consulta com data e local e por fim solicita a confirmação agendamento. Um gancho é apresentado com a opção de realizar outro agendamento.
Um ponto identificado com a construção da árvore conversacional é que, em qualquer momento de dificuldade para prosseguir com o agendamento, a pessoa usuária é direcionada para o atendimento humano. O chatbot funciona com a integração de 12 APIs.
O segundo passo do estudo envolveu a extração de métricas e a análise dos atendimentos no período de um mês. Com isso, foram levantados dados quantitativos sobre: acessos e interações, sucesso no agendamento, escolha da especialidade médica, período de atendimento e localidade.
Em relação aos atendimentos, nota-se que o sucesso do agendamento de consulta foi de 89 casos, sendo que o bot teve 16040 acessos com 3613 interações. Todas as interações foram transferidas para o atendimento humano em algum momento da jornada, sendo os principais pontos de transbordos: falhas no agendamento, ausência de escolha de especialista e erros de API.
Muitas dúvidas surgiram sobre as regras de negócios analisando os atendimentos e a estrutura do chatbot.
A validação da pessoa usuária é confusa, pois ela é feita inicialmente pelo número da carteirinha do plano de saúde, mas caso a pessoa não responda dentro de um minuto, é solicitado o CPF.
Por ser um chatbot de agendamento de consulta, o paciente que deseja retornar passa pelo longo filtro para encontrar um especialista ao invés do bot reconhecer o retorno médico, mostrar para pessoa e perguntar se gostaria de marcar o retorno ou fazer um novo agendamento.
Com base nos estudos da experiência e informações extraídas, foi criada a Matriz CSD para levantar certezas, suposições e dúvidas.
A próxima etapa foi a avaliação da usabilidade do chatbot vinculado às Heurísticas de Nielsen. Esta análise teve como base a tabela criada por Queiroz (2022), na qual é composta por três colunas, sendo elas: o número da heurística avaliada, as descrições das diretrizes, espaço para marcação de quando o chatbot Atende (A), Não Atende (NA) ou Atende Parcialmente (AP) os requisitos e um espaço para anotar as observações da análise.
Com essa avaliação, constatou-se que das 26 diretrizes avaliadas, somente 7 delas foram aplicadas no chatbot, conforme a tabela:
Observou-se que o chabot não possuía uma personalidade, seu tom e voz não tinha consistência na linguagem e no estilo, em alguns pontos parecia formal e em outros mais despojado, certas palavras estavam fora de contexto, lembrando mais um documento ou um texto escrito, mas não um diálogo fluído.
Uma frase que não segue a lógica de um diálogo é a apresentada quando a pessoa é direcionada para falar com um funcionário fora do horário de atendimento. Ela é informada que será ajudada por um atendente, mas logo em seguida é avisada de que não poderá continuar a conversa, pois os atendimentos já foram encerrados.
Outro ponto é o texto do link fornecido para um diferente canal de atendimento do plano de saúde, ele não parece oficial por sua estrutura longa e difícil memorização.
A estrutura guiada do chatbot não oferece flexibilidade, como digitar sair a qualquer momento ou voltar para refazer uma ação. As opções de respostas que a pessoa usuária deveria escolher foram apresentadas em forma de lista numérica, sendo que a experiência poderia melhorar usando botões e lista modal.
O bot limita a execução do serviço em uma única forma, somente pelo o roteiro pré-definido. Ele também deixa a pessoa usuária presa em determinada validação até ela acertar a resposta, não explicando a ação necessária para reparar o erro ou encerrar o atendimento e tirar a pessoa desse looping.
Quanto ao uso de emojis, a falta de padrão deixou o diálogo com pouca credibilidade, muitas das opções utilizadas tinham cunho mais pessoal e outras poderiam passar o sentido de ironia. Para um chatbot com intuito de prestar assistência médica, em que a pessoa usuária pode estar passando por um momento sensível, os emojis deveriam ser aplicados com mais cuidado.
Toda a análise levantou pontos iniciais a serem discutidos com o plano de saúde e a equipe técnica. Mas para começar, foram sugeridas as seguintes melhorias:
• Avaliar a viabilidade técnica da nova jornada proposta;
• Padronizar as fraseologias e emojis;
• Incluir na apresentação inicial do chatbot uma frase explicando para a pessoa digitar "sair" em qualquer momento para encerrar o atendimento;
• Alterar validação inicial para somente o CPF;
• Usar botões e lista modal como opções de respostas;
• Incluir a opção de “voltar” nos botões e lista modal;
• Deixar texto dos botões mais claros;
• Retirar o looping;
• Incluir mais especialidades e deixá-las em ordem alfabética;
• Usar encurtador de link;
• Destacar informações importantes;
• Criar frase específica para dentro e fora do horário de atendimento;
• Distribuir melhor o texto;
• Escrever frases mais explicativas nas tentativas de reparação de erros;
• Reformular pergunta de escolher data para consulta;
• Incluir pesquisa de satisfação;
• Incluir eventos para extrair métricas mais precisas;
• Criar um dashboard;
• Analisar a possibilidade de tornar o bot híbrido.
