Utilización del proceso de tokenización de GPT-4 para determinar medidas de satisfacción de usuario en pruebas de usabilidad
No Thumbnail Available
Date
Journal Title
Journal ISSN
Volume Title
Publisher
Institución Universitaria Colegio Mayor del Cauca
Abstract
El estándar de calidad de la ISO 9241-11 define la usabilidad como el grado en que
un producto puede ser utilizado por usuarios específicos para lograr objetivos con
eficacia, eficiencia y satisfacción en un contexto de uso específico.
Con base en esta definición se da por entendido que la usabilidad mide las tres
variables citadas, tanto la eficacia como la eficiencia resultan variables
eminentemente cuantitativas ya que determinan el número de tareas que un usuario
pueda alcanzar y el tiempo que emplea para desarrollar las mismas.
En el caso de la satisfacción puede involucrar elementos cualitativos ya que reflejan
pensares, sentires y experiencias de los usuarios que son absolutamente subjetivas
en un caso de prueba. A pesar de que en calidad de software son
incondicionalmente necesarias las medidas objetivas y subjetivas el tratamiento e
interpretación de últimas sugiere un esfuerzo adicional por parte de los probadores
que participan del proceso.
En este contexto el proceso de tokenizacion es un paso fundamental en el
procesamiento del lenguaje natural y también juega un papel importante en modelos
de lenguaje de inteligencia artificial avanzados como ChatGPT. Su capacidad de
dividir las palabras permite analizar e interpretar con mayor precisión las respuestas
proporcionadas por los usuarios.
En este documento se explicará la importancia del proceso de tokenización en
relación con las pruebas de usabilidad y cómo este proceso ayuda a procesar y
analizar textos de manera efectiva. La idea es reducir la complejidad que se pueda
presentar en la interpretación del lenguaje natural utilizado por los usuarios
permitiendo emitir medidas certeras en las pruebas de una determinada aplicación
informática.
El proyecto se llevó a cabo en tres etapas. En la primera se realizó una revisión de
conceptos relacionados con usabilidad, pruebas de usabilidad utilizando técnicas
de inteligencia artificial, procesamiento de lenguaje natural, entre otros conceptos y
como resultado de esta revisión se realizaron dos entrenamientos de modelos
basados en inteligencia artificial que, demuestran que hay otras maneras de ayudar
a la satisfacción de usuario utilizando técnicas de inteligencia artificial.
En la segunda etapa, se realizó el desarrollo de la aplicación basada en el proceso
de la tokenización de GPT-4, por último, en la tercera etapa, se utilizó la aplicación
desarrollada con usuarios reales en el laboratorio de UX que tiene la Institución
Universitaria Colegio Mayor del Cauca.
Description
The ISO 9241-11 quality standard defines usability as the degree to which a product can be used by specific users to achieve goals with effectiveness, efficiency, and satisfaction in a specific context of use.
Based on this definition, usability is understood to measure these three variables. Both effectiveness and efficiency are primarily quantitative variables, as they determine the number of tasks a user can complete and the time taken to perform them.
In the case of satisfaction, qualitative elements may be involved, as it reflects users’ thoughts, feelings, and experiences, which are inherently subjective in a testing scenario. Although both objective and subjective measures are essential in software quality, the handling and interpretation of the latter require additional effort from the evaluators involved in the process.
In this context, the tokenization process is a fundamental step in natural language processing and also plays an important role in advanced artificial intelligence language models such as ChatGPT. Its ability to split words allows for more precise analysis and interpretation of user-provided responses.
This document explains the importance of the tokenization process in relation to usability testing and how it helps process and analyze text effectively. The goal is to reduce the complexity involved in interpreting natural language used by users, enabling more accurate measurements in the testing of a given software application.
The project was carried out in three stages. The first involved a review of concepts related to usability, usability testing using artificial intelligence techniques, and natural language processing, among others. As a result of this review, two AI-based model training processes were conducted, demonstrating alternative ways to enhance user satisfaction using AI techniques.
In the second stage, the development of an application based on the GPT-4 tokenization process was carried out. Finally, in the third stage, the developed application was tested with real users in the UX laboratory of the Institución Universitaria Colegio Mayor del Cauca.
Keywords
Eficiencia y eficacia, ISO 9241-11, Procesamiento de lenguaje natural, Satisfacción del usuario, Tokenización de GPT-4