RIDE. Revista Iberoamericana para la Investigación y el Desarrollo Educativo
Evaluación empírica de la calidad de la información: caso de estudio en el sector salud
Mar 30 2022
Resumen
Las instituciones suelen emplear sistemas de información a fin de recabar, procesar, almacenar y obtener información de calidad para la toma de decisiones. Contar con información de calidad es un tema clave para las instituciones. La presente investigación pretende percibir problemas concretos de calidad de información en sistemas de información con el fin de proporcionar una mayor calidad de la información en la prestación de servicios de salud pública. Se diseñó un cuestionario con base en un conjunto de dimensiones de calidad de la información. Posteriormente, se aplicó a 160 usuarios finales de sistemas de información de 10 unidades médicas del estado de Tamaulipas, México. Se han obtenido oportunidades específicas de calidad de información para sistemas de información. Se evidencia la oportunidad de mejora en el tema de calidad de la información en relación con la muestra de sistemas de información considerados en esta investigación. Se sugiere que los resultados obtenidos se consideren en el ámbito académico y profesional a razón de contribuir a elevar la calidad de la información proporcionada por los sistemas de información.
Introducción
Las sociedades posindustriales más desarrolladas conceptualizan la información como conocimiento acumulado y el cimiento del desarrollo económico, político y social (Perez y Lacalle, 2020). Para obtener información competitiva y clave dichas sociedades emplean las tecnologías de la información y la comunicación (TIC) de vanguardia, ya que es importante que esté, la información, actualizada (Guenther, Bat y Mathur, 2020). Dentro del contexto económico de cada país en el área de negocios, los sistemas informáticos cumplen un rol fundamental (Chalupa y Petricek, 2020). Y en esa línea, los administradores de sistemas de información hacen frente a un tema crítico en cuanto a la forma de desarrollar sistemas que brinden grandes beneficios en la calidad de la información para las organizaciones que se crean (Jebraeily, Rahimi, Fazlollahi y Afshar, 2019). Estos sistemas deben proporcionar información oportuna y de calidad en la prestación de servicios (Azeroual, Schöpfel y Ivanovic, 2020) y en la toma de decisiones (Al-Ammary, Al-Doseri, Al-Blushi, Al-Blushi y Aman, 2019). Dada la importancia de los sistemas de información en las sociedades desarrolladas, se ha generado un área del conocimiento para el estudio del correcto desempeño de estos sistemas llamada calidad de la información (Chen, Yu, Hailey y Cui, 2020). Esta área del conocimiento ha suscitado el interés de los investigadores desde hace varios años, aunque especialmente en los más recientes, en distintos contextos (Zhu y Zhou, 2020).
Otra área fundamental de la economía es la salud pública: un país cuyos integrantes no posean buena salud difícilmente podrá tener un buen desarrollo económico. Prueba de ello fue la pandemia de la enfermedad por coronavirus de 2019 (covid-19), gracias a la cual la economía de distintos países se vio afectada (Nájera, 2020). En México, existen problemas de calidad de la información en el sector salud. Particularmente, existe la necesidad de asegurar la medición de calidad de la información en hospitales de tercer nivel (Saturno et al., 2021). Cabe señalar que esta información es reportada a nivel mundial para su análisis y comparación con la de otros países miembros de la Organización para la Cooperación y el Desarrollo Económicos (OCDE). Por lo tanto, es imperativo mejorar los sistemas de información tanto en cantidad y calidad y su uso eficaz (Saturno, Martínez, Flores y Poblano, 2019). Para ejemplificar objetivamente la falta de calidad de información pública de la Secretaría de Salud en México durante la pandemia de coronavirus en el 2020, se pueden tomar los datos hospitalarios del sistema Centinela, que mostró casos confirmados, sospechosos y no confirmados de covid-19; dichos datos mostraron una información de dudosa representatividad por ser extrapolados a partir de datos procedentes de una muestra de pocos hospitales (Dyer, 2020).
Ahora bien, a nivel global, la salud pública es un campo de gran volumen de datos que necesita información de alta calidad para la prestación de servicios (Chan y Chang, 2020), para la toma de decisiones y para asegurar la salud de las comunidades (Alolayyan, Alyahya, Alalawin, Shoukat y Nusairat, 2020). La evaluación de la calidad de información es importante para la salud pública, así lo subrayan, por ejemplo, estudios realizados en Brasil (Landmann et al., 2019) y en Kenia (Lucyk, Tang y Quan, 2017). Múltiples funcionalidades clave se han propuesto con base en las TIC en el área de salud para el intercambio de información entre proveedores y sus pacientes (Esmaeilzadeh, Mirzaei y Maddah, 2020), entre las que se encuentran el uso de apoyo clínico y la toma de prescripción electrónica asistida (Choudhary, Agrawal, Dama y Rathod, 2021), así como la capacidad de lograr una mayor participación en la gestión de la población a través de registros electrónicos de enfermedades e informes como instrumentos clínicos (Casillas et al., 2019). Por otro lado, en Estados Unidos existen esfuerzos para crear sistemas de información que sean alimentados por médicos, pacientes, administradores e investigadores para compartir y analizar datos, almacenarlos y que sirvan como una fuente de aprendizaje continuo y sistemático, pues estos sistemas serán una fuente de generación de conocimiento (Bindman, 2019). La creación de estos sistemas se fomenta ya que se sabe actualmente que Internet no proporciona información de salud confiable para personas no profesionales y la calidad de la información de salud en línea requiere de una mejora significativa (Anom, 2020).
Con el fin de lograr una calidad de la información en los sistemas informáticos, se han identificado los componentes esenciales en el proceso de recolección de datos para sistemas de salud pública (Katarahweire, Bainomugisha and Mughal, 2020). Estas dimensiones miden factores tales como la comunicación y actitud hacia los datos, calidad, funcionalidad, soporte tecnológico, liderazgo y financiación. Dichos componentes deberán de ser tomados en cuenta en el desarrollo de sistemas de información de salud pública para lograr una buena calidad de la información. A la fecha, hay una gran cantidad de resultados disponibles en relación con la calidad de la información (Byabazaire, O’Hare y Delaney, 2020), sin embargo, estos resultados han tenido un impacto limitado y no se ha logrado combinar y potenciar la teoría y la práctica en su máxima expresión; por otra parte, resulta insuficiente el trabajo realizado en la difusión de los resultados obtenidos respecto al valor que añade la calidad de la información (Bawden y Robinson, 2018). La calidad de la información ha sido considerada como un factor importante que determina el éxito de las aplicaciones orientadas a recoger, almacenar y procesar información (Au, Ho y Chiu, 2021).
Dada la necesidad de sistemas con calidad de la información, se propone un método para detectar oportunidades específicas de calidad de la información en los sistemas informáticos proporcionados por expertos en la materia o manifestados por los usuarios finales. El presente estudio se enfoca en percibir problemas concretos de calidad de información en sistemas informáticos, conceptualizados como oportunidades específicas de mejora para difundirlas en el ámbito académico, a desarrolladores de software y directivos de sistemas, con el fin de ser consideradas en los próximos desarrollos de sistemas de información. Esto ayudará a proporcionar una mayor calidad de la información en la prestación de servicios de salud pública.
Metodología
Objetivo de investigación
Detectar las oportunidades comunes de calidad de información en sistemas informáticos seleccionados que pertenecen al sector salud del estado de Tamaulipas.
Diseño de investigación
Se utilizó un modelo de investigación mixto (cuantitativo y cualitativo). Se recolectaron datos utilizando un instrumento de elaboración propia para detectar las oportunidades comunes de calidad de la información. Dicho instrumento fue un cuestionario creado ad hoc como herramienta para recabar los datos del presente estudio. Para la detección de las áreas de oportunidad en los sistemas de información examinados, se analizó la variable “Nivel de conformidad del usuario final”. Además, en cada dimensión de calidad de la información se dejó un espacio para recoger comentarios textuales expresados por el usuario.
Descripción del cuestionario
El cuestionario se formó de 35 preguntas cerradas (cuantitativo) y un comentario textual por dimensión (cualitativo) con el propósito de recabar información específica y de facilitar su procesamiento y análisis. Los apartados del cuestionario y la cantidad de preguntas consideradas se muestran en la Tabla 1.
Este instrumento se utilizó debido a que permite recoger datos de muchas personas sin tener que gastar mucho tiempo y dinero (Amorrós, 2019). Las ventajas de utilizar un cuestionario son: bajo costo, fácil de obtener y simplicidad para cuantificar e interpretar información (González y Gamboa, 2020). Además, es una de las técnicas de mayor éxito en el ámbito de las métricas de la calidad de la información debido a que las preguntas están especialmente diseñadas para conocer la percepción de la calidad de la información de los usuarios finales de los sistemas de información.
Después de obtener una versión del cuestionario liberada, se procedió a validarlo de dos formas: primero, se realizó un piloto preliminar con el fin de prevenir que existieran errores de ortografía, gramática, palabras o frases ambiguas en la redacción de las preguntas. Segundo, se validó la fiabilidad mediante la evaluación de la consistencia interna a través del cálculo del alfa de Cronbach del cuestionario, pues se sabe que este es una métrica de intercorrelación de consistencia interna entre ítems que conforman la escala (Omary y Kalinga, 2017).
Análisis de confiabilidad
Se realizó la prueba de confiabilidad de alfa de Cronbach usando el software estadístico MiniTab versión 16 para validar la consistencia interna de la investigación. De acuerdo con los criterios propuestos por Furr (2021), los valores del alfa para la mayoría de las DCCI son aceptables, a excepción de las dimensiones Precisión, Objetividad, Valor añadido y Libre de error, cuyos valores no son aceptables y, por lo tanto, han sido removidas del estudio, debido a que no hay suficiente coherencia interna en estas dimensiones (ver Tabla 4).
Población objetivo
El universo del estudio fueron 273 usuarios finales, los cuales estaban distribuidos uniformemente en 10 unidades médicas del sector salud del estado de Tamaulipas. Los datos para el cálculo de la muestra representativa, con 95 % de confianza, están en la Tabla 5.
Las características de la muestra respecto al género, edad y experiencia en uso de la computadora se muestran en la Tabla 6. El cuestionario se aplicó a 160 usuarios finales en total, 16 personas por cada unidad médica del sector salud del estado de Tamaulipas, México. Para la aplicación del cuestionario, se invitó a los usuarios finales disponibles a la hora de la visita a las unidades médicas a una plática para explicar los detalles del estudio. Se prestó especial atención en señalar que el cuestionario era anónimo y confidencial, a fin de recabar información con mayor certidumbre. Enseguida, se proporcionó un cuestionario a cada usuario final. Fue importante medir las percepciones reales de los usuarios finales, y la manera de conocerlas fue a través de sus niveles de conformidad con los elementos que midieron la percepción de la calidad de la información. Los datos cuantitativos y cualitativos se recabaron en un mismo momento.
Análisis cuantitativo
Para el análisis del nivel de conformidad medido, se asignó el valor 1 a las respuestas “Sí”, el valor 2 a las respuestas “Lo desconozco” y el valor 3 a las respuestas “No”, con la finalidad de indicar un mayor nivel de inconformidad. Posteriormente, se calculó el promedio, moda y desviación estándar de las respuestas para cada una de las preguntas. Si la media fue mayor o igual a 1.5, entonces se estableció un nivel de oportunidad mayor de mejora. Por el contrario, si la media fue menor a 1.5 se estableció un nivel de oportunidad menor de mejora.
Análisis cualitativo
En el análisis cualitativo se agruparon los comentarios textuales de acuerdo con códigos vivos expresados en el texto por los usuarios finales. Estos códigos se agruparon por categorías, las cuales, a su vez, se asociaron a una dimensión específica. La asociación de dimensiones, categorías y comentarios textuales se muestran en la Tabla 9, 10 y 11.
Análisis mixto
Se establecieron los niveles de corrección detectados de forma cuantitativa para las dimensiones con nivel de oportunidad mayor. El nivel de corrección de cada dimensión cuantitativa fue comparado con la dimensión cualitativa de acuerdo con los comentarios expresados por los usuarios. En caso de que se detectase un nivel de corrección mayor de forma cuantitativa comparada con los comentarios textuales y si se confirmaba el nivel de corrección mayor, se concluía que debía de existir un nivel de oportunidad mayor. Por el contrario, si los comentarios textuales contradecían al nivel de corrección mayor, se concluyó que no se podía determinar un nivel de corrección mayor.
Resultados
Se observó que la media para la mayoría de las preguntas fue menor a 1.5, lo cual indica que los encuestados percibieron un nivel de corrección menor, sin embargo, en las preguntas 10, 16, 25, 32 y 33 su media fue mayor a 1.5, lo que indica mayor problemática (mayor oportunidad de mejora) (ver Tabla 7).
La Tabla 8 muestra las DCCI asociadas a cada pregunta del cuestionario; se les asignó un nivel de corrección mayor de mejora cuando el valor de la media de esta pregunta estaba muy cercano a dos, de lo contrario se consideró un nivel de corrección menor.
Las Tablas 9, 10 y 11 muestran el análisis cualitativo asociando categorías emergentes de los datos de acuerdo con los comentarios textuales expresados por los usuarios, estas categorías fueron asociadas a cada dimensión de calidad de la información. Los datos cualitativos fueron contrastados dimensión por dimensión con los resultados obtenidos del análisis cuantitativo para llegar a una conclusión en la oportunidad de mejora, la cual puede ser menor o mayor. En caso de que los datos cualitativos confirmaran el resultado del análisis cuantitativo indicando una oportunidad de corrección mayor, se concluyó en la dimensión correspondiente una oportunidad de mejora mayor.
Discusión
A través del análisis de los resultados expresados por los usuarios finales, se observaron oportunidades específicas de calidad de la información para sistemas informáticos. A continuación, se describen los hallazgos encontrados:
- Disponibilidad: la percepción de los usuarios finales indicó que los sistemas informáticos son eficientes en cuanto al acceso a la información cuando se necesita y que dicha información les resulta fácil de obtener, sin embargo, esto no sucede en su totalidad, ya que algunos usuarios finales manifestaron que para algunos meses del año en los sistemas no se puede obtener la información. Finalmente, se determina una menor oportunidad de mejora en esta dimensión.
- Confiabilidad: se encontró que hay certeza entre los usuarios finales para las fuentes de información y la recolección de los datos, sin embargo, algunos usuarios manifiestan que hay margen de error en la captura de los datos. Además, señalan que los datos son verificados en el proceso de captura, y que la información sigue siendo confiable a pesar de la existencia de omisiones en la captura de algunos datos. Por consecuencia, existe una oportunidad de mejora mayor en la captura de los datos en cuanto al margen de error de estos.
- Completitud: los hallazgos mostraron que para los sistemas informáticos los usuarios finales mayormente capturan los datos requeridos, el sistema les proporciona la información que requieren con el detalle indicado. Lo anteriormente expuesto contrasta con la opinión de algunos usuarios finales, quienes señalan que para algunos casos se capturan más datos de los requeridos y que el sistema les proporciona información incompleta. Los datos cuantitativos y cualitativos difieren, por lo tanto, no se puede determinar si existe oportunidad de mejora en la dimensión Completitud.
- Usabilidad: a decir de los usuarios finales, los sistemas informáticos les proporcionan los datos en el formato y medio adecuado cuando así lo requieren. No obstante, se señala que entre departamentos la información básicamente se proporciona impresa, cuando es requerida en forma digital. Los datos cuantitativos y cualitativos difieren entre sí, por lo tanto, no se puede determinar si existe oportunidad de mejora en la dimensión.
- Facilidad de manipulación: la información proporcionada a los usuarios no se presentó como se requirió; por otro lado, la información proporcionada fue aplicable a más de una actividad. En este sentido, algunos usuarios finales manifestaron descontento por la imposibilidad de poder actualizar datos después de haber transcurrido un tiempo considerable de la captura de estos. Por lo anterior, existe una oportunidad de mejora mayor en esta dimensión para presentar la información como la requieren algunos usuarios.
- Relevancia: en esta dimensión se encontró que la apreciación de los usuarios finales a los datos capturados es realmente útil, así como la información proporcionada, mientras que la información proporcionada les contribuye a sustentar la toma de decisiones, así como a incrementar la calidad de los servicios prestados. Lo anterior confirma una oportunidad de mejora menor en la dimensión.
- Seguridad: los hallazgos mostraron que los sistemas informáticos cuentan con mecanismos de inicio de sesión efectivos, a decir de algunos usuarios finales, mientras que hacen falta implementar mecanismos de cierre de sesión automáticos. Por consecuencia, existe una oportunidad de mejora mayor en la dimensión para implementar mecanismos de cierre de sesión automáticos.
- Oportuna: se encontró que la información se proporciona con la periodicidad óptima y que está actualizada a la fecha que es requerida. Sin embargo, a decir de algunos usuarios, los sistemas proporcionan solo la información del año en curso y no está actualizada al cierre de cada mes, generalmente por la falta de coordinación entre el personal de la institución. Los datos cuantitativos y cualitativos difieren entre sí, por lo tanto, no se puede determinar si existe oportunidad de mejora en la dimensión oportuna.
- Integrada: esta dimensión mostró que la percepción de los usuarios finales apunta a que se requieren implementar catálogos y diccionarios de datos institucionales en los sistemas informáticos. Lo anterior denota una oportunidad de mejora mayor en esta dimensión.
- Ambiente institucional: se encontró que los usuarios finales manifiestan estar conscientes del hecho de que la relación laboral y el ambiente institucional es importante en la eficacia y credibilidad de la información. Sin embargo, algunos usuarios finales manifiestan que hace falta una mayor organización para el manejo de la información entre departamentos. Se concluye que existe una oportunidad de mejora mínima en esta dimensión.
Los interesados en continuar esta investigación podrían dirigir sus trabajos a la formación de capital humano en área de calidad de información y el impacto que tendría en el desarrollo de software, la evaluación de la cultura de datos compartidos, abordar esquemas de integración de sistemas de información, estudiar metodologías para la integración e interoperabilidad entre sistemas informáticos, lo que no es una tarea fácil. Lo anterior con la premisa de equilibrar la balanza entre el conocimiento y tecnologías generados, por una parte, y por la otra, la práctica, es decir, lograr gestionar y transferir el conocimiento y la tecnología producidos a las sociedades que lo ameritan. De acuerdo con Bawden y Robinson (2018), esta filosofía en materia de calidad de la información generalmente no se lleva a cabo. Finalmente, mencionaremos que nuestro estudio estuvo limitado a instituciones del sector salud del estado de Tamaulipas.
Conclusiones
Los resultados obtenidos en la presente investigación se resumen en oportunidades específicas de calidad de la información que evidencian la oportunidad de procuración de calidad de información en el desarrollo y mantenimiento de los sistemas considerados en el presente trabajo. El uso de sistemas eficientes fomenta ventajas en cuanto a la capacidad de respuesta, responsabilidad y confiabilidad en la prestación de servicios, y la falta de mejora de la calidad en la asistencia sanitaria puede crear percepciones negativas de los pacientes que impacten en la motivación para buscar la atención médica ofrecida. En este sentido, el análisis de los datos proporcionados por usuarios finales de los sistemas permitió una retroalimentación subjetiva y realista; además, los comentarios textuales de estos ratifican la coyuntura en materia de calidad de información existente en los sistemas empleados en la prestación de servicios de salud pública estatal considerados en este estudio.
Llama la atención que en la literatura considerada no se encontraron trabajos de este tipo, lo que apunta a cierta originalidad en el área de calidad de información en sistemas informáticos. Una recomendación es que los encargados de diseñar, desarrollar o adquirir sistemas informáticos pongan especial énfasis en la calidad de información que proporciona el sistema, a fin de obtener mayores ventajas en los servicios prestados o en la toma de decisiones, y que tiene que existir una perspectiva más amplia en la información que se produce y se usa. En este sentido, se considera que se debe hacer mayor planificación en los sistemas informáticos debidos a la vitalidad que representan para las organizaciones. La lista de oportunidades específicas de calidad de la información para sistemas informáticos y el cuestionario pueden ser empleados en diferentes sectores además del sector salud. Lo anterior bajo el paradigma de investigación en ciencias de diseño de los sistemas de información, con el propósito explícito de crear nuevos mecanismos que la gente puede utilizar para cambiar y mejorar el mundo en que vivimos.
Futuras líneas de investigación
En nuestro caso se ofrecen oportunidades específicas para las DCCI en las que, a decir de los usuarios finales, las instituciones médicas del sector salud deberán poner especial atención. Con el fin de ratificar y consolidar los resultados de la investigación y bajo la premisa de que los sistemas de información son un mundo apasionante donde las fronteras cambian a diario, se sugiere como trabajo futuro lo siguiente: diseñar y aplicar tres cuestionarios dirigidos al personal directivo, desarrolladores y encargados del área de sistemas respectivamente, con base en las DCCI aquí definidas, para enriquecer los resultados obtenidos mediante el contraste de las respuestas de los principales involucrados. Se recomienda como trabajo futuro extender este estudio a otros estados de la república mexicana para contrastar resultados.
Resumen
Introducción
Metodología
Objetivo de investigación
Diseño de investigación
Descripción del cuestionario
Análisis de confiabilidad
Población objetivo
Análisis cuantitativo
Análisis cualitativo
Análisis mixto
Resultados
Discusión
Conclusiones
Futuras líneas de investigación