¿Cómo pueden ayudar los análisis visuales al análisis investigativo? Implicaciones de diseño a partir de una evaluación.
How can Visual Analytics Assist Investigative Analysis? Design Implications from an Evaluation
https://ieeexplore.ieee.org/document/5482577
There are
many important aspects in this article. Firstly, to know about visual analytics
assist, then, to know how they can help us as researchers. Secondly, to
understand that you begin an investigation with some objectives or purpose but
it can guide you to another road that you didn't think. Thirdly, it is important to obtain quantitative
and qualitative data in order to have a complete view of the reality. Finally, Jigzaw is a useful tool.
This investigation opens my mind about what I can use in order to analyze data
using technology.There are a
lot of useful information in English therefore it is import to read,
understand, write and speak the universal language.
¿Cómo pueden ayudar los análisis visuales al análisis
investigativo? Implicaciones de diseño a partir de una evaluación.
A
pesar del número creciente de sistemas que brindan apoyo analítico visual para
el análisis de investigación, se han realizado pocos estudios empíricos sobre
los beneficios potenciales de tales sistemas, particularmente evaluaciones
comparativas controladas. Sin embargo, determinar cómo estos sistemas fomentan
la percepción y la creación de sensaciones es importante para su continuo
crecimiento y estudio. Además, los estudios que identifican cómo las personas
usan dichos sistemas y por qué se benefician (o no) pueden ayudar a informar el
diseño de nuevos sistemas en esta área. Realizamos una evaluación del sistema
de análisis visual que Jigsaw empleó en un pequeño ejercicio de investigación
con sentido sensorial, y comparamos su uso con otros tres métodos de análisis
más tradicionales. Dieciséis participantes realizaron una tarea de análisis de
inteligencia simulada en una de las cuatro condiciones. Los resultados
experimentales sugieren que Jigsaw ayudó a los participantes a analizar los
datos e identificar una amenaza incrustada. Describimos las diferentes
estrategias de análisis utilizadas por los participantes del estudio y cómo el
apoyo computacional (o su falta) influyó en las estrategias. Luego, ilustramos
varias características del proceso de creación de sensaciones identificadas en
el estudio y proporcionamos implicaciones de diseño para las herramientas de
análisis de investigación basadas en ellas. Concluimos con recomendaciones
sobre métricas y técnicas para evaluar sistemas de análisis visual para
análisis de investigación.
Términos
del índice: análisis visual, visualización de
información, evaluación, análisis de investigación, estudio de usuarios.
1 Introducción
Los
últimos años han visto un aumento en el número de sistemas de análisis visual
construidos para ayudar al análisis de investigación (IA). Muchos estímulos
están detrás del desarrollo de estos sistemas, incluida la disponibilidad de
conjuntos de datos de ejemplo a través de concursos y desafíos [1], la
creciente importancia de este tipo de trabajo para el gobierno y las
actividades de inteligencia [2], y el surgimiento del área de análisis visual
en general. Aunque se están construyendo muchos nuevos sistemas de análisis de
investigación, todavía no entendemos bien cómo evaluarlos y evaluarlos. La
evaluación de los sistemas de visualización interactiva es un reto en general
[3], pero los escenarios de análisis investigativo añaden aún más dificultad.
Al ir más allá de los objetivos típicos de la visualización de la información,
como la identificación de correlaciones, valores atípicos, etc., los analistas
de investigación realizan actividades de creación de sensaciones, desarrollan
hipótesis sobre los datos y tratan de comprenderlos más a fondo. A menudo se
piensa que los analistas "conectan los puntos" o "juntan las
piezas". En última instancia, los analistas buscan desarrollar una visión
sobre los datos, una actividad difícil de identificar y medir.
Un
área en particular que carece de mucha investigación es la evaluación
controlada y comparativa de los sistemas de análisis de investigación. Varios
sistemas han sido estudiados en escenarios de uso de prueba por analistas
capacitados [5], [6], [7], pero estos estudios no compararon el rendimiento con
otros sistemas o enfoques más tradicionales de "baja tecnología"
En
este estudio, examinamos el uso del sistema Jigsaw [8] en un escenario de
análisis en comparación con otros tres métodos de investigación que incluyen el
almacenamiento y la búsqueda de documentos electrónicos de escritorio y lápiz
simple. Si bien teníamos curiosidad por saber si Jigsaw sería beneficioso, el
propósito de nuestro estudio no era evaluar Jigsaw en sí. En cambio, nuestro
objetivo principal era comprender mejor cómo la visualización puede ayudar al
análisis investigativo, si realmente puede. Queríamos ver cómo las personas
abordarían el análisis de datos utilizando un sistema de análisis visual. ¿Qué
características del sistema, en su caso, llevan a los principales beneficios?
Creemos que un escenario comparativo en el que se puede examinar a las personas
que trabajan en el mismo problema en diferentes condiciones, aunque está
limitado en ciertos aspectos, proporciona un contexto valioso para abordar
estas preguntas.
Un
segundo objetivo de esta investigación fue comprender mejor las metodologías de
evaluación para los sistemas de análisis de investigación en general. ¿Qué
deben contar, medir y observar los evaluadores para determinar la utilidad de
los sistemas? La identificación de métricas para la evaluación del sistema de
análisis visual es un desafío [9] y es importante para las organizaciones que
toman decisiones sobre qué sistemas, si los hay, usar en la práctica. Este
estudio es uno de los primeros experimentos comparativos realizados en esta
área. Evaluamos cuatro configuraciones para el análisis con una de estas
utilizando Jigsaw. 16 participantes del estudio realizaron una investigación en
uno de los escenarios. A cada participante se le dio la misma recopilación de
datos que contenía 50 documentos de texto simple, cada uno de aproximadamente
un párrafo. Los documentos simularon informes de casos de inteligencia y los
participantes necesitaron identificar un plan terrorista incrustado dentro de
los 90 minutos asignados.
Este
artículo es una versión ampliada del documento de la conferencia [10] y
proporciona más profundidad y análisis del desempeño de los participantes por
configuración y por estrategia de investigación empleada. También ampliamos la
sección de discusión, incluimos más comentarios de los participantes y
comparamos nuestros resultados con los encontrados en otro estudio [11] que
examina los procesos y el rendimiento de los analistas profesionales.
2. TRABAJO
RELACIONADO
Pocos
experimentos han investigado la utilidad de las herramientas analíticas
visuales para el análisis de investigación. Un estudio realizado por Bier et
al. [5] evaluó la idoneidad de su Entity Workspace System en el contexto de las
pautas de diseño para el análisis de inteligencia colaborativa. Los
investigadores modificaron su sistema basándose en cinco directrices de diseño
y evaluaron el sistema tanto en un estudio de laboratorio con analistas de
inteligencia como en un estudio de campo con un equipo de análisis. Basándose
en los comentarios subjetivos de los analistas junto con los datos de registro
cuantitativos, confirmaron los efectos positivos de la herramienta en la
colaboración y la utilidad de las pautas de diseño para el análisis
colaborativo.
Perer
y Shneiderman [12] reconocieron las limitaciones de los experimentos
controlados tradicionales al examinar el proceso de análisis de datos
exploratorios y desarrollaron una metodología de evaluación para estudiar la
efectividad de su sistema, Social Action. La evaluación, que consistió en un
estudio de caso a largo plazo [13] y entrevistas en profundidad, confirmó el
valor central de Social Action (integración de estadísticas con visualización)
y además brindó orientación para el rediseño de la herramienta. Varios estudios
han capturado y caracterizado las prácticas de trabajo y los procesos
analíticos del análisis individual o colaborativo a través de un enfoque
cualitativo. Pirolli y Card [14] estudiaron analistas y desarrollaron un modelo
nocional de los procesos analíticos que siguen. Chin et al. [11] realizó un
estudio de caso de observación con analistas profesionales en el que los
participantes trabajaron en escenarios del mundo real, ya sea como analista individual
o como equipo de investigación. Los investigadores revelaron varias
características de los procesos analíticos de los analistas de inteligencia,
como las metodologías de investigación que aplican, cómo recopilan y clasifican
la información, y cómo identifican patrones y tendencias.
Robinson
[15] examinó cómo los analistas sintetizan resultados analíticos visuales
estudiando a expertos en dominios que realizan una tarea de síntesis simulada
utilizando artefactos analíticos impresos en tarjetas en un gran espacio de
trabajo cubierto de papel. Basándose en el análisis de los resultados de la
codificación de video, identificó varias características en el proceso de
síntesis, como el uso de diferentes enfoques para la síntesis colaborativa, una
variedad de metáforas organizacionales al estructurar la información y la
importancia de establecer un terreno común y la asignación de roles. Si bien
estos tres últimos estudios no evaluaron herramientas o características
analíticas visuales específicas per se, proporcionan valiosas implicaciones
para informar instrucciones de diseño para futuras herramientas de soporte.
Scholtz [9] enfatiza que el desarrollo de métricas y metodologías para la
evaluación es necesario para ayudar a los investigadores a medir el progreso de
su trabajo y comprender el impacto en los usuarios. Ella sostiene que la
evaluación de los entornos analíticos visuales requiere que los investigadores
vayan más allá de las evaluaciones de desempeño y evaluaciones de usabilidad, y
propone cinco áreas clave que deben considerarse como métricas y metodologías
para la evaluación: conciencia de la situación, colaboración, interacción,
creatividad y utilidad.
3
DISEÑO DEL ESTUDIO
Reclutamos
a 16 estudiantes graduados (8 mujeres) de Georgia Tech para participar en el
experimento. Describimos explícitamente los objetivos del estudio y sus
acciones simuladas como un analista de inteligencia para encontrar estudiantes
que estarían interesados y motivados por tal escenario. Los participantes
recibieron una tarjeta de regalo de $ 30 o $ 40, según la configuración y la
duración del experimento, como compensación.
3.1
Tarea y conjunto de datos les dijimos a los participantes que estarían
asumiendo el papel de un analista de inteligencia gubernamental. Les dimos 50
documentos, descritos como informes de inteligencia, y les pedimos a los
participantes que identificaran un complot terrorista oculto. Para esta tarea,
adaptamos documentos de un ejercicio que habíamos aprendido de un colegio de
inteligencia militar. Incrustados en algunos de los documentos, hay indicios de
una trama terrorista ficticia con cuatro sub-historias que apoyan la trama. La
trama principal es un ataque a aeropuertos de EE. UU. Con misiles de superficie
a aire, y las sub-historias implican la adquisición y el movimiento de las
armas a los lugares pertinentes. Cada documento tenía unas pocas oraciones
largas. 23 de los documentos contenían información útil para identificar la
amenaza. Los otros 27 documentos describieron otras actividades sospechosas,
pero no fueron relevantes para la trama principal. A continuación, se presentan
tres de los documentos del experimento.
Informe 5: 21 de febrero de 2002.
Informe
de robo de municiones para armas pequeñas, cuatro rifles M-16, seis
lanzagranadas y seis misiles tierra-aire. Este robo ocurrió en una instalación
militar en Colorado. [Este robo todavía está bajo investigación.]
Informe 15: 28 de agosto de 2002
El 23 de agosto de 2002, los funcionarios de
aduanas incautaron 234 libras de cocaína de una marina al sur de Tampa. Fueron
arrestados Jesús Vázquez y Robert D’Onfrio. Cada uno tiene conexiones con un
sindicato sudamericano y un cartel de la droga.
Informe 16: 7 de septiembre de 2002
Los funcionarios incautaron documentos en 134
Boynton Beach Lane en Miami el 5 de septiembre de 2002. Las iniciales C.G.,
Y.K. y J.S. apareció junto con listas de 12 aeropuertos de EE. UU. y varias
fechas en octubre y noviembre.
Les
dijimos a los participantes que necesitaban identificar la trama y, finalmente,
escribir una breve narrativa que describiera la amenaza potencial. Además,
entregamos a las participantes hojas de tareas adaptadas del Concurso del
Simposio VAST [1], que contenía tablas para que enumeraran los jugadores clave,
los eventos y las ubicaciones relevantes para la trama.
3.2 Configuraciones y procedimientos
Creamos
cuatro configuraciones en el experimento y asignamos a cada participante a una
de las condiciones. Cada escenario tenía participantes masculinos y femeninos.
Al establecer 1 (Papel), les dimos a los participantes los informes como
documentos en papel y les pedimos que realizaran la tarea sin ninguna ayuda
tecnológica. En la configuración 2 (Escritorio), les dimos a los participantes
los documentos como archivos de texto separados en una computadora y pusimos a
disposición la Búsqueda en el escritorio de Microsoft para buscar palabras
clave en los documentos. En la configuración 3 (Entidad), los participantes
utilizaron una versión limitada de Jigsaw, en la que solo estaba disponible una
versión modificada de la Vista de documento (nube de etiquetas eliminada) y la
capacidad de búsqueda de texto. Esencialmente, esta configuración era como la
de Escritorio, excepto que la Vista de documentos de Jigsaw resalta las
entidades identificadas, como personas, lugares y organizaciones en los
documentos. En la configuración 4 (Jigsaw), los participantes realizaron la
tarea utilizando el sistema Jigsaw. Les brindamos a los participantes en este
entorno un breve video de capacitación del sistema tres días antes de la sesión
y les brindamos 30 minutos adicionales de capacitación al comienzo de la
sesión. Ninguna de estas sesiones de capacitación incluyó información
relacionada con la tarea utilizada para la evaluación.
En
todas las configuraciones, los participantes podrían tomar notas usando lápiz y
papel. Recolectamos las notas y las usamos para ayudar en nuestro análisis más
adelante. Para las configuraciones de Escritorio, Entidad y Rompecabezas, los
participantes trabajaron en una computadora con cuatro monitores. Dimos a cada
participante 90 minutos para trabajar en el problema y realizamos una
entrevista semiestructurada después de cada sesión. En la entrevista, hicimos
varias preguntas sobre su experiencia, incluyendo: (1) Cómo realizaron la tarea
(es decir, cuál fue su estrategia), (2) Cuál fue el aspecto más difícil, (3)
Qué les ayudó realizar la tarea, (4) cuándo estaban seguros de que estaban
progresando hacia las metas, y (5) cómo cambiarían su enfoque y proceso si se
les pedía que lo hicieran de nuevo. También grabamos en video todas las
sesiones.
3.3 Jigsaw
Jigsaw
es un sistema para ayudar a los analistas con los tipos de escenarios de
investigación encontrados en este estudio. Es un sistema multivista, que
incluye varias visualizaciones diferentes de los documentos de la colección y
las entidades (personas, lugares, organizaciones, etc.) dentro de esos
documentos. La Figura 1 muestra algunas de las visualizaciones: la Vista de
documentos (arriba a la izquierda) muestra los documentos y resalta las
entidades identificadas dentro de ellos, la Vista de gráficos (arriba a la
derecha) muestra las conexiones entre los documentos y las entidades utilizando
un diagrama de enlace de nodo, la Vista de lista (abajo a la derecha) muestra
las conexiones entre entidades que están organizadas en listas según su tipo, y
la Vista de grupo de documentos (parte inferior izquierda) muestra los
documentos en la colección organizada por palabras clave.
Una
interfaz de consulta de búsqueda textual permite a los usuarios encontrar
entidades particulares y los documentos en los que se producen. Además, las
entidades y los documentos se pueden explorar directamente al interactuar con
esos objetos en las vistas. Por ejemplo, las operaciones de la interfaz de
usuario pueden mostrar y explorar nuevas entidades en las vistas que amplían el
contexto de entidades y documentos. En la práctica, estos dos enfoques a menudo
se combinan: las consultas de búsqueda sirven para impulsar una exploración y
ver la interacción, y luego producen representaciones y exploraciones más
ricas. El sistema Jigsaw se describe en detalle en [8].
3.4 Medidas de rendimiento
Creamos
una solución para el ejercicio y la describimos en una breve narración de
texto. Además, completamos las hojas de tareas (personas relevantes, eventos,
lugares). Dos evaluadores externos utilizaron este material para calificar las
hojas de tareas anónimas y los informes. Para las hojas de tareas, los
evaluadores otorgaron cada punto del elemento correcto 1, mientras que los
elementos mal identificados (falsos positivos) perdieron 1 punto. Esta regla de
calificación arrojó unos pocos puntajes negativos para los participantes que
enumeraron más falsos positivos que respuestas correctas. El puntaje máximo
alcanzado fue de 29 puntos. Los evaluadores también calificaron subjetivamente
cada descripción narrativa en una escala del 1 al 7, donde 7 indica
"Altamente preciso; Golpea la trama principal; Cubre toda la evidencia de
apoyo y las sub-historias "y 1 indica" No se puede encontrar la trama
principal; No hay sub-historias relevantes; Señala hechos y eventos irrelevantes”.
Hemos promediado los puntajes de dos evaluadores para los puntajes finales.
3.5 Recopilación y análisis de datos
A lo largo del estudio, nos centramos
principalmente en recopilar datos cualitativos, como observaciones, notas de
entrevistas de seguimiento y grabaciones de video de todas las sesiones.
Siempre que fue posible, también recopilamos datos cuantificables, como el
número de documentos vistos y el número de consultas realizadas. Para observar
más de cerca los patrones de uso de Jigsaw, registramos las interacciones de
los usuarios y las operaciones de visualización.
Durante
la fase temprana de análisis exploratorio, utilizamos un enfoque inductivo para
examinar datos cualitativos. A medida que leemos las notas de las observaciones
y entrevistas, surgieron conceptos y categorías potenciales, incluidas las
estrategias de los participantes, la influencia de Jigsaw en el proceso de
análisis y las características de la creación de sensaciones. Estas categorías
amplias se refinaron con incidentes específicos, anécdotas y ejemplos del
análisis detallado. La información detallada, como el video y los datos de
registro, se utilizaron como complemento de las notas de observación cuando
quisimos examinar y aclarar los hallazgos. Examinamos los videos y la
visualización del registro después de identificar las estrategias de
investigación para verificar el proceso de cada participante. Como el análisis
evolucionó, el análisis inductivo y el análisis deductivo se utilizaron al
mismo tiempo porque algunos conceptos se desarrollaron más que otros.
4 RESULTADOS Y ANÁLISIS
El
primer bloque de filas en la Tabla 1 resume los resultados de desempeño de los
participantes por configuración. Normalizamos las clasificaciones de las hojas
de tareas y el desglose (ponderada por igual) a una escala de 100 puntos para
determinar una puntuación final y las agrupamos en cinco categorías (mala,
regular, buena, muy buena, excelente) a través de las clasificaciones de
quintiles. Nuestro enfoque aquí no fue producir diferencias estadísticamente
significativas. Con una población de sujetos tan pequeña, parece dudoso que se
puedan encontrar tales resultados. En cambio, vemos estos resultados como
sugerencias de desempeño general y los relacionamos con hallazgos más
cualitativos que se analizan más adelante. Dentro de ese contexto, observe que
los participantes en el entorno de Jigsaw obtuvieron calificaciones excelentes,
excelentes, muy buenas y buenas. Si promediamos los puntajes fi nales de los
cuatro participantes en cada configuración, los que usaron Jigsaw claramente
superaron a los de los otros tres ajustes que produjeron puntajes finales
promedio similares. P4 (configuración de papel) y P12 (configuración de
entidad) también se realizaron de manera excelente.
4.1 Patrones de actividad
Debido a la naturaleza exploratoria de la
tarea, teníamos curiosidad acerca de los patrones de actividad generales, como
cuántos de los documentos se vieron en total, qué documento se vio más y
cuántas veces se vio cada documento. También determinamos cuántas consultas de
búsqueda realizó un participante y cuándo se realizó la primera consulta. Para
aquellos participantes que tomaron notas en papel, nos identificamos cuando
empezaron a tomar notas, así como cuántas y qué tipo de notas tomaron. Además,
nos identificamos cuando cada participante comenzó a completar las hojas de
tareas. Diez de los dieciséis participantes vieron todos los documentos al
menos una vez (segundo bloque de filas en la Tabla 1). Curiosamente, todos los
participantes de Paper y Desktop leen todos los documentos, pero solo uno en
cada configuración de Entity y Jigsaw lo hizo. La frecuencia de las consultas
de búsqueda emitidas por cada participante varía, de 4 a 91 veces (tercer
bloque de filas en la Tabla 1). (Obviamente, los participantes en la
configuración de Papel no pudieron realizar consultas). En general, aquellos en
la configuración de Entidad emitidos. Más consultas y comenzar a hacerlo
relativamente temprano en la sesión. Las grandes diferencias individuales
existían en todas las configuraciones, dependiendo de cuánto confiaba cada
persona en las consultas en su análisis. El cuarto bloque de filas en la Tabla
1 resume el comportamiento de los participantes en la toma de notas y la finalización
de la hoja de tareas. Trece de cada 16 personas tomaron notas en papel, y las
de la configuración de Papel y Escritorio tomaron relativamente más notas. La
mayoría de los participantes anotaron nombres, lugares y eventos importantes
junto con el número del documento.
Algunos dibujaron un mapa simplificado y
usaron flechas para ilustrar rastros de personas. La mayoría de los
participantes comenzaron a tomar notas bastante temprano en el proceso. En
particular, aquellos en la configuración de Papel típicamente comenzaron a
tomar notas tan pronto como comenzaron a leer. El tiempo en que cada
participante comenzó a completar las hojas de tareas varió; algunas personas
trabajaron en ellos justo después de descubrir cierta información, como nombres
repetidos, ubicaciones o eventos relevantes para la trama. La mayoría leyó los
documentos y trabajó simultáneamente en las hojas de tareas. Varios
participantes (P1, P2, P6, P9, P13, P14 y P15) comenzaron las hojas de tareas
en medio del proceso, cuando tenían cierta confianza en su hipótesis. P3 y P8
esperaron para completar las hojas de tareas casi hasta el final de la sesión,
y resultó que todavía no habían determinado qué escribir.
4.2 Patrones generales por ajuste
Además
de los patrones de actividad general de los participantes, examinamos cómo los
participantes en cada entorno abordaron el análisis.
Configuración
de papel Los participantes en la configuración de Papel mostraron patrones de
actividad únicos en parte porque era la única configuración que no incluía
ninguna ayuda tecnológica. Desde que recibieron documentos en papel, los
participantes tuvieron que clasificar los documentos físicamente. Dos
participantes colocaron todos los documentos en una mesa grande, organizados
por mes o por conexión (por ejemplo, personas de la misma organización). Dos
sostuvieron todos los documentos en sus manos y los clasificaron en grupos
importantes o no importantes. Colocaron los documentos que no consideraban
importantes en la mesa boca abajo. Cuando necesitaban volver a consultar uno de
estos documentos, los participantes los volvieron a voltear. Las personas en
este entorno, en su mayoría, hicieron anotaciones directamente en los
documentos, incluidos números de documentos relacionados, personas y eventos.
La mayoría tomó notas en hojas de papel separadas y registró información
importante de cada documento, lo que facilita la búsqueda de nuevo. También
hicieron conexiones entre los documentos, nombres, ubicaciones y eventos
dibujando líneas y flechas en las notas. Obviamente, los participantes en esta
configuración se basaron en gran medida en la lectura para el análisis y cada
uno leyó cada documento de la colección.
Configuración
de escritorio Los participantes en esta configuración recibieron 50 archivos de
texto separados y pudieron usar la búsqueda de escritorio de Microsoft para la
búsqueda de palabras clave. Cada participante abrió y leyó cada archivo de
texto de uno en uno, excepto un participante que combinó todos los archivos de
texto en un solo documento de Microsoft Word. Aunque la búsqueda estaba
disponible, los participantes parecían usarla como una herramienta
complementaria y principalmente enfocado en leer todos los documentos. En
promedio, cada persona emitió 23 consultas de búsqueda, de 8 a 48. Algunas
consultas se repitieron; Los participantes a menudo buscaron la misma palabra
clave varias veces. Curiosamente, dos participantes en la configuración del
escritorio organizaron los documentos de texto de acuerdo con su propio esquema
de clasificación y se esforzaron por administrar los documentos en el espacio
disponible. Los participantes tenían cuatro monitores para usar, por lo que
agruparon documentos, por ejemplo, por ubicaciones, y colocaron a cada grupo en
un monitor diferente. Un participante redimensionó cada documento y los colocó
en pantallas para que pudiera ver tantos documentos como fuera posible. Debido
a que estos participantes no querían saturar la pantalla, a menudo cerraban y
volvían a abrir los archivos mientras realizaban el análisis. Todos los
participantes en este escenario tomaron notas en papel.
Configuración
de la entidad La configuración de la entidad fue similar a la configuración del
escritorio, excepto que las entidades se destacaron en los documentos. Los
participantes recibieron la Vista de documento de Jigsaw que mostraba cada
entidad con un color de fondo tenue único para el tipo de entidad (por ejemplo,
personas, lugar, organización). Los participantes también pueden buscar
palabras clave, incluidas entidades, utilizando la capacidad de búsqueda de
Jigsaw. Para comprender mejor cómo se usó Jigsaw (o una parte de él como en
esta configuración), implementamos un mecanismo de registro y registramos las
interacciones de los usuarios seleccionados y las operaciones de visualización,
incluidas las consultas de búsqueda, la visualización de documentos en la Vista
de documentos y todas las demás acciones de visualización. (en la configuración
de Jigsaw). Dado que la visualización o la presentación de un documento en la
Vista de documento no significa necesariamente que el participante realmente
leyó el documento, decidimos imponer un criterio en esta medida: consideramos
que un documento se está leyendo si se mostró en una Vista de documento durante
al menos cinco segundos.
La
Figura 2, en la parte superior, muestra una descripción general del patrón de
uso de las diferentes vistas para los ocho participantes en la configuración de
Entidad y Rompecabezas. Cada fila de píxeles en los mapas representa un minuto
y el color codifica la vista que está utilizando (ventana activa) el
participante en ese momento. Gris muestra los períodos en que los participantes
trabajaron en las hojas de tareas (no hay una ventana activa de Jigsaw). Con
respecto a los procesos de los participantes en la configuración de Entidad,
los mapas para P10, P11 y P12 son relativamente consistentes; el mapa para P9
es ligeramente diferente ya que tiene períodos más largos para tomar notas. El
resaltado de entidades de Jigsaw pareció ayudar a los participantes a escanear
los documentos más rápido, centrándose más en información esencial como
nombres, lugares y eventos. Mientras que los participantes en la configuración
de Escritorio utilizaron la búsqueda más de una manera complementaria, los
participantes en la configuración de Entidad utilizaron la búsqueda más a
menudo, y la emplearon como una guía para los documentos que deben leerse a
continuación. Emitieron 58.5 consultas de búsqueda en promedio, que van de 23 a
91 consultas. Los cuatro participantes emitieron su primera consulta muy
rápidamente después de comenzar la sesión. Los términos de búsqueda se
repitieron a menudo como en la configuración de escritorio. Tres participantes
que se basaron totalmente en la exploración basada en búsquedas no leyeron
todos los documentos, en su lugar se centraron solo en los que aparecen en la
búsqueda. La gente en este contexto no tomó muchas notas; Dos ni siquiera
tomaron ninguna nota.
Fig.
2. Descripción general de los patrones de uso de Jigsaw (en la parte superior)
y un extracto del patrón de uso detallado con video para P16 (en la parte
inferior). P9-P12 estaban en la configuración de Entidad, por lo que solo
accedieron a la Vista principal y la Vista de documento en Rompecabezas.
P13-P16 utiliza el sistema completo.
Configuración
de rompecabezas Los participantes que utilizaron Jigsaw comenzaron el análisis
utilizando la Vista de documento. Posteriormente abrieron otras vistas, como la
Vista de lista, la Vista de gráfico y la Vista de grupo de documentos. A pesar
de que intentaron diferentes vistas al principio del análisis, estos
participantes tendieron a quedarse más tarde con una vista más además de la
Vista de documento. La vista utilizada con mayor frecuencia fue la Vista de
lista. Tres participantes lo utilizaron y la Vista de documentos para la
mayoría de la sesión. Algunas veces agregaron la Vista de gráfico y la Vista de
grupo de documentos, pero generalmente solo para una exploración adicional en
lugar de una investigación importante. Estos tres participantes tomaron un
enfoque de exploración centrado en las personas; colocan personas y documentos
en dos columnas en la Vista de lista y nombres seleccionados para leer
documentos asociados en la Vista de documento. A la inversa, P13 rara vez usaba
la vista de lista, pero en cambio usaba la búsqueda para encontrar documentos
de interés. Los participantes en la configuración de Jigsaw emitieron 20.5
consultas de búsqueda en promedio, de 4 a 44. Si bien la lectura de documentos
fue una actividad importante, tres participantes en esta configuración no
leyeron todos los documentos. En su lugar, leen documentos de forma selectiva
utilizando la vista de lista y la función de búsqueda. Raramente tomaban notas,
pero cuando lo hacían, las notas eran sobre hipótesis o hechos confirmados.
La
Figura 2 muestra los mapas de actividad específica para los participantes en la
configuración de Rompecabezas. P13 trabajó principalmente con el documento y la
vista de gráfico (la lista, el grupo de documentos, la vista de calendario
también se usaron); P14 utilizó principalmente la vista de lista (también se
usaron el documento, la línea de tiempo y la vista de gráfico); P15 se centró
en la vista de lista y documento (también se usó la vista de gráfico); P16
utilizó todas las vistas y se centró en la vista de lista y grupo de
documentos. La parte inferior de la figura muestra una pequeña parte del patrón
de uso detallado para P16. Cada fila de píxeles representa cuatro minutos y los
colores codifican de nuevo las vistas activas. Las filas están anotadas con
consultas emitidas y documentos vistos. Esta vista se sincronizó con el video
grabado (abajo a la derecha) usando un control deslizante, y lo usamos para
ayudar a nuestro análisis de las sesiones.
5 ESTRATEGIAS DE INVESTIGACIÓN
Aunque
la configuración de un participante influyó claramente en la forma en que se
realizaron, otro factor importante surgió después de ver repetidamente el video
y los datos de registro de las 16 sesiones. Notamos que los participantes
emplearon diferentes estilos de estrategias de investigación en sus análisis.
Si bien los límites entre los métodos de los participantes no siempre se
definieron claramente, notamos que los participantes utilizaron cuatro
estrategias de investigación generales, independientemente del entorno en el
que se encontraban. En esta sección, explicamos cada una de estas cuatro
estrategias y describimos una o dos. Proceso de análisis de los participantes
para cada uno con más detalle.
5.1 Estrategia 1: descripción general, filtro y
detalle (OFD)
La estrategia más utilizada fue “Introducción
en primer lugar, filtro y selección, y detalles detallados”, una estrategia
bastante similar al mantra InfoVis de Shneiderman [16]. Seis participantes de
los 16 realizaron análisis utilizando esta estrategia (quinto bloque de filas
en la Tabla 1). Comenzaron escaneando rápidamente todos los documentos y
construyendo ideas iniciales de la trama. Al obtener una visión general, la
mayoría de las personas anotaron palabras clave importantes con los números de
documentos correspondientes, dibujaron círculos y líneas para indicar las
conexiones entre las palabras clave y los documentos, y luego utilizaron estas
notas como un índice para encontrar documentos relevantes. Después de escanear
todos los documentos, volvieron a visitar los documentos relevantes de forma
selectiva, ya sea buscando directamente el documento o buscando una palabra
clave que destaque. Luego, leen cada una cuidadosamente, extrayendo información
clave para las hojas de tareas. Especulamos que esta estrategia funcionó bien
en esta tarea porque el conjunto de datos era relativamente pequeño. Los
participantes pudieron obtener una idea inicial de los documentos importantes o
palabras clave simplemente escaneando todos los documentos. Sin embargo, debido
a que tomaron una decisión sobre la importancia de cada documento o palabra
clave en función de su propio juicio subjetivo, a veces se perdieron detalles
importantes.
Ejemplo: P2 (Configuración de papel) El participante 2 comenzó el análisis leyendo los documentos uno por uno. Después de leer 10 documentos, trató de agrupar los documentos por similitud de contenido. Sin embargo, esta clasificación no funcionó bien y ella comenzó el proceso nuevamente. Esta vez, escaneaba todos los documentos y los agrupaba en los que parecían relevantes para la trama y los que parecían irrelevantes. El primer documento que leyó fue sobre un robo de municiones de armas en Atlanta y lo utilizó como criterio para ser relevante. Después de escanear todos los documentos, P2 comenzó a leer la primera colección de documentos relevantes con mucho cuidado. En este punto, ella comenzó a llenar las plantillas de solución. En la entrevista posterior a la sesión, ella dijo que se había enfocado en "Colorado" y "robo" y había completado cualquier cosa relevante para ellos. Después de revisar todos los documentos en el grupo aparentemente relevante, se dirigió al conjunto de documentos irrelevantes y los revisó rápidamente. Aquí, estaba escaneando en busca de documentos potencialmente relevantes que se había perdido anteriormente. Después de identificar algunos, leyó estos documentos cuidadosamente y llenó las plantillas. Luego, trabajó en el resumen del resumen y terminó el análisis.
5.2 Estrategia 2: Construir a partir de detalles (BFD)
La
estrategia, “Construir a partir de detalles”, contrasta con la anterior. Tres
participantes utilizaron esta estrategia. Comenzaron el análisis a partir de
los detalles de cada documento, leyéndolo cuidadosamente. Aunque utilizaron la
función de búsqueda cuando surgieron frases o palabras importantes (donde
corresponda), fue más un uso auxiliar que un enfoque principal. Emitieron
relativamente pocas consultas. En su lugar, se centraron en cada oración de los
documentos, por temor a perder información relevante. Algunos intentaron
escribir palabras clave importantes para cada documento, lo que llevó incluso
más tiempo. Debido a que prestaron atención a cada detalle, fue difícil para
ellos ver el "panorama general" de la trama, y por lo tanto esta
estrategia resultó ser la menos efectiva de las diferentes estrategias, como lo
mencionó un participante: P8: Si tuviera que hacerlo otra vez, escanearé todos
los documentos varias veces hasta que tenga una visión general. Esta vez, leí
los documentos con mucho cuidado uno por uno y me llevó mucho tiempo. Todavía
no he descubierto de qué trata la historia.
Ejemplo: P8
(Configuración de escritorio)
El participante 8 abrió cada archivo de texto
en orden y lo leyó cuidadosamente. Tomó notas sobre eventos y nombres importantes
y los identificó a través del número de documento. Después de abrir varios
documentos de esta manera, decidió cambiar el tamaño de los documentos y
colocarlos en los monitores derecho e izquierdo para poder verlos todos.
Mientras leía más documentos, comenzó a agruparlos por relevancia en los
monitores. Puso documentos relacionados con ciertos lugares en el monitor
izquierdo y derecho, y cualquier documento relacionado con nombres en el
monitor superior. Sin embargo, cuando comenzó a clasificar más documentos y las
superposiciones entre ubicaciones y personas se hicieron evidentes, se dio
cuenta de que este esquema de clasificación no estaba funcionando. A veces
destacaba palabras clave importantes dentro de los archivos de texto. A lo
largo del análisis, emitió solo ocho consultas de búsqueda. Seis de las ocho
consultas estaban relacionadas con ubicaciones, tales como ciudades y estados. Después de una
hora, finalmente comenzó a trabajar en la hoja de tareas en el monitor
principal (medio) y trabajó en el esclarecimiento después de otros 20 minutos.
5.3 Estrategia 3: Pulse la palabra clave (HTK)
Algunos participantes utilizaron una
estrategia inesperada: una exploración intensiva basada en palabras clave. No
iniciaron el análisis leyendo un documento específico, sino que buscaron
directamente algunas palabras clave específicas, como "terrorista" o
"Al-Qaeda". Leyeron solo los documentos relacionados y luego buscaron
otros términos que surgieron durante ese tiempo. Esto no cubrió todos los
documentos, y estos participantes ignoraron el resto de documentos que podrían
no haber sido presentados. Dado que la efectividad de esta estrategia dependía
de la idoneidad de los términos elegidos en la etapa inicial, el desempeño
varió entre los participantes que utilizaron esta estrategia. Mientras que P10
y P11 mostraron un desempeño pobre, P14 se desempeñó bastante bien al usar esta
estrategia. Estaba en la configuración de Rompecabezas, y comenzó a usar la
Vista de lista incluso antes de leer cualquier documento o usar el panel de
control de búsqueda. Primero agregó todos los documentos en la primera lista,
todas las personas en la segunda lista y todos los lugares en la tercera lista.
Luego ordenó la segunda lista por frecuencia de aparición, lo que hizo que las
personas aparecieran con mayor frecuencia hacia la parte superior.
Seleccionando el nombre de una persona, los documentos resaltados que contenían
el nombre en la primera columna, y él leyó esos documentos en la Vista de
documento. Después de leer algunos documentos relevantes para aquellas personas
que estaban en la parte superior de la lista, se trasladó a la tercera columna,
coloca y repite el mismo proceso. De esta manera, pudo leer la mayoría de los
documentos relevantes para personas y lugares "importantes". Este es
un resultado similar al de aquellos que buscaron nombres y lugares
particulares, pero fue mucho más eficiente ya que no tuvo que dedicar tiempo a
decidir qué palabras clave buscar y qué documentos leer. De hecho, hizo solo
cuatro consultas de búsqueda en total. En contraste, P10 y P11 realizaron
aproximadamente 60 consultas, pero solo algunas de ellas recuperaron los
documentos más importantes, lo que resultó en un desempeño deficiente.
Ejemplo: P10 (Configuración de la entidad)
Cuando
comenzó la sesión, el participante 10 abrió tres ventanas de Vista de documento
y las colocó en los monitores superior, izquierdo y derecho, y colocó el panel
de control (cuadro de búsqueda) en el monitor central. El participante ingresó
el término de búsqueda "Al-Queda" y esto trajo algunos documentos.
(En la entrevista posterior a la sesión, el participante dijo que encontró a
tres miembros de Al-Queda y rastreó sus actividades). Para leer cada documento,
P10 usaba principalmente la Vista de documentos en el monitor izquierdo. Afirmó
que colocó las ventanas de Vista de documento en los monitores derecho y
superior para uso futuro. Luego, comenzó a llenar la hoja de tareas con nombres
y eventos de los documentos. No tomó notas separadas. Cuando el participante
emitió una nueva consulta de búsqueda, por lo general no borró los documentos
anteriores, lo que provocó que una Vista de documento tuviera resultados
agregados de varias consultas. Después de una hora, seguía emitiendo consultas
por términos que no eran relevantes para la trama. En total, leyó solo 31
documentos y perdió muchos importantes.
5.4 Estrategia 4: encontrar una pista, seguir el
rastro (FCFT)
La
estrategia "Encuentre una pista, siga el rastro" es un enfoque
híbrido de las estrategias anteriores, y cuatro participantes lo siguieron.
Invirtieron algo de tiempo en leer los primeros documentos para comprender el
contexto y encontrar una pista, luego siguieron el rastro de forma rigurosa
utilizando la búsqueda u otras funcionalidades proporcionadas por la
herramienta. En teoría, esta puede ser una buena estrategia porque la atención
del analista se centra únicamente en documentos relevantes. La inversión
inicial en la lectura de algunos documentos se amortiza porque aumenta la
posibilidad de encontrar la pista correcta. El desempeño de los participantes
que usaron esta estrategia es notablemente bueno. Cuando examinamos más de
cerca esta estrategia, encontramos dos subestrategias. Al seguir el rastro, P7
y P12 intentaron leer cada documento en el conjunto de datos al menos una vez y
se aseguraron de que no se perdieran ninguna conexión. Esto puede funcionar
para un conjunto relativamente pequeño de documentos como estaba presente aquí,
pero a medida que aumenta el tamaño de un conjunto de datos, es probable que
surja un problema de escasez de atención porque el analista debe realizar un
seguimiento de lo que se ha leído y lo que no.
Los
participantes del rompecabezas P13 y P16, sin embargo, no rozaron el resto de
documentos que no estaban en el camino. Leen solo 31 y 23 de los 50 documentos,
respectivamente. Dado que obtuvieron los puntajes más altos entre los
participantes, parece claro que se enfocaron solo en partes importantes del
conjunto de datos, a lo largo del camino. A partir de los datos de registro,
identificamos que ambos leyeron los 23 documentos importantes y que la mayoría
de los documentos irrelevantes para la trama no fueron vistos. P16 identificó a
uno de los principales actores de la trama al comienzo del análisis y exploró
efectivamente la colección de documentos siguiendo el rastro de esa persona.
P16: Me gusta este primer enfoque de personas. Una vez que identifico a las
personas clave, también surgen cosas que son potencialmente importantes. Soy
una persona impaciente y no quiero leer todos los documentos cronológicamente.
Esta puede ser una estrategia fructífera cuando hay una gran cantidad de
documentos. Sin embargo, todavía existe la posibilidad de un callejón sin
salida si el analista sigue un camino equivocado. En ese caso, la capacidad de
cambiar rápidamente a otra pista es crucial. P13: comencé desde un nombre y lo
seguí. Tuve esta dirección por un tiempo y me di cuenta de que no era una buena
manera. Estaba en un callejón sin salida. Luego vi a otros nombres saliendo una
y otra vez, otras áreas saliendo, luego obtuve una historia de lo que está
pasando.
Ejemplo: P13 (configuración de rompecabezas)
El
participante 13 comenzó el análisis repasando algunos documentos en la Vista de
documento. Al principio, se centró en una historia incorrecta y sus primeros
seis términos de consulta no eran relevantes para la trama principal. Una vez
que se dio cuenta de que este camino no era fructífero, comenzó de nuevo el
proceso y dirigió su atención a otras pistas. Al hacerlo, notó ciertas palabras
como "bombas" y otras cosas relacionadas con armas y misiles.
Persiguió este ángulo, ingresó un término de búsqueda en el panel de control,
se trasladó a la Vista de documentos para leer documentos relacionados y luego
notó que surgían otros elementos que se expandían desde allí. Una vez que P13
comenzó a entender la historia y la clave.
La
información, puso a un lado las ventanas de Vista de documento con documentos
relacionados y las movió al monitor superior. Él “congeló” esos documentos
desactivando la escucha de eventos en estas vistas. Después de unos 30 minutos,
usó la Vista de gráfico para validar sus suposiciones acerca de las relaciones
entre nombres, eventos y ubicaciones. P13 tomó notas durante la sesión junto
con la lectura. Sus notas incluían no solo ubicaciones clave, eventos y
personas, sino también preguntas e hipótesis. Aproximadamente 50 minutos
después, comenzó a ingresar nombres en la hoja de tareas. Dijo que creía que
esos nombres eran importantes para la historia y decidió juntarlos y volver a
leer los documentos relacionados con los nombres. Trabajó intensamente en la
hoja de tareas mientras hacía esta iteración. Al final del análisis, volvió a
visitar las ventanas de Vista de documento que había colocado en el monitor
superior y las remitió al completar la hoja de tareas. Comenzó a escribir la
descripción resumida con solo 6 minutos para el final, pero ya sabía lo que
quería escribir y pudo terminarlo a tiempo.
6 DISCUSIÓN
6.1 Influencia de Jigsaw
Entre
las cuatro condiciones del estudio, el grupo que usó Jigsaw generalmente superó
a los otros grupos en general. El peor desempeño de un participante en este
grupo fue "bueno", mientras que el desempeño de los participantes en
las otras configuraciones varió más. Basados en observaciones, entrevistas,
videos y análisis de registros, identificamos varios beneficios que Jigsaw
aparentemente proporcionó a los usuarios.
6.1.1 Apoyando diferentes estrategias
Al
examinar el proceso de análisis de cada participante, observamos que los cuatro
individuos de configuración de rompecabezas utilizaron tres estrategias
diferentes. Esto sugiere que Jigsaw apoyó bien diferentes estrategias de
análisis. Por ejemplo, como se explicó en la sección anterior, P14 pudo
realizar una exploración basada en palabras clave de manera efectiva utilizando
la función "ordenar por frecuencia" de la Vista de lista. P15, que
utilizó la estrategia de "descripción general, filtro y detalles",
usó la Vista de lista para comprender la idea principal acerca de las personas
importantes, sus organizaciones y ubicaciones luego de revisar rápidamente
todos los documentos en la Vista de documento. Abrió una Vista de lista
adicional, puso a todas las personas y todos los documentos en dos listas, y lo
usó como un índice cuando necesitaba revisar los documentos en su segunda
iteración. P13 y P16 utilizaron la estrategia de “encontrar una pista, seguir
el rastro”, que fue efectiva en todos los entornos. Sin embargo, encontramos
que estos dos individuos se desempeñaron incluso mejor y de manera más
eficiente que aquellos que usaron la misma estrategia en los demás entornos.
6.1.2 Mostrar conexiones entre entidades
La
funcionalidad clave de Jigsaw es mostrar conexiones entre entidades como
personas, organizaciones y lugares. Teníamos la creencia de que mostrar
conexiones ayudaría al proceso de análisis, y el estudio reveló claramente
evidencia para respaldar esto. Los participantes que utilizaron Jigsaw tuvieron
un buen desempeño, aunque no aprovecharon por completo muchas capacidades del
sistema, en parte debido a la capacitación limitada y la falta de familiaridad
con Jigsaw. Sobre todo, utilizaron la vista de lista para explorar conexiones Múltiples participantes en las configuraciones
que no eran de Jigsaw querían ver conexiones integrales entre entidades. Muchas
de las notas generadas contenían nombres, fechas y lugares importantes. Se
unieron por líneas y se utilizaron para evaluar la centralidad de ciertos
elementos, para comprender qué es importante y para decidir qué examinar más a
fondo. Las conexiones que los participantes dibujaron en papel y las
funcionalidades que deseaban son similares a las capacidades proporcionadas por
Jigsaw. La figura 3 muestra algunos ejemplos. Cuando se les preguntó cuáles
eran los aspectos más desafiantes del análisis, seis de los doce participantes
que no usaron Jigsaw mencionaron la dificultad para establecer conexiones: P8:
Conectar nombres y documentos fue difícil. A veces, cuando dos documentos están
relacionados, no hay forma de buscarlos si no hubiera marcado [la conexión] en
cada documento. P3: Fue realmente difícil conectar la información actual a lo
que leí anteriormente. Demasiados nombres y lugares. Algunos participantes
también declararon que cambiarían su estrategia y harían las conexiones más
visibles si tuvieran que hacer la tarea nuevamente:
P3:
Escribiría nombres importantes, lugares y eventos y los pondría en diferentes
formas por tipo y luego mostraría las conexiones entre ellos mediante líneas y
flechas. P5: Usaré más enlaces para hacer las conexiones visibles. No es como
mapas mentales o diagramas. No me gustan los mapas sin orden. No me ayudan a
entender el contexto. Preferiría vincularme con algún tipo de esquema de
ordenamiento. En contraste, ninguno de los participantes en la configuración de
Jigsaw identificó las conexiones como un problema. Más bien, se enfocaron en
los desafíos en la organización y el seguimiento de la información relevante.
6.1.3 Ayudar a los usuarios a encontrar la pista correcta
Encontrar
una pista adecuada al principio del análisis es crucial y, a veces, incluso
determina el rendimiento completo. Los participantes a menudo parecían adoptar
una especie de "visión de túnel" sobre lo que era importante, lo que
puede ser problemático con grandes colecciones de documentos. A pesar de que el
conjunto de datos utilizado en este estudio fue relativamente pequeño, los
participantes aún se beneficiaron de que Jigsaw encontró un buen punto de
partida. Las nubes de etiquetas, el resaltado de entidades y las conexiones en
la Vista de lista ayudaron a encontrar las pistas correctas: P9: El resaltado
de entidades ayudó mucho. No tuve que leer todos los documentos y todavía podía
reconocer el patrón. P15: Creo que la nube de etiquetas es realmente
interesante. Fue útil ver algunos términos importantes cuando no sabía de qué
se trataba. P15: Primero escanee todos los documentos y tengo algunas ideas
aproximadas. Pero aún no estaba seguro de por dónde empezar. Luego abrí la
Vista de lista para explorar las conexiones entre personas y ubicaciones, y
comencé desde allí.
6.1.4 Ayudar a los usuarios a enfocarse en información
esencial
Aunque
los analistas pueden encontrar pistas iniciales apropiadas, es importante
seguir los rastros de manera eficiente.
Si
la información relativamente poco importante desvía su atención, el proceso de
investigación puede sufrir sin importar cuán rápido se descubrió una buena
pista. Descubrimos que Jigsaw ayudó a los participantes a seguir el camino
correcto e ignorar documentos irrelevantes, lo que salvó la atención del
participante para obtener información importante. Como describimos
anteriormente, dos participantes en la configuración de Rompecabezas leyeron solo
alrededor de la mitad de los documentos, mientras que la mayoría de los demás
participantes leyeron los 50 documentos al menos una vez. Estos dos
participantes de configuración de rompecabezas (P13, P16) obtuvieron los dos
puntajes finales más altos. Los otros dos participantes (P7, P12) que
utilizaron la misma estrategia y tuvieron un desempeño relativamente bueno en
las configuraciones de Escritorio y Entidad respectivamente, ambos intentaron
leer todos los documentos y realizar un seguimiento de otros nombres o eventos
mientras seguían el rastro. Esto desvió su atención y les impidió centrarse
totalmente en la historia principal. P12 (Configuración de la entidad) declaró:
P12: Debido a que busqué frases clave, leí historias relevantes y volví a otro
documento, tendí a perder la noción de todas las fechas que estaban sucediendo.
6.1.5 Revisión de hipótesis
Durante el análisis, los participantes
generaron hipótesis sobre la trama oculta y reunieron pruebas que podrían
respaldar sus hipótesis. Dos de los participantes de la configuración de Jigsaw
consideraron que la Vista de gráfico era útil como ayuda de confirmación. P15
exploró el conjunto de datos utilizando principalmente la Vista de documento y
la Vista de lista, y se redujo a las tres personas más importantes que rodean
la trama. Luego usó la Vista de gráfico para revisar su hipótesis y para
verificar si realmente eran personas clave en la trama, revisando rápidamente
los documentos relacionados y sus conexiones con otras entidades. P13: Una vez que
obtuve algunos nombres y ubicaciones que escribí en papel, alrededor de una
página y media, usé la Vista Gráfica para tener una idea de lo que está
relacionado. Esto es más con fi rmación que un hecho en este caso. Todo lo que
estaba en el medio era básicamente lo que ya sabía ... así que ... lo usé para
validar lo que estaba pasando. Fue útil pero en un sentido diferente. No se
trata de encontrar nuevos hechos sino de preguntar, ¿verdad? ¿Qué eran las
cosas que muestra la gráfica?
6.1.6 Motivación creciente
Durante
el estudio, notamos que los participantes en el entorno de Jigsaw a menudo
pedían más tiempo, no porque aún no habían descubierto la trama, sino porque
querían examinar más de cerca sus hipótesis y más evidencia. Dado que estas
personas pasaron 30 minutos adicionales en el entrenamiento antes de la sesión
y el tiempo de la tarea duró 90 minutos, nos sorprendió que tres de los cuatro
quisieran continuar por más tiempo. Para las otras configuraciones, solo P9 en
la configuración de Entidad solicitó más tiempo y su análisis fue uno de los
peores. Tres participantes en la configuración de Papel detuvieron su análisis
antes del tiempo asignado. Sus tareas fueron justas, muy buenas y excelentes,
por lo que el rendimiento analítico no parece ser una causa directa. Estas
observaciones sugieren que Jigsaw puede haber aumentado la motivación y hacer
que los procesos analíticos sean más agradables.
6.2 Las observaciones sobre Sensemaking Pirolli y Card
han propuesto un Modelo Think Loop de Sensemaking [14] que consta de dos bucles
principales, un bucle de forrajeo y un bucle sensemaking, y varias etapas
intermedias que incluyen "caja de zapatos", "archivo de
evidencia" y "esquema".
Según
el modelo, un analista recopila información sin procesar en una "caja de
zapatos" a través del filtrado y la búsqueda. Los fragmentos de esta
evidencia se procesan en un "archivo de evidencia". La información de
esta evidencia se puede organizar de acuerdo con algún "esquema" o
forma conceptual, ya sea en la cabeza del analista o con alguna ayuda externa.
Esta organización de la información se utiliza para reunir apoyo para una
historia o un conjunto de hipótesis. Finalmente, la información se transforma
en un producto de conocimiento, como un resumen o un informe. Observamos a los
participantes del estudio y cómo sus acciones se relacionaron con este modelo.
6.2.1 Diversidad en los procesos de creación de
imágenes
Mientras que el modelo no es lineal y puede
avanzar de arriba hacia abajo o de abajo hacia arriba con muchos bucles,
encontramos que la secuencia de análisis difería significativamente entre los
individuos, incluso en la misma tarea con el mismo conjunto de datos. Algunos
participantes siguieron la secuencia linealmente con iteraciones; extrajeron y
anotaron información importante mientras leían los documentos, luego
organizaron la información de acuerdo con un esquema determinado, como el
tiempo y la ubicación, lo que finalmente llevó a una hipótesis. Algunos
participantes comenzaron a organizar la información tan pronto como leyeron los
documentos, ya sea llenando la hoja de tareas o dibujando líneas de tiempo /
mapas en papel, omitiendo así el proceso de creación de un archivo de
evidencia. Una vez que crearon una hipótesis, sacaron fragmentos de información
del esquema que no apoyaba la hipótesis. Otros participantes comenzaron de
inmediato a partir de una hipótesis sin la etapa de esquema, y luego
trabajaron en la organización para con fi rmar la hipótesis. En este caso, la
etapa de esquematización tuvo lugar al final del proceso de análisis.
Las
diferencias individuales también existieron en cada etapa del modelo. Por
ejemplo, la etapa de "lectura y extracción", en la que se recogen los
archivos de evidencia de la caja de zapatos, mostró diferencias individuales.
Cuando se encuentra mucha información desconocida, no es fácil extraer
fragmentos de evidencia simplemente leyendo documentos; El analista usualmente
necesita algunos criterios para decidir qué sacar. En nuestro estudio, algunos
participantes partieron de un conjunto específico de personas y extrajeron
información relacionada con esa gente. Aquellos que usaron la ubicación como
criterio reunieron toda la información relacionada con ciudades o países
específicos. Los participantes también extrajeron archivos de evidencia basados
en eventos específicos como robos de armas o alquiler de camiones. Aunque los
participantes utilizaron diferentes enfoques en esta etapa, no hizo una
diferencia significativa en el proceso de análisis general porque los archivos de
evidencia reunidos tendían a ser similares independientemente del criterio de
extracción, siempre y cuando el analista llevara a cabo el proceso a fondo.
Como
indican las citas, los participantes no esperaban que las hojas de tareas
ayuden a su investigación al principio, pero notaron la utilidad de las hojas
al final. Sin embargo, tenga en cuenta que los participantes simplemente
estaban marcando entidades de los documentos en las hojas de tareas, no
información nueva o meta información. La diferencia clave era que las entidades
se estaban organizando bajo un punto de vista particular. Aquellos
participantes que no construyeron un esquema o emprendieron algún proceso
organizativo tuvieron un desempeño deficiente tanto en las hojas de tareas como
en el análisis. Algunos de ellos tomaron una buena cantidad de notas, pero
ningún proceso de organización de las notas siguió. La simple reescritura de
información sin imponer un esquema organizativo no parece ayudar al proceso de
creación de sentidos.
6.2.3 Adquisición de la visión
Todavía es difícil para nosotros identificar
exactamente cuándo las personas obtuvieron una idea clave durante el proceso de
investigación. Cuando preguntamos a los participantes cómo sabían que estaban
progresando hacia los objetivos, la respuesta común fue "cuando las piezas
de un rompecabezas comenzaron a conectarse y armarse". En lugar de que se
produjera una visión espontánea (la "bombilla encendida"), la
percepción pareció formarse continuamente a lo largo de la investigación, no
muy diferente de la descrita por Chang al. [17]. Los participantes tuvieron
dificultades para identificar cuándo “obtuvieron” la trama. P13 que obtuvo la
puntuación más alta, cuando se le preguntó sobre esta dificultad, declaró:
P13:
Bueno, eso es interesante. No lo sé. Los nombres aparecen mucho, hay todas
estas relaciones como, por ejemplo, parece que hay Colorado y Georgia, y hubo
organizaciones allí. Tienes esta idea que simplemente se valida.
6.3 Comparación entre analistas profesionales y
participantes estudiantiles
Chin
et al. [11] realizó un estudio de caso de observación con analistas
profesionales de inteligencia y reveló varias características de los procesos
analíticos de los analistas. El objetivo de nuestra investigación era similar:
nuestro objetivo era comprender cómo las personas abordarían el análisis
investigativo utilizando sistemas analíticos visuales. Si bien el escenario
ideal hubiera sido utilizar analistas reales como participantes del estudio,
realizamos el estudio con estudiantes graduados por razones prácticas. Además,
queríamos ver hasta qué punto nuestros hallazgos reflejaban los procesos
analíticos de analistas reales. Sería interesante comparar y contrastar los
resultados de los dos estudios, ya que la mayoría de los estudios de usuarios
en esta área se realizan con aquellos que no son necesariamente expertos en el
dominio.
6.3.1 Características comunes
Chin et al. descubrió que incluso para los
analistas de inteligencia (AI), el proceso analítico a menudo se considera
indefinido y se perpetúa a sí mismo. Por lo tanto, los AI siempre se están
moviendo hacia nuevas consultas y nuevas líneas de investigación. El análisis
de inteligencia generalmente se realiza dentro de un período de tiempo
específico y, para los AI, el análisis nunca se completa por completo, sino que
es válido en la medida en que se muestra la evidencia actual y el momento del
análisis. En nuestro estudio, los participantes a menudo expresaron tal
incertidumbre en sus hallazgos después de la sesión. Incluso aquellos que
obtuvieron las calificaciones más altas explícitamente dijeron que todavía
estaban confundidos y no estaban seguros de sus conclusiones. Debido a una
línea de tiempo limitada, los AI expresaron que a menudo abandonarían un
enfoque sistemático para satisfacer las limitaciones de tiempo. Bajo presión de
tiempo, los AI pueden conducir mentalmente muchos aspectos de un análisis sin
adherirse a una ruta de investigación particular o documentar hallazgos
intermedios. Nuestros estudiantes participantes mostraron patrones similares.
Incluso cuando inicialmente adoptaron un enfoque sistemático, pronto se
rindieron debido a limitaciones de tiempo y, en su lugar, realizaron la
investigación mentalmente hasta que comenzaron a trabajar en los entregables.
Dos características interesantes de nuestro estudio fueron cómo los
participantes en entornos que no eran de Jigsaw intentaron agrupar los
documentos en grupos por agrupación física y cómo intentaron hacer conexiones
al dibujar líneas y relacionar información relevante en papel. Los AIs tomaron
pasos similares en sus procesos analíticos. Chin et al. observó que “un
analista se sentó en el o fi cial de la oficina y colocó las copias impresas en
un círculo a su alrededor para que pudiera ver los documentos de una vez.
Etiquetó cada uno de los documentos para rastrearlos y los apiló de acuerdo a
sus tipos. Luego, dibujó manualmente un gráfico que mostraba las relaciones
entre los documentos. Más tarde, la IA rediseñó el gráfico de relación del
documento en MS PowerPoint ”. Otra IA leyó todos los documentos y luego marcó
cada uno con un número que identificaba su relevancia e importancia. Luego
ordenó físicamente los documentos en una pila de más a menos importante y
relevante. Llamó a este proceso "triage", y este "triage"
apareció también en los procesos analíticos de muchos participantes en nuestro
estudio. Una vez que se ordenaron estos documentos, el analista extraería datos
clave de un documento a la vez y los insertaba en una hoja de cálculo.
Después
de que los AI recopilaron, recopilaron y filtraron la evidencia de los
materiales, examinaron los datos para identificar patrones y tendencias
relevantes. Principalmente buscaron tiempos, fechas y actividades, y buscaron
relaciones o conexiones clave entre hechos y evidencia. Encontramos un
comportamiento similar en nuestros estudiantes participantes. Parecía que tanto
los analistas como los estudiantes participantes se esforzaron por identificar
conexiones importantes relacionadas con los tiempos y las actividades, aunque
nuestros participantes también se centraron en gran medida en las personas.
Finalmente, chin et al. encontró que un paso importante en el proceso de
análisis es eliminar los datos y la información que se consideran irrelevantes
para limitar el alcance de la investigación y concentrarse en los detalles y
hechos más esenciales. La eliminación de datos irrelevantes también fue uno de
los principales hallazgos de nuestro estudio y destacamos lo importante que es
hacer que el proceso analítico sea más eficiente.
6.3.2 Características únicas de los analistas
profesionales
Aunque
encontramos que los estudios con analistas reales y con estudiantes
identificaron hallazgos e implicaciones similares, fue evidente que no pudimos
captar todos los aspectos de los procesos analíticos de los analistas de
inteligencia dentro de nuestro estudio. Si bien nuestros estudiantes
participantes no tenían una estrategia analítica específica antes del análisis,
los AI tienen conocimiento de varias estrategias y utilizan una que prefieren.
En el chin et al. estudio, una estrategia común de análisis de inteligencia
utilizado por los AI es el análisis de hipótesis en competencia [18]. Usando
esta estrategia, un analista delinea todas las hipótesis posibles y luego
asigna cada dato a cada hipótesis para evaluar si los datos apoyan, son
contraindicados o son irrelevantes para la hipótesis. Otra AI en el estudio de
Chin argumentó que el análisis de inteligencia no debería comenzar con ninguna
hipótesis preconcebida. Este analista sugirió dejar que "los datos se
prueben a sí mismos y se sugieran a sí mismos". Sin embargo, otra AI
promovió una estrategia de investigación de las cuatro áreas específicas de
acceso, intención, motivación y capacidad.
Curiosamente,
para los AI, los archivos físicos y las carpetas aún desempeñan un papel
destacado en la recopilación y organización de la información. A pesar de
recibir toda la información del caso en forma electrónica, cada uno de los AI
imprimió copias impresas de los documentos individuales. En sus entrevistas de
seguimiento, Chin et al. discutieron que todos sus analistas en un momento
habían realizado un análisis de inteligencia utilizando únicamente archivos y
carpetas físicos. El uso de los medios tradicionales continúa siendo parte de sus
procesos de análisis. Sin embargo, en nuestro estudio, los participantes
realizaron el análisis casi exclusivamente con herramientas computacionales,
excepto aquellas en la configuración de Papel. Suponemos que el tiempo
relativamente corto (90 minutos) del estudio impuso presión y podrían haber
sentido que el uso de soporte informático en lugar de los medios tradicionales
acortaría el tiempo de la tarea. Una diferencia notable entre los dos estudios
se relacionó con la credibilidad y la ambigüedad de los datos. En el contexto
del análisis de inteligencia, las declaraciones no son necesariamente verdades
indiscutibles. Los AI deben confrontar información que puede ser ambigua,
incompleta y / o conflictiva. El nivel de credibilidad y validez a menudo se juzga
por la credibilidad de la fuente de información, las circunstancias en que se
recopilaron los datos y la confirmación por parte de otras fuentes. También se
considera que las fuentes de datos tienen diferentes niveles de credibilidad y
la corroboración de la información es una actividad continua durante el
análisis. Sin embargo, nuestros estudiantes participantes que no recibieron
capacitación ni tuvieron experiencia en el dominio no sospecharon de la
credibilidad de los datos en sí y de las fuentes de datos. En su lugar,
asumieron que toda la información que recibieron era precisa y objetiva.
Finalmente,
los AI dependen en gran medida y ejercen su conocimiento personal al definir y
establecer relaciones, mientras que los participantes participantes tenían
relativamente poco conocimiento de fondo para aplicar. Además, nuestro estudio
no abordó otras características importantes de los procesos de AI, como la
forma en que colaboran, la forma de sus productos de análisis y las
convenciones de sus prácticas de trabajo cotidianas.
6.4 Limitaciones del estudio
El
estudio tuvo varias limitaciones que probablemente afectaron nuestros
hallazgos. En primer lugar, los resultados (puntajes) y las observaciones nos
dejaron en claro que había una gran variabilidad entre los participantes.
Especulamos que ciertos individuos simplemente tienen mejores habilidades
innatas en tales tareas de análisis. Con suerte, las herramientas de análisis
visual pueden mejorar las habilidades de las personas, ya sean débiles o
fuertes. Además, nuestros participantes eran estudiantes de posgrado, no
analistas profesionales. Como se discutió en la Sección 6.3, los estudiantes
participantes y los analistas profesionales mostraron puntos en común y
características únicas.
Aunque
hubiera sido interesante ver si existe una correlación entre una estrategia de
investigación y un entorno, el pequeño tamaño de la muestra (16) no nos
permitió examinar la relación. Por ejemplo, podríamos tomar la estrategia
"Encontrar una pista, seguir el rastro" y ver si una configuración en
particular era mejor compatible con esa estrategia en comparación con otras
configuraciones. Al examinar esa correlación se obtienen 16 (4 configuraciones
x 4 estrategias) condiciones experimentales y, por lo tanto, se requieren muchos
más participantes. Comparamos Jigsaw con otras herramientas tradicionales, pero
no con otros sistemas de análisis visual. La comparación del uso de nuestra
herramienta con otros sistemas existentes desarrollados para el análisis de
investigación habría generado resultados e implicaciones más perspicaces. Para
el estudio, utilizamos una colección de documentos relativamente pequeña, que
probablemente no sería el caso en la realidad. El tamaño de la colección se
eligió para que el experimento fuera factible en un tiempo razonable.
Especulamos que algunos de los hallazgos solo se ampliarían al trabajar con
colecciones de documentos más grandes. A lo largo de la discusión,
identificamos numerosas situaciones en las que conjuntos de datos más grandes
darían aún más importancia al resaltar conexiones, seguir rastreos de evidencia
y organizar datos y evidencias. El escenario analítico utilizado en el estudio
fue un escenario de focalización, en el que los analistas buscan "unir las
piezas" e identificar una trama oculta. Sin embargo, muchos escenarios de
investigación no tienen una solución clara y específica. En su lugar, implican
la adquisición de conocimientos generales durante un largo período de tiempo.
El desarrollo de estrategias y medidas de evaluación para estos escenarios
parece ser particularmente desafiante. Nos quedó claro que, incluso con la
capacitación en dos fases para Jigsaw, los participantes en esa condición aún
pasaban por alto muchas capacidades útiles del sistema. Con más experiencia y
capacitación, esperamos que el sistema sea aún más beneficioso. En particular,
la experiencia de realizar una investigación como esta pareció colocar a los
participantes en una posición en la que podrían comprender mejor las
capacidades del sistema si se les diera capacitación adicional.
IMPLICACIONES DEL ESTUDIO
7.1 Implicaciones de diseño para las herramientas de
IA
El estudio y sus resultados sugieren varias
implicaciones de diseño para los sistemas de análisis visual para el análisis
de investigación.
Facilite
la búsqueda de pistas Los participantes del Estudio que emplearon la estrategia
de análisis de “encontrar una pista, seguir el rastro” generalmente obtuvieron
buenos resultados en general. Por lo tanto, las herramientas de análisis de
investigación que apoyan a los analistas para encontrar puntos de inicio o
pistas apropiados y luego seguir el rastro de estas pistas de manera eficiente
podrían ser beneficiosas. Además, el desempeño de aquellos participantes que
pudieron enfocarse solo en documentos relevantes fue sobresaliente. Las
herramientas de análisis investigativo deben ayudar a dirigir la atención del
analista hacia la información más crítica.
Fomentar
transiciones suaves entre etapas SM El estudio demostró que las personas se
mueven con frecuencia entre las etapas del Modelo Think Loop, particularmente
en las partes medias del modelo. Las herramientas de análisis investigativo
deberían Permite transiciones suaves entre las etapas "shoebox",
"archivo de evidencia" y "esquema" para que se puedan soportar
diferentes secuencias del proceso de creación de sentidos. Actualmente, el
enfoque de Jigsaw está en las etapas de "caja de zapatos" y
"archivo de evidencia", pero carece de un soporte poderoso para la
etapa de "esquematización". Si bien Jigsaw parece ayudar a los
analistas a encontrar nuggets de información de manera efectiva, en realidad no
admite la recopilación de esas pruebas. En otras palabras, los analistas pueden
descubrir fácilmente las piezas para poner en un rompecabezas y tener una idea
de qué pieza va a dónde, pero también deberían recibir ayuda para juntar las
piezas. La capacidad de trabajar en la extracción de archivos de evidencia y su
organización en un esquema ayudará significativamente al proceso de creación de
sensaciones.
Compensación
de la evidencia de soporte Para que Jigsaw sea una herramienta de análisis de
investigación integral, es crucial que el sistema incluya un espacio de trabajo
en el que el analista pueda simplemente colocar / pegar entidades, establecer
conexiones entre ellas y agregar anotaciones, capacidades que se encuentran en
sistemas como el de Analyst Notebook [19], Sandbox [7] y Entity Workspace [5].
Varios participantes también señalaron esta funcionalidad faltante, incluyendo:
P16:
Recordar lo que ya había encontrado era difícil. Hacer un seguimiento de los
nombres también fue muy difícil. Cuando estaba leyendo un documento sobre
alquileres de camiones en diferentes ciudades, recordé que había leído un
documento similar antes. Ah, sí, había alguien que alquiló un camión de Chicago
a Minneapolis, pero luego olvidé su nombre y fue realmente frustrante. P12:
Probablemente haría algo como esto [las hojas de tareas] pero las extendí o las
hice en el bloc de notas para darme más espacio para poder cortar y pegar cosas
y mover las cosas.
Permita
flexibilidad en la organización Al respaldar la etapa de
"esquematizar", los desarrolladores de herramientas de análisis de
investigación deben considerar que los individuos elegirán diferentes metáforas
o esquemas organizacionales. Por ejemplo, incluso para una línea de tiempo, los
individuos imaginaron diferentes tipos de líneas de tiempo y fueron bastante
insistentes con este enfoque. En lugar de proporcionar un esquema fijo, será
beneficioso permitir la flexibilidad y el espacio para la personalización. Un
participante quería tener la capacidad de organizar una línea de tiempo por
"historia", lo que también requiere flexibilidad en los esquemas
organizativos.
P7:
Sería bueno tener palabras clave o eventos categorizados con personas /
actividades relevantes ordenadas por tiempo. Por ejemplo, puedo tener varias
historias como pasaporte, alquiler de camiones, Al-Qaeda, cosas así y, debajo
de cada palabra clave, todas las personas / actividades relacionadas se
enumeran en un orden secuencial.
Los
desarrolladores de herramientas pueden considerar que un sistema sugiera
algunos esquemas organizacionales cuando el analista ha creado un archivo de
evidencia importante pero aún no tiene un esquema, en particular para los
analistas novatos. Permanecer demasiado tiempo en la etapa de "archivo de
evidencia" parece impedir el proceso de análisis, por lo que las
sugerencias de los esquemas organizacionales pueden ser beneficiosas.
Sugerir
rutas alternativas pero respaldar la reanudación de tareas No es infrecuente
que un analista se enfrente a un callejón sin salida o que encuentre pruebas
que refuten una hipótesis existente. Las herramientas de análisis investigativo
necesitan apoyar al analista para encontrar los pasos o alternativas siguientes
apropiados haciendo que los hitos del proceso investigativo sean explícitos. De
esta manera, el analista puede regresar al punto en el que estuvo antes y
comenzar desde ese punto. Esto también garantiza que el analista pueda
continuar sin preocuparse por mantener un seguimiento de los estados
anteriores. P16: Estaba manejando demasiada información. Mientras estaba en el
análisis, tenía mucho miedo de [salirme] del camino, por lo que no quería ir
más lejos en algún momento. Siempre volvía a la etapa anterior porque quería
mantener la línea principal de la historia.
7.2 Implicaciones de la evaluación para las
herramientas de IA
El estudio también sugirió varias formas de
ayudar a evaluar los sistemas de análisis de investigación. Al comparar el uso
del sistema con métodos más tradicionales, pero de otro modo darles a los
participantes la libertad de desempeñarse como lo desean, sentimos que los
resultados son realistas y proporcionan amplias bases para el análisis
contextual y la comparación. También sugerimos que la evaluación de las
herramientas de análisis investigativo se centre en recopilar más datos
cualitativos. Si bien los datos cuantitativos son útiles cuando una solución
está bien definida y medible, la naturaleza del análisis de investigación es exploratoria
y flexible. Puede ser demasiado limitante evaluar el valor de un sistema
basándose únicamente en resultados estadísticos. La identificación de las
mejores prácticas respaldadas, los puntos de dolor particulares y los
requisitos de diseño futuros se pueden lograr mejor a través de entrevistas y
observaciones. Cuando sea posible, sugerimos el uso de datos cuantitativos como
los archivos de registro de uso y las puntuaciones de análisis para ayudar a
comprender los resultados cualitativos. Los hallazgos del estudio sugieren
posibles preguntas que deben responderse en la evaluación de las herramientas
de análisis investigativo: ¿La herramienta ayuda a proporcionar el aroma de la
información de manera adecuada, lo que ayuda a encontrar pistas iniciales?
¿Guía al analista para que siga el camino correcto, sin distracciones? ¿Soporta
diferentes estrategias (secuencias) para el proceso de creación de sensaciones?
Es decir, ¿admite transiciones suaves entre las diferentes etapas del modelo?
¿Permite la flexibilidad en la organización? ¿Ayuda a encontrar los próximos
pasos apropiados cuando se encuentra con un callejón sin salida? ¿Facilita una
mayor exploración? En este estudio, identificamos y utilizamos varias métricas,
que son ampliamente aplicables a la evaluación de herramientas de análisis
investigativo: el número de documentos importantes vistos, en relación con toda
la colección. Cuando el analista comenzó a crear representaciones como notas y
dibujos. cantidad de representaciones creadas También sugerimos dos métricas
posibles para evaluar herramientas de análisis investigativo:
Cantidad
de tiempo y esfuerzo en la organización Cantidad de tiempo que el analista
dedicó a leer / procesar información esencial
8 CONCLUSIÓN
Si bien muchos investigadores en la comunidad
de analítica visual creen firmemente que las nuevas tecnologías de analítica
visual pueden beneficiar a los analistas, demostrar que este es el caso sigue
siendo una propuesta desafiante. Claramente, un paso necesario es comparar el
uso de las nuevas tecnologías con los métodos existentes más tradicionales.
Llevamos a cabo un experimento comparando estudiantes que realizan un ejercicio
de análisis investigativo bajo una de cuatro condiciones. Aunque carece del
tamaño y la profundidad para identificar diferencias estadísticamente
significativas, el estudio, sin embargo, sugirió que los sistemas de analítica
visual como Jigsaw pueden beneficiar el análisis de investigación. Dos aspectos
de Jigsaw resultaron ser particularmente útiles: mostrar conexiones entre
entidades y reducir el enfoque. Más allá de eso, esta investigación hace varias
contribuciones a la comunidad de analítica visual:
proporciona
un diseño experimental y una metodología que otros pueden emular y aplicar.
Describe cómo los participantes usaron la visualización para obtener un
beneficio analítico y cómo su ausencia amplificó los desafíos y dificultades.
Ofrece una descripción de las cuatro estrategias analíticas empleadas por los
participantes para identificar un trama oculta. Identifica una serie de
sugerencias de diseño y capacidades para hacer que los sistemas de análisis de
investigación analítica visual sean más efectivos.
Sugiere
nuevas métricas de evaluación y factores cualitativos para realizar
experimentos en estos tipos de sistemas. La evaluación de los sistemas de
análisis visual debe progresar de manera gradual con el nuevo desarrollo
técnico para un progreso continuo. Comprender cómo y por qué los analistas de
sistemas de ayuda ayudarán a informar los futuros diseños e investigaciones.
Nuestro estudio proporciona evidencia inicial y conocimiento en esta área, y
arroja luz sobre muchas preguntas abiertas desafiantes.
AGRADECIMIENTOS
Esta
investigación se basa en el trabajo apoyado en parte por la National Science Foundation
a través del Premio IIS-0915788 y por el Centro de VACUNAS del Departamento de
Seguridad Nacional de los Estados Unidos bajo el Número de Premio
2009-ST-061-CI0001.
Jigsaw: Visual Analytics for Exploring and Understanding Document Collections
Comentarios
Publicar un comentario