View source for Trabajo:Diseño de entrega anti-sesgo para archivos digitales utilizando tecnologías descentralizadas



En esta página se desarrollará el trabajo '' Diseño de entrega anti-sesgo para archivos digitales utilizando tecnologías descentralizadas ''. Ha sido elaborado a partir de conocimientos obtenidos en la asignatura Ética, Legislación y Profesión, grupo 4ºA, impartida en la Universidad Complutense de Madrid, en la Facultad de Informática, durante el curso académico 2019-2020.

== ''' Participantes ''' ==

Alejandro Cancelo Correia. (GII 4ºA 2019/2020)

Alejandro Cilleros Garrudo. (GII 4ºA 2019/2020)

Tomás Golomb Durán. (GII 4ºA 2019/2020)

Roberto Portillo Torres. (GII 4ºA 2019/2020)

Raúl Sánchez Montaño. (GII 4ºA 2019/2020)

Mihaita Sorinel Tudor. (GII 4ºA 2019/2020)

== ''' Resumen del trabajo ''' ==

Nuestro trabajo consiste en el diseño, estudio económico y social de un sistema de corrección mediante pseudónimos utilizando redes descentralizadas. Este diseño de entregas de prácticas, exámenes o cualquier otro documento que necesite una aprobación o corrección reduciría los sesgos utilizando los pseudónimos que proporcionan las tecnologías descentralizadas más todas las otras ventajas que ofrece. Además se añade la red IPFS para reducir la carga de servidor de ficheros.

=== Proceso y dificultades ===

Este trabajo lo enfocamos mediante una planificación de deadlines específicos con los que ir informándonos e ideando diseños que a priori son implementables por la Universidad Complutense de Madrid. 

En total conseguimos realizar 2 deadlines y varias reuniones en las que pulir los diseños. 

El segundo deadline consistió en presentar un diseño inicial de cómo aplicar la blockchain y las redes descentralizadas. Además de la realización de un vídeo sencillo y de una encuesta para obtener más información relacionada con los sesgos.

Después de estos deadlines realizamos las reuniones en las que pulimos los diseños y resolvimos las dificultades encontradas en estos que, para aclarar, son:
# ''' El coste económico de la implementación. '''
# ''' La creación de un diseño lo más óptimo posible. '''
# ''' Compatibilizar lo ya existente con la idea presentada en este documento para uno de los diseños. '''

Tras esto se procedió a redactar un documento de diseño serio, el cual fue envíado al Vicedecano de Innovación, Marco Antonio Gómez Martín, para consultar su opinión.

Finalmente, se analizaron los datos obtenidos de la encuesta, y se redactó el contenido de esta wiki.

== ''' Motivación del trabajo '''  ==

En clase de Ética, Legislación y Profesión hemos estudiado los privilegios y sesgos que se presentan como un tema preocupante de cara al desarrollo social. También se nos introdujeron las tecnologías blockchain y las redes descentralizadas. A raíz de esto se nos ocurrió la idea que vamos a desarrollar en este documento para paliar este problema.

El alumnado universitario goza de gran diversidad en muchos sentidos: nacionalidad, género, orientación sexual, estatus económico… Inevitablemente la corrección de los profesores se ve coartada por sus sesgos en relación a estos factores. Para tratar de reducir este problema lo máximo posible proponemos este sistema de entregas anónimo. Tal y como ocurre en la EvAU o en universidades como Harvard si no hay una relación persona-trabajo el profesor es imparcial en la corrección y el alumno puede olvidarse de este problema.

La siguiente noticia fue debatida en clase y refuerza el sentido a desarrollar la solución que proponemos:
[https://www.theguardian.com/technology/2016/feb/12/women-considered-better-coders-hide-gender-github LINK]

Somo conscientes de que en la evaluación hay que tener en cuenta el esfuerzo y el progreso del alumno pero esto puede quedar reflejado en otros criterios de evaluación que ya existen como la nota de participación y asistencia a clase. Creemos que la calificación de entregas y exámenes debería ser independiente de la persona detrás del trabajo en cuestión.

Nos llamó la atención el uso que hacen las redes descentralizadas de la codificación hash para la identificación de bloques y ficheros así que buscamos la forma de aplicarlo a esta idea. El uso de esta tecnología parece innecesario a priori pero nos ofrece otros beneficios como la integridad de datos o el ahorro en almacenamiento local como veremos a continuación.

== '''Diseños tecnológicos del portal de entregas''' ==

Los diseños también están descritos en [[Media:Diseño_final.pdf|este PDF]]. 

Se han creado dos diseños, uno utilizando IPFS (InterPlanetary File System), una red descentralizada para almacenamiento de archivos, y otro utilizando IPFS y Ethereum.

Utilizando cualquiera de los diseños, se obtienen las siguientes <span style="color: green;">ventajas</span>, que se desarrollarán más adelante:

* Disminuye el coste de almacenamiento, ya que el servidor solo almacena hashes y no archivos enteros.

* Con los pseudónimos se evitan los sesgos en la corrección, tanto aquellos que aumentan la nota como los que la reducen.

* Con los hashes de IPFS se obtiene un sistema de anticopia simple, ya que si dos archivos tienen el mismo hash es el mismo archivo (aunque si se cambia una sola letra, ya se obtienen hashes distintos).

* IPFS es gratuito y garantiza integridad.

* Impacto social bueno para la FDI, ya que se incorporaría un sistema anti-sesgo, siendo una de las primeras universidades en utilizar tecnologías descentralizadas.

=== IPFS + Ethereum ===

[[Archivo:IPFS + Ethereum.png|900px|centro|Diseño de IPFS.]]

Comenzando por los datos que maneja el alumno, al hacer la entrega se le envía el archivo entregado a IPFS, obteniendo su hash correspondiente. Este hash deberá mostrarse al usuario para que pueda obtener el trabajo entregado. 

A continuación, se hace una transacción en Ethereum con el hash IPFS, obteniendo así el pseudónimo utilizado en Ethereum, con lo que el alumno queda “enmascarado”. Este pseudónimo deberá mostrarse al alumno, de manera que pueda ir a una revisión si le resulta necesario. Además, la transacción en Ethereum se convierte en una prueba de que el trabajo se ha entregado. Para no aumentar más el coste de Ethereum, solo se permitirá una entrega, lo que supone una desventaja.

De esta forma, el servidor contiene el nombre real del alumno, los hashes IPFS entregados, los pseudónimos con los que se hicieron la entregas y, como veremos más adelante, las notas.

Con relación a los datos manejado por el profesor, obtendría los trabajos, que se han descargado de IPFS con los hashes de los alumnos, asociados al pseudónimo de la entrega, asegurando el pseudonimato del alumno. Tras corregir, deberá subir las notas al servidor, donde se le asignará la nota al pseudónimo, y por transitividad, al nombre del alumno.

A la hora de calcular la nota final, todos los porcentajes deberán estar subido en el servidor a inicio de curso. De esta manera, cuando se haya realizado el examen y el profesor haya subido las notas (asociadas a un pseudónimo, si el examen es digital, o al nombre real, si es en físico), el propio servidor calculará la nota media de la asignatura. También se podría añadir una opción adicional de añadir notas que se suman a la media final, para trabajos opcionales hechos por el alumno.

En caso de que el sistema anti-copia encuentre una copia, se le podría pedir a alguien con acceso al servidor (nunca un profesor) el nombre real del alumno, para realizar las penalizaciones pertinentes.

==== Casos de uso ====

;1. Alumno realiza entrega individual.
: El alumno hace una entrega de una forma parecida a cuando se usa el Campus Virtual. Cuando el trabajo ha sido corregido, y la nota puesta, también se mostrará la nota.

;2. Alumno realiza entrega al grupo.
: En este caso el alumno accederá al nuevo tipo de entrega en el que tendrá que especificar el nombre de sus compañeros mediante un método para hacerlo cualquiera. Al hacer la entrega se devuelve un pseudónimo de Ethereum, el cual se utilizará de pseudónimo para cada uno de los componentes del grupo. 

: El resto del caso de uso es igual que en el punto anterior solo que la nota puesta por el profesor al pseudónimo del trabajo se le asigna a los compañeros del trabajo.

;3. Profesor corrige y pone nota a la entrega.
: El profesor accede a la entrega y ve los pseudónimos junto a sus archivos (no los hashes IPFS, eso lo hace la aplicación). Tras corregirlo, le pone una nota y lo envía. Esta nota puede ser modificada en cualquier momento, ya que puede ser que tras una revisión se vea un fallo en la corrección de la entrega. 

;4. Alumno va a revisar su entrega con el profesor.
: El alumno necesitará llevar su pseudónimo a la revisión, por lo que en ese momento, para esa entrega, queda identificado. Una posible solución sería un sistema de corrección que preserve el anonimato online y dejar como última instancia la revisión en persona.

;5. Alumno va a comprobar su entrega.
: El alumno podrá descargarse en cualquier momento la entrega que estará subida a IPFS.

==== Coste ====

IPFS es gratis, a cambio de almacenamiento. Sin embargo, Ethereum sí que supondría un coste adicional. Ahora analizaremos ese coste:

Suponemos:
* 1700 alumnos (fdi) [https://www.ucm.es/data/cont/media/www/pag-131427/E%2090.pdf LINK]
* 10 asignaturas por curso
* 1 entrega por semana
* 32 semanas por curso

Total de entregas en un año escolar =1700 x (32 x 10) = 544.000 entregas
Coste por byte (ethereum) = 0.00152 € [https://medium.com/coinmonks/store-data-in-ethereum-by-logging-to-reduce-gas-cost-b70a13884485 LINK]

coste por hash usado en IPFS= 46 Bytes * 0.00152 € = 0.07€
coste entregas en la FDI en un año escolar = 1700 x 32 x 10 x 0.07€ = 38.920€

==== Ventajas e inconvenientes ====

<span style="color: green;">Ventajas:</span>
* El uso de Ethereum permite tener una prueba de que un trabajo ha sido entregado.
<span style="color: red;">Inconvenientes:</span>
* Coste anual de Ethereum (cota superior). 
* Los alumnos no podrían modificar las entregas una vez hechas, para que no se dispare el coste de Ethereum. (Podría arreglarse con un servidor “caché”).

=== IPFS ===

[[Archivo:IPFS.PNG|900px|centro|Diseño de IPFS.]]

A diferencia con el diseño anterior, aquí se usarán los hashes devueltos por IPFS como entregas y como corrección. Debido al gran coste que tendría cambiar moodle para satisfacer esta condición, se creará otra plataforma ajena a este. Esta plataforma también dejará la opción de habilitar entregas por grupo o individual

El alumno subiría el archivo por medio de la nueva plataforma y este llegaría a una red descentralizada IPFS. La propia plataforma recibiría de la IPFS un hash del archivo que servirá para identificarlo unívocamente y la entregaría al servidor de la FDI junto al nombre de este. El servidor de la FDI tendrá registrado a qué alumno está asignado qué hash IPFS, el cual se utilizará como pseudónimo, pero el profesor que evalúe no será capaz de acceder a esta información.

El profesor accederá a esa misma plataforma para corregir las entregas y las evaluará con el pseudónimo antes mencionado. En ese momento, el servidor de la FDI se encargará de asociar esa nota asignada al pseudónimo con el correspondiente alumno.

Por último al alumno le aparecerá junto a la entrega la calificación que ha obtenido.

==== Casos de uso ====

;1. Alumno realiza entrega individual.
: El alumno hace una entrega de la una forma parecida a cuando usa el Campus Virtual. En este caso (a diferencia del anterior), el alumno no tendrá solamente un intento.

: El alumno subirá su archivo por medio de la nueva plataforma a la red IPFS, esta le devolverá un identificador hash del archivo. Junto con ese identificador se enviará el nombre del alumno, que será lo que almacene el servidor de la FDI.

: Cuando se realiza la entrega, la zona donde el trabajo ha sido entregado es sustituida por el hash IPFS y cuando el trabajo ha sido corregido, y  la nota puesta, también se mostrará la nota.

: Una vez finalizado el plazo de entrega, el alumno no podrá subir más archivos a la red IPFS por lo que únicamente constaría la última entrega que este realizó.

;2. Alumno realiza entrega al grupo.
: En este caso, el alumno accedería al nuevo tipo de entrega en el que tendrá que especificar el nombre de sus compañeros mediante un método para hacerlo cualquiera.

: El resto de caso de uso es igual que en el punto anterior solo que la nota puesta por el profesor al hash del archivo también se asigna a los compañeros del trabajo.

;3. Alumno modifica su entrega.
: Como en IPFS no se pueden modificar archivos, en el caso que el alumno necesite modificar la entrega, tendrá que realizar una nueva. Para esto, aparecerá una opción que permitirá esto. En el servidor se sustituiría el último hash por el nuevo.

;4. Profesor corrige y pone nota a la entrega.
: El profesor accede a la entrega y ve los hashes de los archivos junto a una opción de descargar fichero. Para la descarga del fichero la nueva plataforma accederá a la red IPFS y buscará el archivo con el correspondiente hash.

: Tras corregirlo, le pone una nota a través de la plataforma. Esto hace que la plataforma envíe al servidor la nota para que le pueda aparecer al alumno. Esta puede ser modificada en cualquier momento, ya que puede ser que tras una revisión se vea un fallo en la corrección de la entrega.

;5. Alumno va a revisar su entrega con el profesor.
: El alumno necesitará llevar el hash del archivo a la revisión. Revelar la identidad expondrá al usuario, una posible solución sería un sistema de corrección que preserve el anonimato online y dejar como última instancia la revisión en persona.

;6. Alumno va a comprobar su entrega.
: El alumno podrá descargarse en cualquier momento la entrega que estará subida a IPFS.

==== Coste ====

No hemos podido hacer una estimación más precisa de los posibles costes a la hora de implementar este diseño pero hemos estimado en lo que, a priori, se podría ahorrar y en lo que no:

* La UCM podría ahorrar bastante en el almacenamiento en servidores ya que la red IPFS es una red descentralizada y gratuita que permite almacenar y borrar ficheros.
* Se seguirá utilizando la infraestructura actual de servidores que tiene la UCM pero con menos sobrecarga ya que no tendría que almacenar archivos.
* La creación de la nueva plataforma supondría un gasto.

==== Ventajas e inconvenientes ====

<span style="color: green;">Ventajas:</span>
* Disminuye el coste anual frente a la anterior propuesta.
* En caso de fallo de moodle, no habría problemas a la hora de subir entregas.
* Se reduciría la carga de almacenamiento de ficheros en los servidores de la universidad drásticamente.
<span style="color: red;">Inconvenientes:</span>
* Si al servidor le ocurre algún problema, no habría forma de asegurar que la entrega se ha realizado.
* Habría que implementar una nueva plataforma.

== ''' Impacto social ''' ==

=== Análisis de la encuesta ===

[https://docs.google.com/forms/d/1kvGMH75Rm2aKzcAtntmc-iERJrJJf89DUQVpqAsc1Qw/edit#responses Link de la encuesta con respuestas]

El fin para el que se ha desarrollado esta encuesta es conocer la opinión de la gente acerca de la anonimidad a la hora de las entregas y sobre la garantía que hay actualmente de que un archivo entregado no se extravíe.
La encuesta la han respondido '''101 personas''' y prácticamente en todos los apartados han contestado todas las personas, en los que no, se indicará el por qué. 

Los datos que hemos podido recopilar acerca de estos son:

==== ¿Con qué género te sientes más identificado? ====

Con esta pregunta y la siguiente lo que se intenta es conocer más de cerca al usuario y además las respuestas serán utilizadas para sacar información mas a fondo que se comentará más adelante.

[[Archivo:Genero.png|500px]]

==== Edad ====

Decidimos dividir la edad en 4 intervalos para así obtener información de como de concienciada está cada generación con este tema. Pero dado que no obtuvimos una cantidad significativa de otros rangos de edad que no fueran entre 18 - 28, solo se decidió analizar en profundidad este intervalo.

[[Archivo:Edad2019.png|500px]]

Como se puede ver, un ''' 66% ''' de las personas que han contestado la encuesta están entre los 18 y 28 años. Esto se debe a los canales de difusión que utilizamos, que basicamente son los grupos de Whatsapp de la facultad, además de reddit y redes sociales.

==== ¿Conoce algún caso en el que una calificación se haya visto afectada por '''sesgos''' del profesor? ====

En dos preguntas (esta y la siguiente) obtuvimos 100 respuestas (1 menos) debido a que una vez que se envió la encuesta, tuvimos que hacer un cambio de última hora en el enunciado de la pregunta y una persona ya la había respondido, pero aún así, guardamos su respuesta (ya que la pregunta era exactamente la misma).

[[Archivo:Sesgos.png|500px]]

Como se puede ver, el ''' 72% ''' (73 personas) de la gente ha contestado que sí conoce algún caso en el que haya habido algún sesgo en la corrección, lo cual es bastante preocupante. Mientras que tan solo un ''' 28% ''' (28 personas) dice no conocer ningún caso de esto. 

Si analizamos más de cerca a la gente de entre 18-28 años (que es de donde tenemos más datos para comparar), '''46 personas''' de las 67 piensan que '''sí''', mientras que las '''21''' restantes piensan que '''no''', es decir, mas del doble piensa que sí existen sesgos en la corrección. Mas adelante analizaremos de entre esas personas, cuantos hombres y mujeres piensan eso, y las mujeres que opinan que sí, cuales son los motivos en los que más coinciden.

==== ¿Cree que esto se debería permitir? ====

[[Archivo:Permitir.png|500px]]

Como se esperaba, casi la totalidad de gente '''(98%)''' piensa que esta práctica no debería permitirse, y por tanto, se debería de buscar una manera de acabar con esto de inmediato.

==== ¿Por qué motivo cree que ha ocurrido esto? ====

[[Archivo:Motivos.png|500px]]

Esta pregunta posiblemente sea la que más información nos da acerca del problema que presentamos. En primer lugar, podemos ver que los motivos que mas se creen que pueden ser los culpables de la presencia de sesgos en la corrección son:

* Ideología 
* Otros (entendiéndose como por ejemplo, favoritismos, caer mal, temas personales, etc)

Otros motivos que cogen bastante peso, aunque menos que los anteriores son:

* Género
* Sexo
* Nacionalidad
* Raza
* Orientación sexual

Por último, los motivos que menos parecen influir en esto son:

* Etnia
* Discapacidad
* Religión 

En segundo lugar, vamos a analizar de las personas que han dicho que sí conocían algún caso de sesgo en la corrección, cuantas se sienten identificadas con el género femenino y cuantos con el masculino. De entre las '''46 personas''' que contestaron que sí, '''29''' se '''identifican con lo primero''', y por lo tanto '''17''' con lo '''segundo'''. Debido a que la encuesta la han respondido mas mujeres que hombres, no podemos determinar al 100% si esto es porque efectivamente hay mas respuestas de estas o porque sufren mas el problema de la aparición de sesgos en la corrección. Sin embargo, si analizamos quienes dijeron que no a la pregunta anterior. De los '''21''' en total, '''14''' son '''hombres''' que han respondido que '''no''' conocen ningún caso, de lo que se puede deducir que a estos les puede llegar a afectar menos este problema o que no perciben tanto que este problema exista. 

Después del análisis anterior, se comprueba cuales han sido las respuestas de las mujeres de entre 18 - 28 años que dijeron que si conocen algún caso en el que haya podido haber sesgos a la hora de la corrección. De las '''29''' que contestaron que sí, '''19''' creen que entre los motivos mas comunes se encuentran el sexo y/o género (también coinciden en ideología). Mientras que de los '''17 hombres''' que contestaron que sí, tan solo '''5 hombres''' creen que esos dos factores pueden influir.

Con esto podemos concluir que las mujeres ven este problema más reflejado que los hombres y sobre todo los motivos en los que suelen coincidir la mayoría (entre otros) son el sexo y el género.

==== ¿Conoce algún caso en el que se haya perdido un trabajo entregado digitalmente? ====

[[Archivo:Perdido.png|500px]]

Pese a que pueda parecer extraño que se puedan perder trabajos entregados digitalmente, encontramos que un '''33%''' (33 personas) han sufrido algún problema con la entrega de algún trabajo, por lo que las medidas para evitar esto deberían reforzarse, ya que la cifra es mas alarmante de lo esperado.

==== ¿Le gustaría que las entregas se realizaran de forma anónima? Obteniendo así la garantía de que la calificación no se viese afectada por factores externos ====

[[Archivo:Anonimato.png|500px]]

La mayoría de la gente '''(87%)''' ha considerado que si se deberían realizar las entregas de forma anónima, ya que con esto se evitarían todos los sesgos mencionados anteriormente en su mayoría.

=== Vídeo complementario a la encuesta ===
{{#ev:youtube|https://www.youtube.com/watch?v=Y8frM5bP0z0}}
Este material audiovisual fue compartido con la encuesta y su objetivo es explicar la idea sin profundizar en la parte técnica del proyecto y así conseguir la opinión del público al que va dirigida la propuesta.

=== Alcance ===

La '''encuesta''' la rellenaron 101 personas, cuyos medios de difusión fueron principalmente Whatsapp, Instagram, Twitter y Reddit.

[[Archivo:Resp.png|550px]]

El '''vídeo''' se difundió por los mismos canales que las encuestas, cuyas estadísticas obtenidas son:

[[Archivo:Visua.png|750px]]

También se le envió un '''correo al Vicerrector de Tecnología y Sostenibilidad''', Jorge Jesús Gómez Sanz, solicitándole una reunión para mostrarle el diseño del proyecto, el cuál no nos ha dado respuesta. Por último, también hablamos con el '''Vicedecano de Innovación''', Marco Antonio Gómez Martín, el cuál nos dijo que se lo leyó y que nos daría feedback en unos días, pero aún no hemos recibido nada acerca de esto.

== ''' Conclusiones ''' == 

De las encuestas obtuvimos lo resultados que esperábamos, que se resumen en que la gente sí que opina que los sesgos de los profesores afectan a la nota, además de que empieza a haber una mayor concienciación en la gente sobre el tema de los privilegios. Debido a esto, podemos afirmar que nuestro diseño está basado en un trasfondo real.

También aclarar que no queremos demonizar la figura de profesor, ya que como hemos visto en clase, la mayor parte de los sesgos son ''' inconscientes ''', y todos estamos afectados por ellos, tanto profesores como alumnos.

Por lo tanto, nuestro diseño beneficiaría a:
* Los alumnos, ya que no podrían ser afectados por sesgos debido a la anonimidad.
* Los profesores, ya que no podrían ser acusados de corregir basados en sesgos, debido a la misma anonimidad.
* La propia UCM, lo cual ya ha sido analizado anteriormente al decir las ventajas es onconvenientes. 

=== Visiones de futuro ===

Se pueden realizar varios proyectos a partir de esta ideas, los cuales son:

* Se podría implementar una IPFS privada entre todas las universidades de España, de manera que se podría implementar un sistema anticopia muy simple a nivel nacional. Además, esto facilitaría la cooperación entre universidades, ya que simplemente hay que compartir los hashes de los archivos. Estos hashes podrían ser compartidos en cualquier momento y plataforma sin necesidad de una tediosa subida de archivos, siendo tan sencillo como copiando y pegando el hash.
* El desarrollo de un sistema de revisiones online que mantenga el anonimato como se comenta en los casos de uso.
* Creemos que la digitalización la mayoría de lo evaluable en la educación es inminente, esto daría más utilidad e importancia al sistema.
* Extender el sistema de entregas no sólo para entregas en la educación sino para el sector profesional.


[[Categoría:Curso 2019-2020]]