Una vez más, observamos casos donde los algoritmos perpetúan y refuerzan desigualdades sistemáticas existentes. Una investigación de The Markup demostró que universidades de EEUU se encontraban utilizando un factor racial como predictor de éxito de sus estudiantes. El software llamado Navigate es utilizado por 500 escuelas del país y etiquetaba como “riesgoso” a diversas minorías - lo cual algunos expertos mencionan que termina recomendando carreras más fáciles a personas negras.
The Markup obtuvo los datos de universidades públicas mostrando que sus algoritmos automáticamente calificaban a estudiantes negros como hasta cuatro veces más riesgosos que sus pares blancos. Además, se mostró que las universidades y sus asesores raramente fueron informados sobre cómo los algoritmos calculaban o interpretaban los datos.
El problema no se soluciona simplemente sacando el factor racial de la ecuación, ya que los algoritmos lo podrían predecir en base a otros datos como la dirección, el ingreso de la familia u otros. Las escuelas y los creadores de estos sistemas tienen que actuar con la debida diligencia con respecto al impacto que sus sistemas tienen en el acceso a la educación.