Video original publicado el 9 de Febrero de 2019:
Hola a todos. A veces estoy mirando Reddit y veo hilos de conversación interesantes, ocasionalmente me alientan a exponer o decir algo. Me tope con un hilo que era un poco crítico acerca del proceso de Revisión por Pares. Citaron varios inconvenientes, particularmente para el sistema académico americano, algunos relacionados con la medicina que hasta inclusive pueden ser reales.
Quise hacer un video por que este es un tema común de conversación en el espacio de las criptomonedas, donde siempre aparecen las mismas preguntas. Por que es necesario el proceso de Revisión por Pares? Realmente produce buenos resultados? O será que todos nuestros científicos tienen preferencias y agendas?
Es extremadamente importante primero separar los las ciencias sociales de las ciencias de la computación
Lo que hemos notado en los estudios sociales de los últimos 50 años, fue una degradación del rigor en reemplazo de la opinión como prueba. Todos estos estudios demostraron que no esta bien publicar ciertas cosas por que cierto grupo político piensa que esta bien. En mi forma de ver, y en la de muchos otros también, esto esta dañando la integridad de todo el sistema universitario. Esto es ciertamente una preocupación, es un gran tema del que nosotros como sociedad tenemos que atravesar. Coincido en que si reemplazamos el método científico, con pensamiento critico y riguroso con solo una agenda política, es un problema.
Pero cuando miramos los campos particulares de matemáticas, ciencia de la computación y física, la integridad esta prácticamente intacta. Para la mayor parte de las cosas, si estas investigando en algo en particular, por ejemplo, saber si algo es probadamente seguro (provably secure), esto ha sido demostrado matemáticamente que es correcto. Esto no ha sido en ninguna manera comprometido por una agenda política. Ni siquiera puedo imaginar cual podría ser la agenda política., aquí se define al adversario, es un modelo matemático, este el razonamiento que existe por detrás que demuestra que esto es seguro. Es una prueba matemática, es algo que cualquiera, sin importar su idioma, su cultura, nivel socio económico puede leerlo y decir, estas en lo cierto o estas equivocado.
Tenemos que entender que la investigación es tan buena como el proceso en el que la investigación esta siendo analizada. La criptografía, es particularmente un campo de investigación adversarial. Ni bien un documento es publicado, es visto con cierto grado de escepticismo. Mucha gente dedica su vida para demostrar que lo que estas diciendo es erróneo, es su carrera profesional. Gobiernos, militares, agencias de inteligencia confían en los resultados de estos procesos para asegurar información clasificada, secretos militares, secretos nacionales. Lo critografos, con sus conferencias, adversarios revisados por pares, su ritmo para los procesos, ha creado un ambiente en donde las malas ideas son meticulosamente sacadas a parte de forma muy rápida.
Cuando miras las cosas con perspectiva mas amplia, el caso de seguridad del excelente producto Intel Gx por ejemplo, donde un grupo de científicos dedico su vida a demostrar que no era tan seguro como Intel decía, forzándolos a decir que no es tan seguro como debería. Hay gente que no hace otra cosa en su vida que dedicarse a encontrar agujeros en tu esquema. Dado a que ahora hay conferencias criptográficas alrededor del mundo prácticamente en forma mensual. De pronto, tenemos a las mentes mas inteligentes, levantándose por la mañana para intentar destruir tu argumento, por que saben que su carrera académica va a ser beneficiada si pueden encontrar una falla en tu documento.
Por otro lado, juntando los métodos formales con la revisión por pares, fuerza a los científicos a ser honestos, por que lo que ocurre es que extraes la especificación desde documento y todas esas áreas grises que dicen, asumamos una funcionalidad ideal, asumamos que la red funciona de forma perfecta, que no hay demoras, que un bloque puede ser instantáneamente enviado a cualquier parte del mundo, a cualquier usuario, sin importar su tipo de conexión. La gente de métodos formales te va a decir, esta bien, esto es una gran fantasía pero si realmente vamos a construir e implementar esto y escribir una especificación sobre esto, tenemos que realmente ser muy específicos con los que quieres decir cuando dices puedes hacer "x" o "y". Y cuando el ingeniero se involucra puede inclusive forzar practicidad de estos esquemas.
Si utilizas los métodos formales y revisión por pares no puedes garantizar que tienes un perfecto sistema seguro. Lo que te estas garantizando es que un sistema adversarial en donde la gente tiene un beneficio en sus carreras y de reputación en sus carreras por encontrar un error en tus ideas. También están los igualmente inteligentes, que están en otro campo de las ciencias computacionales utilizando técnicas muy sofisticadas, en algunos casos asistidos por computadoras, como model checking y esas cosas, para tratar de determinar si estas ideas son practicas y realmente funcionan. Y puedes hacer todo esto en periodos de semanas a meses, no años a décadas, esa es la magia de establecer una buena linea de proceso. Significa que para el momento de la implementación el software ha sido rigurosamente debatido y cuestionado y la gente tiene muchos incentivos para decir que lo que estamos exponiendo esta mal. No es simplemente lanzar el producto y esperar que alguien encuentre errores, eso esta perfectamente bien en el ambiente open source si se trata de bit torrent, open office, donde las consecuencias de código pobre significa que tienes un producto imperfecto, puede precipitarse, puede tener un asunto de seguridad. Pero cuando estamos hablando de un sistema financiero global que eventualmente tendrá billones y trillones de dolares detrás suyo, por que diablos no querrías tener una verificación por un tercero que no tienen incentivos financieros para decir que esta bien? Por que no querrías utilizar un sistema de mas de 400 años que nos dio la física moderna, matemática moderna, medicina moderna, monitores de computadoras, y todas las cosas que damos por sentado. Por que no querrías usar el mismo proceso que entrena las mentes que crean esas cosas y aplicarlas a tu sistema monetario? Especialmente si este proceso no te retrasa años, sino meses.
La gente generaliza la falta de rigor científico en algunas otras áreas. Esto no ocurre en las ciencias de la computación. El sistema que este campo usa es fundamentalmente bueno, funciona muy bien, es muy rápido y te permite ir rápido del laboratorio a la industria, por que? Porque el primer subsidiario para este sistema viene de la industria, Microsoft, IBM, Apple, Google, Intel, AMD, dan dinero a los brazos de la investigación. Si miras los documentos en las ciencias de la comunicación, veras que es gente que entra y sale de la industria todo el tiempo, las grandes mentes de la inteligencia artificial, escribieron todos los libros, hicieron las investigaciones y justamente son los que trabajan en el desarrollo de vehículos autónomos, traductor de Google, etc etc. Mientras que hacen investigaciones también crean productos de consumo que usamos todos los días. Esto es porque el campo de las ciencias de la computación. esta basado y construido de una forma que facilita ese aparentemente movimiento entre las necesidades de la industria y el rigor científico.
En IOHK tratamos de ser pragmáticos, te puedes volver loco con los métodos formales, hay proyectos que tardaron años o décadas en ser completados, si fuéramos en ese camino ni Cardano ni ningún producto de IOHK sería competitivo. Pero usando cosas como TLA y otras, se pueden obtener resultados en semanas o meses. Logrando una forma matemáticamente precisa de describir lo que estamos haciendo.
Si miramos los errores recientes en las criptomonedas, Coindesk presento un articulo acerca de un error en Zcash. Conozco a la gente de Zcash personalmente, a veces publicamos papeles con ellos, son profesionales excepcionales, son grandes ingenieros, tienen procesos fenomenales, magníficos estándares, los incluiría dentro de los mejores cinco equipos de desarrolladores del ambiente. Mas allá de este talento, hubo un error. Los métodos formales te permiten atrapar este tipo de errores, descubrirlos no después de lanzado el producto sino antes. Por esto es que se usan los métodos formales. Zcash esta basado en revisión por pares
En defensa de la Revisión por Pares (Peer Review), creo que tenemos que dar un paso atrás pensar las cosas muy razonablemente y preguntarnos, cuales son los incentivos de esta gente para decir que estas en lo cierto o equivocado? Se obtiene un muy sistema productivo cuando gente que tiene muy buena reputación e incentivos financieros tienen que demostrar que lo que estas diciendo esta mal. Y tienen que hacer esto a través de una estructura de procesos y tienen que ser honestos, tienen que proveer argumentos, tienen que demostrar en donde estas equivocado. Ese es el mejor de los dos mundos, porque en el proceso de destruir tu argumento en realidad te están enseñando algo y estas teniendo un dialogo constructivo y productivo. Este creo que es realmente al estándar que la industria tiene que apuntar, Ethereum comenzó un movimiento hacia la revisión por pares y otros también están comenzando. Esto ya no es mas solo una cosa de IOHK, esto se esta convirtiendo rápidamente en el estándar industrial.
Todos ustedes, tienen que pensar cuidadosamente, si alguien esta haciendo una afirmación, tienes que entrenar tu mente y hacerte la pregunta, ha sido revisado? por quien? que incentivos tiene la persona o institución para estar de acuerdo o no? y bajo que proceso hemos establecido confianza de que esa afirmación es creíble? La única manera que conozco para corroborar esa investigación científica es utilizar lo que la ciencia viene haciendo hace 400 años. Admito totalmente que la universidad no es un ecosistema perfecto, que hay grandes problemas, especialmente en las ciencias sociales y esta perdiendo credibilidad en ese área. Pero ese no es un problema en nuestro espacio, la ciencia de la computación. esta siendo impulsada por la industria, significa que tiene que realizarse rápido, con orientación de producto, de manera objetiva ya que al libre mercado no le importa tu visión política, tu filosofía personal. Al libre mercado solo le interesa saber si funciona bien, si es la forma mas eficiente de solucionar un problema y si puede ser distribuido. Entonces cuando tienes al libre mercado con su naturaleza competitiva detrás de las cosas que realizas, la ciencia que haces, la investigación que haces tiene que funcionar.
Quería aclarar estos dichos de que si una parte de la Revisión por Pares no esta funcionando, todo el sistema debería ser dado de baja. Realmente creo que todos los procesos que estamos siguiendo son necesarios, no son suficientes. El ultimo testeo de cualquier producto es lanzarlo en el mercado y ver que es lo que la gente hace en el largo plazo, no en el corto, sino en horizontes de 3,5 10 años. El mercado inevitablemente te dirá si las ideas tienen sentido
Esta gente y estos procesos existen por una razón, es tu dinero. Si estos protocolos son adoptados por la gente, serán utilizados por décadas, quizás siglos. Y si no fueron diseñados correctamente, debido a pobres decisiones que yo y otros tomamos, vas a tener que vivir con esas pobres decisiones por 50 años, quizás tus hijos y nietos las tengan que vivir, así como nosotros tenemos que vivir por las pobres decisiones que nuestros gobiernos tomaron en el pasado.
Tenemos la oblicacion moral de usar las mejores herramientas, técnicas y procesos posibles para asegurar que el sistema que esta siendo construido termina siendo usado inteligentemente, responsablemente, de forma segura y justa. En nuestra empresa, en la única manera en que sabemos hacerlo es a través de la unión de buena ingeniería, revisión por pares y métodos formales como un proceso conjunto y tener una cultura orientada al cliente donde llevamos el producto a la gente lo antes posible, inclusive significando que a veces que no sea un producto optimo, puede ser lento, colapsar, no tener la correcta performance. Cuando pasas a través del proceso de revisión por pares, seguridad auditada por terceros y métodos formales, lo que puedes garantizar es que ciertas cosas no pueden pasar, como por ejemplo que la gente no puede perder su dinero o puede haber problemas fundamentales que pueden crear monedas de la nada y cosas por el estilo. Simplemente hay que trabajar duro para hacer el producto mejor y mas competitivo, con una mejor experiencia de usuario.
Gracias gente por su tiempo, hablaremos nuevamente mas adelante.