Redatam multiplataforma para pruebas.

Pues inicia un nuevo año y pues con novedades de nuevos cierres por la pandemia aunque con la ligera esperanza de que se menos letal que en los tiempos recientes.

Casi a finales del año el Instituto adquirió equipo de cómputo para usos geográficos con lo cual se desocuparon equipos Intel Core i7 de los que nuestra área fue beneficiada.

Por lo cual me di a la tarea de volver a hacer las pruebas ya solo en modo local, es decir las tres versiones de REDATAM y R con Spark.

Tuve algunos problemas con Spark y es que baje un JRE que parece no ser compatible con Spark porque lo que el consejo es que tomemos el de la página oficial de Oracle y con ello ya pude hacer la prueba.

En el tiempo que no podía correr Spark con R, me fui a instalar nuevamente la versión que el compañero Lenin Aguinaga me compartió, pero al momento de hacer la consulta, el sistema abortaba.

Debido a esto, fui a descargar las versiones de REDATAM disponibles con la grata sorpresa que los compañeros de la CEPAL ya publicaron las primeras versiones de prueba de REDATAM que por ahora no le han agregado la X en su página de descarga y solo le llaman multiplataforma.

https://redatam.org/es/aplicaciones

Procedí a la instalación (versión 2.0Beta) y con grata sorpresa el cruce funcionó sin problemas.

Inclusive la salida sale más formateada a la última prueba que se realizó.

Entonces sin más preámbulos comparto el resultado de este nuevo Bechmark con mi nuevo desktop del trabajo.

Estadística: Puestos de trabajo registrados ante el IMSS 2016.

Consulta: Cruce de mes de registro del puesto de trabajo contra sexo de la persona que ocupa el puesto de trabajo.

Número de registros o tuplas: 220, 816,117

Equipo donde se ejecutaron los procesos:

Marca y Modelo: DELL Optiplex 9020

Procesador: Intel CORE i7 a 3.6 GHz

Memoria RAM: 16GB

Software	Entorno de ejecución	Duración del proceso
Redatam 2.0 Beta	Standalone	15 segundos
R con Spark	Standalone	41 segundos
Redatam +SP V5	Standalone	66 segundos
Redatam 7	Standalone	77 segundos

Podemos observar que en el caso de las 2 versiones anteriores de REDATAM no tuvieron cambios pero en el caso del nuevo y R con Spark el cruce se realizó más rápido.

Por ahora vamos a seguir haciendo pruebas con el nuevo REDATAM y quizás moviendo la configuración de R con Spark pero seguimos teniendo muy buena velocidad de ejecución.

Concluyo deseando que tengan un excelente año 2022 lleno de éxitos y muy especialmente de salud.

Atte.

Miguel Araujo.

Comentarios

Entradas populares de este blog

Posit Cloud - como instalar librerías de Python en el entorno de R

Ahora que estamos tomando una maestría buscando que siga "girando la ardilla" por unos años más en la materia de "Cómputo Estadístico" nos ha sugerido usar la versión gratuita de Posit en la nube. En su página definen este producto como "es una solución basada en la nube que permite acceder al poderoso conjunto de herramientas de ciencia de datos de Posit directamente en el navegador web - sin requerir instalación o configuraciones complejas". Para los usuarios que han utilizado Posit RStudio en primera instancia verán el entorno muy similar a Posit Cloud con algunas pequeñas diferencias, para empezar necesitamos un usuario o contraseña aunque es posible autenticarse usando alguna cuenta existente como es el caso de Google. Con el tiempo y trabajando en desarrollo de software, vamos entendiendo que quizás el nombre queda muy grande a los pequeños ejemplos, pero es muy recomendable el uso de proyectos siempre. A continuación vemos el entorno Posit Clo...

REDATAM en Ubuntu (Linux)

En un blog alterno, escribí sobre como migraba un "viejo" Intel i5 al sistema operativo Ubuntu en su versión más actual. Me comunique con mi gran colega Lenin de la CELADE en Chile, después de mucho tiempo, y le pedí me diera un pequeño resumen del "estado del arte" de REDATAM me dijo que todo marchaba bien, y pues ahora creo que tengo que actualizarme en contenedores pues el web server se encuentra ahí. Nos pusimos manos a la obra, el instalable desde la página no tiene ninguna extensión de archivo, asumí que era un ejecutable para Linux, no se si la página sufra ataques constantes ya que después quise volver a descargar sin éxito, la página estaba caida, sin embargo rescate el ejecutable anteriormente descargado. Últimamente primero hago y después documento, ya que con todo y mi compañero Deep, no todo sale a la primera ni como lo dictan sus sugerencias, sobre todo en Linux y MacOS. Por lo que, les muestro solo el resultado final de esta primera exploración, im...

El problema del gallo - otra vertiente de usar Python en RMarkdown con Posit RStudio

Cuando pensamos que ya se había cruzado el río, el buen gallo - mi amigo el Dany Lara- no podía insertar código de Python en un documento de RMarkdown usando la versión de escritorio de Posit RStudio a pesar de las soluciones como instalar el Python y direccionarlo desde R con la biblioteca reticulate . Si bien se podía ejecutar código del interprete base, al querer correr usando módulos y con ello intentando instalar dichos módulos mandaba el siguiente mensaje: > py_install('matplotlib') Using virtual environment "D:/tu_usuario/Documents/.virtualenvs/r-reticulate" ... WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by 'SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1006)'))': /simple/matplotlib/ WARNING: Retrying (Retry(total=3, connect=None, read=None, redirect=None, status=None)) a...

Aplicaciones para estadística

Buscar este blog