Spark para conectar con bases de datos vía JDBC

 En mis primeras andadas en lo referente al paquete sparklyr, para este tema en especial, lo que se pretende es usar la librería de JDBC para que este sea el medio de conexión y ese conjunto de datos (dataset) que se extrae, sea manipulado por Spark con todas las ventajas que tiene el paquete como ya lo he descrito en los artículos anteriores.

Me base en tres posts que vienen la final de este artículo.

En primera instancia utilice el conector JDBC para Oracle (ojdbc7.jar) y pues funcionó sin problemas, vamos con la fórmula.

1- Se cargan las librerías.

library("sparklyr")

library("RJDBC")

2- Se carga la configuración de Spark, para después agregar la ruta y nombre del conector JDBC.

## Spark

config <- spark_config()

## Tell config location of oracle jar

config[["sparklyr.jars.default"]] <- "ruta/ojdbc7.jar"

3 - Se crea la conexión, indicándole nuestra variable de configuración.

connspark <- spark_connect(master="local", config = config)

4 - Se usa la función de Spark (spark_read_jdbc) para extraer los datos de la base de datos de Oracle, en este caso las defunciones del 2018.

 dataspark <- spark_read_jdbc(connspark,"table", options = list( url="jdbc:oracle:thin:@//urlserverdb:puerto/servicio", driver="oracle.jdbc.driver.OracleDriver",user="userdb",password="passuserdb",dbtable="TDEFUN18"), memory=FALSE)

Donde el puerto por default para Oracle es el 1521.

Y con esto tenemos un conjunto de datos que representa una tabla de una base de datos, sin embargo al estar redactando el documento, me di cuenta que la columna SEXO y EDO_CIVIL vienen como valores lógicos, entonces me preocupó el hecho de que no respetara el tipo de datos de la tabla origen ya que en Oracle esta definida como numérico. Muestra el código y resultados.

 Lo que se me ocurrió es que en vez de una tabla, lo que traemos es una consulta, a pesar de que en las ligas que consulté había ejemplos, el que se describía era para MySQL, entonces viendo otro ejemplo usando Python fue como deduje la siguiente solución.

 Estuvimos intentando varias opciones hasta que vi que la forma de plasmar la consulta usando un gran paréntesis y fue así como Spark aceptó una consulta en lugar de un nombre de una tabla en el parámetro dbtable. 

Para resolver el problema del tipo de datos antes de pasar el nombre de la columna lo convertimos a numérico y fue como ahora si Spark recibe una columna de tipo numérico.

Es importante notar que estamos usando otro paquete llamado dplyr que digamos que es el SQL de R y que según me comentaba mi compañero Memo es recomendable su uso para la explotación de datos en R, y será uno de los siguientes artículos de este blog.

Otra cosa importante a considerar es el tiempo de carga ya que en nuestra área se utilizan archivos de gran tamaño y según lo investigado Spark es la opción para este caso.

Sin más por el momento concluimos este artículo. Nos seguimos leyendo.

Atte.

Miguel Araujo

Referencias.

Stackoverflow

https://stackoverflow.com/questions/49221229/use-sparklyr-with-oracle-database-connection

A guide to retrieval and processing of data from relational database systems using Apache Spark and JDBC with R and sparklyr

https://jozef.io/r925-spark-jdbc-loading-data/

DZone Database Zone

https://dzone.com/articles/read-data-from-oracle-database-with-apache-spark