Linaje y clasificación de metadatos utilizando Apache Atlas en Amazon EMR
Instalación y configuración de Informix para la integración con Attunity
Captura de Eventos en Aplicaciones Móviles por medio del servicio de AWS Amplify
Integración Apache Kafka (Amazon MSK) – Attunity Replicate
1. Descripción El siguiente documento se detalla la integración de las herramientas Attunity Replicate y Apache kafka utilizando Amazon Managed Streaming for Apache Kafka (Amazon MSK), Con el objetivo de realizar ingesta de datos en tiempo real y ser consumidos desde múltiples plataformas. Se presentará la instalación de las herramientas, configuración y posterior integración, mediante un caso de uso de ejemplo. 2. Conceptos 2.1. Apache Kafka 2.1.1. ¿Qué es Apache Kafka? Apache Kafka es una plataforma de transmisión distribuida de datos en tiempo real. Permite almacenar flujos de registros de una manera duradera y tolerante a fallas. Procesa flujos de registros a medida que ocurren. Alto rendimiento: diseñado para una gran cantidad de mensajes pequeños Se utiliza para construir pipelines de datos de transmisión en tiempo real y aplicaciones de transmisión. 2.1.2. Terminología Broker Servidor Kafka. Varios broker forman un cluster. Cluster Grupo de dos o más brokers que brindan redundancia y escalabilidad Producer Cliente Kafka. Es quien envía los mensajes al broker. Consumer Cliente Kafka. Es quien recibe los mensajes desde el broker. Topic Un topic es una categoría en la que se publican los registros. Cada Topic de Kafka puede tener desde cero a muchos consumidores que se suscriben a los datos escritos en él. Partition Subconjunto de topics creado para permitir la redundancia y lectura / escritura paralela para un mayor rendimiento Message Cualquier búfer (texto / binario). El formato debe coordinarse entre producers y consumers Message Key Opcional. Utilizado para particionamiento y compactación. Offset Posición de un mensaje en una partición. Utilizado por el consumidor. 2.2. Amazon MSK 2.2.1. ¿Qué es Amazon MSK? Amazon MSK es un servicio completamente administrado que facilita la tarea de crear y ejecutar aplicaciones que utilizan Apache Kafka para procesar datos de streaming. Con unos clics en la consola de Amazon MSK, puede crear clústeres de Apache Kafka de alta disponibilidad con ajustes y configuraciones basados en las prácticas recomendadas de implementación de Apache Kafka. 2.3. Attunity Replicate 2.3.1. ¿Qué es Attunity Replicate? Es una herramienta que permite a las empresas acelerar la replicación, ingesta y transmisión de datos en una gran variedad de bases de datos, data warehouses y plataformas de Big Data. Facilita el mover grandes volúmenes de datos con seguridad, eficacia, y con un impacto muy bajo en las operaciones. Simplifica la ingesta masiva en plataformas de Big Data desde miles de fuentes. 3. Cluster Amazon MSK Antes de crear un clúster de Amazon MSK se deben realizar configuraciones preliminares para desplegar su entorno. 3.1. Crear una VPC para el clúster de MSK En el primer paso de la Introducción al uso de Amazon MSK, se utiliza la Consola de Amazon VPC para crear una Amazon Virtual Private Cloud (Amazon VPC). Creará un Clúster de MSK en esta VPC más adelante. Para realizar esta acción debe seguir los siguientes pasos: Paso 1: Inicie sesión en la Consola de administración de AWS y abra la consola de Amazon VPC en https://console.aws.amazon.com/vpc/ Paso 2: Elija Launch VPC Wizard (Lanzar el asistente de VPC). Paso 3: Seleccione Select (Seleccionar) para aceptar la configuración predeterminada de Amazon VPC, denominada VPC with a Single Public Subnet (VPC con una única subred pública). Paso 4: En VPC name (Nombre de VPC), escriba el nombre de su VPC. Ejemplo: AWS-MSK-VPC Paso 5: En Availability Zone (Zona de disponibilidad), elija us-east-1a. Paso 6: En Subnet name (Nombre de subred), escriba nombre de la subred. Ejemplo: AWS-MSK-VPCSubnet-1 Paso 7: Elija Create VPC (Crear VPC) y, a continuación, elija OK (Aceptar). 3.2. Añadir subredes a la VPC Para asegurar la alta disponibilidad y la tolerancia a errores Amazon MSK requiere que sea distribuido en más de una subred y en más de una zona de disponibilidad. Amazon MSK requiere que se creen mínimo 2 y máximo 3 subredes cada una en una zona de disponibilidad distinta. Para realizar esta acción debe seguir los siguientes pasos: Paso 1: Abra la consola de Amazon VPC en https://console.aws.amazon.com/vpc/. Paso 2: En el panel de navegación, elija Subnets. Paso 3: En la lista de subredes, busque la subred creada anteriormente y, a continuación, busque la columna denominada Route table (Tabla de enrutamiento). Copie el valor asociado a la subred en dicha columna y guárdelo para más adelante. Paso 4: Elija Create subnet (Crear subred). Paso 5: En la etiqueta Name (Nombre), escriba el nombre de la subred. Ejemplo: AWS-MSK-VPCSubnet-2 Paso 6: En VPC, elija la VPC creada en el punto anterior. Paso 7: En Availability Zone (Zona de disponibilidad), elija us-east-1b. Paso 8: En IPv4 CIDR block (Bloque de CIDR IPv4), escriba 10.0.1.0/24. Paso 9: Elija Create (Crear) y, a continuación, Close (Cerrar). Paso 10: Elija la sub red recién creada en la lista de subredes seleccionando la casilla de verificación situada junto a ella. Asegúrese de que no hay ninguna otra casilla de verificación seleccionada en la lista. Paso 11: En la vista de subred situada cerca de la parte inferior de la página, elija la pestaña Route Table (Tabla de enrutamiento) y, a continuación, elija Edit route table association (Editar asociación de tabla de enrutamiento). Paso 12: En la lista Route Table ID (ID de tabla de enrutamiento), elija la tabla de enrutamiento cuyo valor copió anteriormente en este procedimiento. Paso 13: Elija Save (Guardar) y, a continuación, elija Close (Cerrar). Si necesita agregar otra subred repita estos pasos cambiando los valores antes agregados 3.3. Creación clúster de MSK Una vez configurada la VPC en la cual estará alojada el clúster de Amazon MSK, podemos proceder a la creación de este mismo. Para realizar esta acción debe seguir los siguientes pasos: Paso 1: Abra la consola de administración de AWS utilizando sus credenciales de autenticación Paso 2: Una vez dentro de la consola seleccione el servicio MSK Paso 3: Presionar la opción Create cluster Paso 4: En el apartado General especificar el nombre (Cluster name) que tendrá el clúster Ejemplo: kafkfa-test Paso 5: En el apartado Networking seleccionar en la opción VPC, la VPC creada con anterioridad. Paso 6:
Caso de éxito – Big Data & Analytics: Implementación Data Lake La Positiva Seguros Perú
Lo que opina nuestro Cliente Recomendamos a Morris y Opazo porque ha demostrado ser un proveedor con mucha experiencia en cloud y calidad en su trabajo. Un equipo de trabajo muy disciplinado y comprometido con los objetivos del cliente. Miguel Angel Pacora, Gerente de Tecnología y Transformación El problema La Positiva debía cumplir con requerimientos regulatorios impulsados por los reguladores de entidades aseguradoras, que exigen mayor visibilidad y gestión oportuna del riesgo en las distintas áreas del negocio, pero sus datos se encontraban distribuidos en diferentes sistemas core (Oracle e Informix). Por ello, requería una solución que soporte la replicación de datos desde los cores, habilite el desarrollo de un modelo de datos en la nube, y brinde capacidades de análisis avanzado de manera ágil, segura y de fácil uso. Solución propuesta Morris & Opazo propuso la creación de un Data Lake en AWS utilizando componentes del Framework de Big Data para aprovechar al máximo los datos recolectados, junto con la solución Qlik Replicate para la ingesta desde sistemas core implementados en motores distintos (Oracle e Informix). Las bases se replicaron a una base de datos HUB en la nube para soportar nuevas iniciativas organizacionales, desplegando servicios como Amazon S3, Aurora, Glue, Athena y otros para habilitar análisis avanzados y actualizaciones en tiempo real mediante CDC. Beneficios La plataforma otorga agilidad y mayor velocidad para los despliegues de cómputo y almacenamiento a bajo costo, escalabilidad para cumplir con las demandas del negocio sin sobre-provisionar —aprovechando la elasticidad de AWS—, y almacenamiento de alto volumen para datos críticos del negocio con excelentes características en cumplimiento, disponibilidad y durabilidad. Gracias a Qlik Replicate, se logra alto rendimiento en la ingesta con actualizaciones en tiempo real mediante Change Data Capture (CDC) de clase mundial y bajo impacto en operaciones. Se estiman reducciones del 30% en costos de almacenamiento, mejoras sustanciales en tiempos de generación de informes regulatorios y gestión del riesgo, permitiendo explorar y crear nuevas soluciones de analítica con alta disponibilidad y replicación en tiempo real. Tecnologías usadas Qlik Replicate AWS ElasticSearch Qlik Enterprise Manager AWS Lambda Amazon S3 AWS Lambda Amazon Aurora AWS Transfer for SFTP Amazon Glue AWS SNS Amazon Athena Amazon CloudWatch AWS Cloud Formation AWS IAM Resultados Solución confiable, de alto desempeño y a bajo costo para proporcionar un almacenamiento desacoplado de datos con la capacidad de integrarse con muchos servicios de Big Data, que van a empoderar a la compañía para explorar, crear e integrar valiosas soluciones.
Aprende los conceptos básicos detrás de Apache Kafka
Morris & Opazo ha sido elegido como partner autorizado para ejecutar AWS Immersion Days
Como muestra de nuestro permanente compromiso de aprender y ofrecer a nuestros clientes la mejor tecnología disponible en cada área de nuestro portafolio de servicios, Morris & Opazo ha sido elegido como partner autorizado para ejecutar AWS Immersion Days. Los talleres de AWS Immersion Day son oportunidades únicas en las que los clientes (potenciales y existentes) de AWS pueden aprender y resolver dudas relacionadas con las diferentes soluciones ofrecidas por Amazon Web Services. Hasta hace poco eran llevados a cabo exclusivamente por AWS, pero desde diciembre del 2019 los partners que hayan demostrado una profunda y amplia experiencia técnica y práctica en AWS pueden realizarlos con sus clientes. Los Immersion Days abarcan muchas áreas de soluciones, como migraciones de bases de datos, contenedores, inteligencia artificial, servicios de borde, y más. De esta manera, pronto estaremos ofreciendo a nuestros clientes oportunidades para poder acercarse a las tecnologías que brinda la nube de AWS, de la mano de nuestros Arquitectos de Soluciones certificados por AWS.
¿Por qué elegir Amazon SageMaker?
Introducción a Machine Learning: Términos y procesos
Activar replicación en SQL Server para utilizar Qlik Replicate
VISIÓN GENERAL MS SQL Server es un sistema de gestión de bases de datos creado por Microsoft, y que para efectos de este artículo servirá como fuente para una replicación utilizando Qlik Replicate (Attunity Replicate), herramienta que permite la replicación de datos desde múltiples fuentes y múltiples destinos. OBJETIVO Habilitar la base de datos en MS SQL Server para utilizar en replicación con Qlik Replicate TAREAS Asignación de permisos De acuerdo a la documentación entregada por Qlik, el usuario debe tener permisos de “db_owner” sobre la base de datos y rol de “sysAdmin”. Ya establecida la conexión con la base de datos y utilizando la herramienta “Microsoft SQL Server Management Studio”, esto se realiza de la siguiente manera: Primero, ir a la sección de “Security” bajo la conexión a la base de datos. Expandir “Logins” e ir al login que tendrá los accesos. Clic derecho sobre este y presionar en “Properties”. Ya en las propiedades, ir a “Server Roles” y asignar/agregar el check en la opción de “sysadmin” a la derecha. Por último, seleccionar “User Mapping” en el menú de la izquierda, a continuación en el lado derecho seleccionar la base de datos y el rol en la parte inferior, que para este caso es “db_owner”. Habilitar replicación en la base de datos Para habilitar la replicación, primero es necesario instalar ciertas características en caso de que no estén previamente instaladas. Para esto es necesario abrir “SQL Server Installation Center”. En el menú de la izquierda, seleccionar “Installation” y en la derecha “New SQL Server stand-alone installation or add features to an existing installation”. Luego buscar la carpeta donde se encuentra la instalación. Click en “Next” Para este caso ya que se tiene SQL Server, se selecciona la segunda opción y las características de estas instancias aparecerán en la tabla inferior. Presionar en “Next” para continuar. En la siguiente pantalla seleccionar la opción de “SQL Server Replication” y continuar. Se muestra un resumen de la instalación, presionar “Install” para continuar con la instalación. Aparecerá una pantalla de confirmación de la instalación, cerrar y volver a “SQL Server Management Studio”. Seleccionar la opción de “Replication” y luego “Configure Distribution…”. En la pantalla que aparece, click en “Next” para continuar. Seleccionar la opción en la que que la instancia actuará como su propio distribuidor (opción superior, seleccionada en la imagen). Seleccionar la opción que desee respecto a cómo se llevará a cabo la configuración con SQL Server Agent, el cual se encarga de distintas tareas automáticas. Seleccionar el directorio de los “snapshots”, réplicas de los datos en un cierto periodo y que no se actualizan. Continuar a través de “Next”. Asignar un nombre a la base de datos de distribución y continuar. Seleccionar los “Publisher” de interés y continuar. Seleccionar la opción que considere mejor, en este caso se configurará de inmediato. Finalizar el “Wizard”. Un resumen con el estado de las tareas aparecerá. En este caso hubo un problema con la configuración del agente, pero se puede continuar sin problemas. Las opciones en Replication ahora que se configuró son distintas a las vistas anteriormente. Respaldo completo de la base de datos El último requisito para utilizar las capacidades de carga completa y captura de cambios es un respaldo completo de la base de datos. Para esto ir a la base de datos en el menú de la izquierda, click derecho, luego “Tasks” y “Back Up…”. Asegurarse que todo esté correcto, colocando atención principalmente en el “Backup type” y finalizar presionando en “OK”.
