migration de base de données en utilisant Apache Spark

voix
0

Je dois effectuer la migration d'une base de données abstraite à un autre (par exemple permet de dire d'oracle à cassandra) et nous voulons utiliser Apache Spark en streaming pour cela. Il n'est pas un simple mappage de types d'un db à l'autre, mais comprend également des transformations complexes et la validation. Un cas typique est de vérifier avant la validation / transformation d'une condition de nos données RDD par la recherche de certaines relations de cette valeur avec des valeurs dans l'ensemble jeu de données (peut-être différent) (pour les cas par exemple lorsque notre valeur de RDD est utilisée dans un autre table et nous voulons vérifier et effectuer certaines actions pour chaque occurrence d'occurrence).

Nous avons donc une possibilité d'utiliser Apache Ignite avec elle est partagée RDD pour résoudre ce problème. Et quand nous recevrons ces données qui devront vérifier externe de celui-ci est la corrélation avec les autres données de toute l'étendue de la migration alors nous allons tout simplement aller à enflammer (qui sera utilisé comme stockage temprorary pour de tels cas), vérifier des corrélations et effectuer toutes les actions neccessary avec notre valeur.

Il en va de smb ont une telle expérience et quels sont les problèmes typiques nous peut rencontrer. Est-ce une bonne pratique d'utiliser une telle architecture ou peut-être cela peut être fait plus efficace et avec une meilleure conception Spark?

Créé 18/12/2017 à 09:42
utilisateur
Dans d'autres langues...                            

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more