APACHE PRESO BIG DATA & ANALYTIQUE

Apache Presto avec PostgreSQL et MySQL : TP pratique pour débutants (2)

10. Configurer le serveur Presto

Créer etc/node.properties

Dans ton Terminal, exécute :

nano etc/node.properties

Une fenêtre d’édition s’ouvre dans le Terminal.

Colle ceci :

node.environment=development
node.id=presto-node-1
node.data-dir=/tmp/presto-data

Ensuite :

  • Ctrl + O → enregistrer
  • appuie sur Entrée pour confirmer le nom du fichier
  • Ctrl + X → quitter nano

Vérifier le fichier

Exécute :

cat etc/node.properties

Tu dois obtenir :

À quoi servent ces paramètres ?

  • node.environment=development : indique que Presto fonctionne dans un environnement de développement.
  • node.id=presto-node-1 : identifie de manière unique notre nœud Presto.
  • node.data-dir=/tmp/presto-data : indique le répertoire utilisé par Presto pour stocker ses données locales.

Pour notre TP PostgreSQL + MySQL, cette configuration est suffisante pour commencer.

11. Configurer les propriétés du serveur

Créer etc/config.properties

Exécute :

nano etc/config.properties

Puis ajoute :

coordinator=true
node-scheduler.include-coordinator=true
http-server.http.port=8080
query.max-memory=1GB
discovery-server.enabled=true
discovery.uri=http://localhost:8080

Enregistre avec :

Ctrl + O → Entrée → Ctrl + X

Vérifier

Exécute :

cat etc/config.properties

Tu dois obtenir :

Explication simple

Dans notre TP, nous utilisons un seul ordinateur. Ce même serveur Presto va donc jouer deux rôles :

Coordinator → reçoit les requêtes SQL et coordonne leur exécution.

Worker → exécute les tâches nécessaires pour traiter les requêtes.

C’est pourquoi nous avons :

coordinator=true

et :

node-scheduler.include-coordinator=true

Le serveur Web de Presto sera accessible sur le port :

http-server.http.port=8080

Donc, une fois Presto démarré, nous pourrons accéder à son interface avec :

http://localhost:8080/

Pour l’instant, ne démarre pas encore Presto. Il nous reste notamment à créer etc/jvm.config, puis nous configurerons PostgreSQL et MySQL dans etc/catalog/.

12. Créer etc/jvm.config

Ce fichier indique à Presto les paramètres à utiliser pour la machine virtuelle Java (JVM).

Dans ton Terminal, tu es normalement toujours dans :

/Users/cynomedia/presto

Exécute :

nano etc/jvm.config

Ajoute :

Enregistre :

Ctrl + O → Entrée → Ctrl + X

Puis vérifie :

cat etc/jvm.config

Tu dois obtenir :

⚠️ NB:

-Xmx2G signifie que Presto peut utiliser jusqu’à 2 Go de mémoire Java.

Si ton Mac dispose de peu de RAM, par exemple 8 Go, on pourra utiliser une configuration plus légère pour le TP :

-server
-Xmx1G
-XX:+UseG1GC
-XX:+ExplicitGCInvokesConcurrent
-XX:+ExitOnOutOfMemoryError

Pour un environnement d’apprentissage avec PostgreSQL + MySQL, 1 Go peut suffire pour commencer.

13. Vérifions maintenant toute notre configuration

Exécute :

ls -la etc

Tu devrais avoir :

Et vérifie le contenu des trois fichiers :

cat etc/node.properties

cat etc/config.properties

cat etc/jvm.config

Ensuite, on passe à la partie importante du TP : connecter PostgreSQL à Presto, avec :

etc/catalog/postgresql.properties

Puis nous ferons la même chose pour MySQL.

14. Correction du fichier etc/jvm.config

Nous allons simplement ajouter cette option dans etc/jvm.config.

Ouvre le fichier :

nano etc/jvm.config

Et ajoute cette ligne :

-Djdk.attach.allowAttachSelf=true

Ton fichier doit maintenant être :

-server
-Xmx2G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+ExplicitGCInvokesConcurrent
-XX:+ExitOnOutOfMemoryError
-Djdk.attach.allowAttachSelf=true

Enregistre :

15. Prémier Test

Lance la commande

./bin/launcher run

Tester le lien http://localhost:8080

 

16. Configurer les logs

Créez :

etc/log.properties

avec :

nano etc/log.properties

et ajoutez ce contenu

com.facebook.presto=INFO

Cette configuration permet d’obtenir des informations utiles lors du démarrage et de l’exécution de Presto.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *