• View
• Edit
• History
• Print

M 1 BD

Le cours présente le domaine des Mégadonnées à des économistes. L'accent est mis sur le traitement de données réelles, en particulier de streaming venant de Twitter et sur les méthodes d'analyse efficaces.

• Pincipaux sujets abordés dans le cours:
  • 1. Hadoop, Map-Reduce: système distribué de fichiers, distribuer des calculs sur plusieurs serveurs (exemple avec AWS)
  • 2. Test de Propriété: mots, arbres et graphes
  • 3. Algorithmes de streaming, Test de streaming
  • 4. Réseaux sociaux
  • 5. Réduction de dimension: ensemble de points dand Rⁿ
  • 6. Apprentissage
  • 7. Vérification et Régulation
• Plan de cours:
• Séance 1 - Introduction au Big Data
• Séance 2 - Hadoop, Map-Reduce
• Séance 3 - Tests de Propriété
• Séance 4 - Algorithmes de Streaming
• Séance 5 - Testeurs de Streams
• Séance 6 - Réseaux sociaux
• Séance 7 - Réduction de dimension
• Séance 8 - Systèmes de recommandation
• Séance 9 - Apprentissage profond
• Séance 10 - Apprentissage par renforcement: jeux simples
• Séance 11 - Apprentissage par renforcement: Jeux séquentiels
• Séance 12 - Apprentissage avec des experts
• Séance 13 - Vérification, Régulation: Blockchain
• Séance 14 - Régulation des Données personnelles: RGPD
• Séance 15 - Résumé des principaux thèmes et leurs connexions
• Séance 16 - Présentation des projets

Polycopié 2021

• Programmation:
  • Python
  • R
  • Projets
• Outils
  • Google Colab
  • Anaconda (environnement Python)
  • Editeur Python: Sublime text 3 (par exemple)
  • Gephi: https://up2.fr/index.php?n=Main.Gephi
  • R
  • Twitter (compte et app)
  • Problèmes
• Evaluation: un rapport 15 pages + transparents au format .pdf qui présentent le projet. Collecter des bigdata et proposer des analyses. Préprésentation de 10 minutes en décembre (5 transparents). Présentation de 15 minutes composée de 10 minutes de présentation et de 5 minutes de question sur le projet ET sur le cours. Exemples de question de cours:
  • Qu'est qu'un testeur de propriété?
  • Qu'est qu'un algorithme de streaming, un streaming-tester?
  • Reservoir sampling? Top-k avec Spacesaving?
  • Graphe social? Graphes aléatoires (Erdos-Renyi, Modèle de configuration) et composantes géantes?
  • Réduction de dimension? ACP ?
  • Système de recommandation?
  • Deep Learning?
  • MDP et Apprentissage par renforcement?
  • Apprentissage avec Experts?
  • Vérification et vérification probabiliste
  • Planning des préprésentations, décembre 2022
  • Planning de l'examen, 13 janvier 2023 Les rapports doivent être envoyés par e-mail avant le 11 janvier minuit.