Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
219 changes: 219 additions & 0 deletions _doc/articles/2026-04-30-route2026.rst
Original file line number Diff line number Diff line change
@@ -0,0 +1,219 @@
.. _l-feuille-de-route-2026-3A:

2026-04-30: Feuille de route 2025-2026 (3A)
===========================================

* Main Web Site : `https://sdpython.github.io/ <https://sdpython.github.io/>`_
* Material : `https://sdpython.github.io/doc/teachcompute/dev/ <https://sdpython.github.io/doc/teachcompute/dev/>`_

Plan
++++

Les cours et séances se déroulent sur 4 séances de 3h au second semestre.

Evaluation
++++++++++

Utilisation de vos compétences statistiques pour fabriquer un benchmark
adaptatif où l'on trouve la meilleure option de parallélisation
pour un algorithme parallélisé avec moins d'essais qu'une grille.

Séance 1 - 1/04: pararalléliser comment?
++++++++++++++++++++++++++++++++++++++++

**Part 1**

* stratégies de parallélisation (big data, deep learning, calcul matriciel...)
* coût, calcul, communication, caches
* CPU vs GPU
* conflits, synchronisation, mutex

* L1: 32 Ko, 3/4 Go/s, 1/2 cycles d'horloge, L2: 1Mo, 20 Go/s, 3/5 cycles d'horloge, L3: 8Mo, 40 Go/s, 10/20 cycles d'horloge
* thread / process
* :epkg:`AVX`
* branching
* cas du produit vectoriel
* produit matriciel

**Part 2**

1. Environnement

* C++ syntax
* Python
* présentation d'un package, C++
* Outils de développement : :epkg:`cmake`, :epkg:`git`, :epkg:`pull request`
* Python : :epkg:`setup.py`, :epkg:`sphinx`, :epkg:`pybind11`, :epkg:`cython`
* style : :epkg:`black`, :epkg:`ruff`
* :epkg:`github` et intégration continue
* Copy/Pasting is your friend.
* LLMs
* `VSCode <https://code.visualstudio.com/>`_

Séance 2 - 8/04: python, pybind11, cython
++++++++++++++++++++++++++++++++++++++++++

* notion d'algortihmes parallélisés, algorithmes de streaming
* réduction : problèmes numériques
* générateur de hasard, séquences de hasard parallélisées
* cas de la descente de gradient, problème de converge
* offloading

python et c++

* introduction à :epkg:`cython`, :epkg:`numba`, :epkg:`pybind11`
* voir `_tutoriels <https://github.com/sdpython/teachcompute/tree/main/_tutoriels>`_
et `tutorials.yml <https://github.com/sdpython/teachcompute/blob/main/.github/workflows/tutorials.yml>`_


Séance 3 - 15/04: alorithmes parallélisés
+++++++++++++++++++++++++++++++++++++++++

**Partie 1**

Ecriture d'un benchmark.

Comparaison d'une multiplication de matrice sparse et dense,
évolution en fonction du nombre des dimensions, du taux de "sparsité".

Vaut-il mieux calculer *(XA, XB)* séparément ou *X(A,B)* où
*(A,B)* désigne une matrice où A et B sont concaténées selon les colonnes.

*AB* est-il plus ou moins rapide que *AB'* si les matrices sont carrées ?

Profiling

Lecture de benchmark.

* :ref:`l-parallelization-vector-sum`
* :ref:`l-parallelization-dot-product`
* :ref:`l-compare-filtering-implementation`
* :ref:`l-parallelization-processes`
* écrire un programme pour plusieurs processeurs
* CI, intégration continue
* :epkg:`cmake`

**Pour aller plus loin**

* :epkg:`blas`, :epkg:`lapack`, :epkg:`Eigen`, :epkg:`xtensor`, :epkg:`simd`
* `OpenMP <https://www.openmp.org/wp-content/uploads/OpenMP3.1-CCard.pdf>`_

**Partie 2**

* `Algorithme de Strassen <https://fr.wikipedia.org/wiki/Algorithme_de_Strassen>`_
* `HOGWILD !: A Lock-Free Approach to Parallelizing Stochastic Gradient Descent
<https://papers.nips.cc/paper_files/paper/2011/file/218a0aefd1d1a4be65601cc6ddc1520e-Paper.pdf>`_
* problème de convergence
* quantization
* réseau de neurones
* parallélisation mémoire contrainte ou presque
* `A quantum-inspired classical algorithm for recommendation systems
<https://arxiv.org/abs/1807.04271>`_
* utilisation de plusieurs processeurs, CPUs, GPUs..., NPU, `intel-npu <https://github.com/intel/intel-npu-acceleration-library>`_
* qui fait quoi ? data scientist, développeur

Séance 4 - 22/04: mémoire et C++
++++++++++++++++++++++++++++++++

* notion de cache line (64 octets cache miss, flase sharing)
* Translation Lookaside Buffer (TLB,), TLB miss
* mémoire alignée (posix_memalign)
* option de compilation

* notions C/C++
* STL
* OpenMP
* écriture de threads sans OpenMP
* interfaçage avec cython, nanobind

Sujets connexes
+++++++++++++++

* hacking (attaque), Spectre, Meltdown
* https://fr.wikipedia.org/wiki/DO-178, PowerPC, RISC
* `MAIA <https://azure.microsoft.com/en-us/blog/azure-maia-for-the-era-of-ai-from-silicon-to-software-to-systems/>`_
* `TPU <https://cloud.google.com/tpu>`_
* Un tri ?
* Le calcul de la médiane ? (:epkg:`BJKST`) Propriétés statistiques ?
* Pourquoi est-ce si difficile de paralléliser un tri ?
* `scatter_nd <https://www.tensorflow.org/api_docs/python/tf/scatter_nd>`_,
Que faire quand les indices sont dupliqués ?
* Paralléliser une forêt aléatoire sur CPU, sur GPU ?
* La recherche de doublons dans une liste de
coordonnées géographiques (longitude, latitude) ?
* `An Efficient Matrix Transpose in CUDA C/C++
<https://developer.nvidia.com/blog/efficient-matrix-transpose-cuda-cc/>`_,
notion de Bank Conflicts (voir
`CUDA C++ Programming Guide <https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html>`_)
`CUDA, Cartes graphiques, Warp... <https://leria-info.univ-angers.fr/~jeanmichel.richer/cuda_crs4.php>`_

Installation de ce module
+++++++++++++++++++++++++

Il ensuite exécuter les instuctions suivantes en ligne de commande.

::

git clone https://github.com/sdpython/teachcompute.git
cd teachcompute
pip install -e . -v --no-build-isolation -no-clean

Si ça ne marche, installer `cmake <https://cmake.org/>`_.
Puis :

::

export PYTHONPATH=<this folder>
python _doc/examples/plot_bench_cpu_vector_sum.py

Lectures
++++++++

Collège de France

* `Une vision mathématique du "Deep Learning"
<https://www.college-de-france.fr/site/pierre-louis-lions/seminar-2018-11-09-11h15.htm>`_
* `Stéphane Mallat, Représentation Parcimonieuse
<https://www.college-de-france.fr/site/stephane-mallat/course-2021-01-13-09h30.htm>`_
* `Algorithmes quantiques : quand la physique quantique défie la thèse de Church-Turing
<https://www.college-de-france.fr/site/frederic-magniez/inaugural-lecture-2021-04-01-18h00.htm>`_
* `Génération de données en IA par transport et débruitage (1)
<https://www.college-de-france.fr/fr/agenda/cours/generation-de-donnees-en-ia-par-transport-et-debruitage>`_
**pour comprendre ce que sont les LLMs**
* `Enseigner les maths par des challenges d'IA
<https://www.college-de-france.fr/fr/agenda/grand-evenement/reenchanter-les-maths-ecole/enseigner-les-maths-par-des-challenges-ia>`_
* `Introduction aux réseaux de neurones profonds
<https://www.college-de-france.fr/fr/agenda/cours/apprentissage-par-reseaux-de-neurones-profonds/introduction-aux-reseaux-de-neurones-profonds>`_

Points particuliers
+++++++++++++++++++

* `race condition <https://en.wikipedia.org/wiki/Race_condition>`
* `AVX <https://fr.wikipedia.org/wiki/Advanced_Vector_Extensions>`_
* `Cache <https://en.wikipedia.org/wiki/CPU_cache>`_

Livres
++++++

* `Introduction to Algorithms <https://edutechlearners.com/download/Introduction_to_algorithms-3rd%20Edition.pdf>`_
* `Latency Numbers Every Programmer Should Know
<https://people.eecs.berkeley.edu/~rcs/research/interactive_latency.html>`_
* `What Every Computer Scientist Should Know About Floating-Point Arithmetic
<https://faculty.tarleton.edu/agapie/documents/cs_343_arch/papers/1991_Goldberg_FloatingPoint.pdf>`_
* `What Every Programmer Should Know About Memory
<https://www.akkadia.org/drepper/cpumemory.pdf>`_
* `Introduction to High Performance Scientific Computing
<https://www.amazon.fr/Introduction-High-Performance-Scientific-Computing/dp/1257992546/ref=sr_1_1?ie=UTF8&qid=1476379218&sr=8-1&keywords=introduction+to+high+performance+scientific+computing+Victor+eijkhout>`_

Autres
++++++

* `AlphaFold <https://fr.wikipedia.org/wiki/AlphaFold>`_ (Prix Nodel)
`Prix Nobel de chimie 2024 : quand l'IA permet de comprendre la structure des protéines
<https://www.liberation.fr/sciences/prix-nobel-de-chimie-2024-david-baker-john-jumper-et-demis-hassabis-recompenses-pour-leurs-travaux-sur-les-proteines-20241009_SNIK66VRORBDJOSOJD4AGWHHJE/>`_
* `A quantum-inspired classical algorithm for recommendation systems <https://arxiv.org/abs/1807.04271>`_
* `CoqPilot, a plugin for LLM-based generation of proofs <https://arxiv.org/abs/2410.19605>`_
* `The Fusion of Large Language Models and Formal Methods for Trustworthy AI Agents: A Roadmap <https://arxiv.org/html/2412.06512v1>`_
* `GraphCast: AI model for faster and more accurate global weather forecasting
<https://deepmind.google/discover/blog/graphcast-ai-model-for-faster-and-more-accurate-global-weather-forecasting/>`_

6 changes: 6 additions & 0 deletions _doc/articles/index.rst
Original file line number Diff line number Diff line change
Expand Up @@ -6,6 +6,12 @@ Collections d'articles périssables
Ou *blog*.


.. toctree::
:caption: 2026
:maxdepth: 1

2026-04-30-route2026

.. toctree::
:caption: 2025
:maxdepth: 1
Expand Down
10 changes: 9 additions & 1 deletion _doc/conf.py
Original file line number Diff line number Diff line change
Expand Up @@ -73,7 +73,7 @@
"""

# The following is used by sphinx.ext.linkcode to provide links to github
linkcode_resolve = make_linkcode_resolve(
_linkcode_resolve = make_linkcode_resolve(
"teachcompute",
(
"https://github.com/sdpython/teachcompute/"
Expand All @@ -82,6 +82,11 @@
),
)


def linkcode_resolve(domain, info):
return _linkcode_resolve(domain, info)


latex_elements = {
"papersize": "a4",
"pointsize": "10pt",
Expand Down Expand Up @@ -122,6 +127,9 @@

nitpick_ignore_regex = [
("py:class", ".*numpy[.].*"),
("py:class", "pandas.core.frame.DataFrame"),
("py:class", ":.*"),
("py:class", "\\].*"),
("py:func", ".*[.]PyCapsule[.].*"),
("py:func", ".*numpy[.].*"),
("py:func", ".*scipy[.].*"),
Expand Down
Loading