Et si on utilisait de l’IA en local ?

gouz.dev

// Sylvain Gougouzian

Développeur Auvergnat Rhônalpin

Formateur Numérique Responsable

Une brève histoire du temps

Antiquité
1950 : Tests de Turing
1956 : Discipline académique
1997 : Deep Blue
2015 : OpenAI
2021 : Copilot
2022 : Midjourney
2022 : ChatGPT

Notre futur ?

6% de la consommation électrique des US en 2026
x6 la consommation en eau du Danemark
une consommation de terres rares pour les GPU
x10 de l’électricité consommée par l’IA entre 2023 et 2026 passant de 7.3 TWh à 73 TWh
1.5M de serveurs NVidia en 2027

https://hbr.org/2024/07/the-uneven-distribution-of-ais-environmental-impacts

https://www.unep.org/news-and-stories/story/ai-has-environmental-problem-heres-what-world-can-do-about

Conséquences

Pénuries d’électricités
Ouverture de centrales (charbon & nucléaire)
Accentuation des mines

Combien coûte une conversation ChatGPT 4 ?

Combien coûte une conversation ChatGPT 4o ?

Notre futur

Des solutions seront trouvées
Des optimisations
Des innovations
Ne soyons pas si alarmistes ;)

L’IA c’est bien aussi

Assistant de code
GenAI sur les images
Assistance à la rédaction de textes
etc.

Mais a-t-on besoin de ?

l’IA dans mon terminal ?
l’IA dans mon téléphone ?
l’IA dans mon lave-vaisselle ou mon frigo ?
l’IA pour contrôler ma vie ?

et nos données ???

Comment on sait si elles ne sont pas utilisées pour autre chose ?

Anecdote

05/02/2025 : Rayan D. 19 ans

Que risque-t-on pour « une extorsion avec arme » ?

Quelle peine « pour une personne sans casier » ?

Comment faire croire que la victime lui a remis d’elle-même ses affaires ?

Scénarios « plausibles » pour le dédouaner dans l’affaire.

ChatGPT : rencard ayant « mal tourné » ou de contacter un avocat

=> 3 ans de prison

et si on restait maître de nos données ?

et si on n’a pas de net ?

et si on est auvergnat ?

💡 et si on faisait de l’IA en local ?

et Dieu Meta créa la femme LLaMA

Février 2023

Large Language Model Meta AI

Georgi Gerganov : llama.cpp

Mars 2023

Open Source Project

https://github.com/ggerganov/llama-cpp

Ollama : API

Langchain4j
OllamaJS
curl

Langchain4j ::pom.xml

<dependency>
    <groupId>dev.langchain4j</groupId>
    <artifactId>langchain4j-ollama</artifactId>
    <version>1.0.0-beta1</version>
</dependency>
<dependency>
    <groupId>org.testcontainers</groupId>
    <artifactId>ollama</artifactId>
    <version>1.19.1</version>
</dependency>

Langchain4j :: main.java

class OllamaChatLocalModelTest {
  static String MODEL_NAME = "llama3.2";
  static String BASE_URL = "http://localhost:11434";

  public static void model = OllamaChatModel.builder()
              .baseUrl(BASE_URL)
              .modelName(MODEL_NAME)
              .build();

      String json = model.generate("List top 10 cites in US");
      System.out.println(json);
    }
}

WebUI

https://localhost:3000

Stable Diffusion

Open Source, mais pas libre

2022

Stability Matrix

(va chercher ) Lykos

https://github.com/LykosAI/StabilityMatrix

2023

Continue

https://www.continue.dev/

VsCode, JetBrains

Ollama, OpenAI, Anthropic, Mistral, …

Conclusion

Faire de l’IA en local c’est possible

Même sur RaspberryPi (cf k33g_org)