Comment utiliser Stable Diffusion ? Guide complet
Publié par Thomas Leroy le dans Stable Diffusion
Temps de lecture estimé : 7 min
Stable Diffusion fait partie de ce que l’on appelle l’IA générative « text-to-images ». En concurrence avec DALL-E et Midjourney, c’est un outil capable de générer une image à partir de rien, ou de modifier ou perfectionner une image avec des options plus poussées. Stable Diffusion promet des rendus plus originaux et pas que… De sa version web à sa version open-source, ce logiciel a de quoi ravir les novices comme les experts de l’image. Alors, quelles sont les options offertes par Stable Diffusion ? Je vous propose une visite détaillée de cet outil assisté par l’IA.
Les différentes options d’utilisation de Stable Diffusion
Différentes options s’offrent aux utilisateurs pour profiter pleinement de Stable Diffusion. En effet, vous pouvez l’utiliser soit :
- Directement sur l’interface Web officielle de Stable Diffusion
- Par l’intermédiaire des outils tiers et les intégrations
- Depuis votre ordinateur sans internet
L’interface Web officielle
Depuis le site officiel de Stable Diffusion (https://stability.ai/stable-image), vous pouvez accéder à l’interface de génération ClipDrop. Cette plateforme vous permet de générer des images avec Stable Diffusion XL, qui est la version démo officielle. Pour être redirigé, il suffit de cliquer sur « Try SDXL Turbo ». Sur ClipDrop, vous trouverez :
- La zone de formulation de l’invite en bas de votre écran.
- Les outils (éclairage, gomme, etc.), les API, les tarifs et votre compte Clipdrop en haut à gauche de votre écran.
L’interface se veut simple et pratique à utiliser.
Les outils tiers et les intégrations (plugins)
Si vous souhaitez accéder aux fonctionnalités de Stable Diffusion sans avoir à vous rendre sur le site officiel, vous pouvez également l’utiliser d’autres manières. Outre ClipDrop, il existe de nombreux autres générateurs en ligne qui vous permettent de générer des images avec Stable Diffusion et ses modèles. Vous pouvez le faire avec :
- Dream Studio
- Playground AI
- Stable Horde, etc.
Si vous ne pouvez pas être en permanence sur Internet, il existe aussi des interfaces graphiques avancées. Pour cela, vous devez d’abord les installer sur votre ordinateur. Il s’agit d’interfaces graphiques telles que :
- Automatic1111
- Fooocus
- ComfyUI, que je recommande particulièrement.
Mais les possibilités ne s’arrêtent pas là. Vous pouvez également l’intégrer dans votre logiciel de traitement d’images. Pour cela, vous devez télécharger le plugin qui permet d’intégrer l’outil dans votre logiciel. Vous pouvez intégrer Stable Diffusion à :
- Photoshop
- GIMP
- Blender, etc.
L’installation de Stable Diffusion en local
Qui aurait pensé que l’IA générative pouvait être utilisée sans connexion Internet ? C’est pourtant le cas de Stable Diffusion. Contrairement à ses concurrents, cet outil peut être installé localement. Cela vous permet de profiter de Stable Diffusion depuis votre ordinateur en mode hors ligne. Ne vous inquiétez pas, je vais vous expliquer comment l’installer sur votre ordinateur. Tout d’abord, Stable Diffusion nécessite un ordinateur performant. Il faut notamment :
- Windows (10 ou 11) ou Mac avec des cartes M1 ou M2.
- Au moins 4G de VRAM, de préférence une carte graphique NVIDIA ou AMD
- Télécharger une interface graphique : ComfyUI
Avant d’installer chaque composant, j’aimerais souligner que ComfyUI est l’interface la plus pratique, facile à installer et nécessitant moins d’espace de stockage. De plus, contrairement à Automatic1111, ComfyUI génère plus rapidement le contenu des images.
Donc, tout d’abord, si vous n’avez pas ComfyUI, vous devez vous rendre sur https://github.com/comfyanonymous/ComfyUI?tab=readme-ov-file#installing. En haut, vous trouverez « Installing ComfyUI« , qui vous redirigera vers un lien de téléchargement direct. Vous y trouverez les versions Windows et Mac.
Une fois que vous avez téléchargé le fichier zip de ComfyUI, vous devez extraire le fichier à l’aide d’un dézippeur, qui devrait reconnaître le fichier. Une fois le fichier extrait, vous devriez voir un dossier ComfyUI dans lequel vous pouvez installer les modèles de Stable Diffusion. Pour télécharger ces modèles, veuillez consulter le site https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/tree/main. Cliquez sur « Files and versions » pour télécharger 2 fichiers :
- sd_xl_base_1.0
- sd_xl_offset_example-lora_1.0
Allez ensuite sur https://huggingface.co/stabilityai/stable-diffusion-xl-refiner-1.0 et, comme précédemment, dans « Files and versions » vous trouverez le fichier sd_xl_refiner_1.0safetensors, que vous devrez également télécharger.
Une fois que vous avez ces modèles, vous devez placer chaque fichier dans le bon dossier. Retournez dans le dossier ComfyUI de votre ordinateur et ouvrez le sous-dossier « ComfyUI » pour trouver « models« , puis « checkpoints », où vous collerez les fichiers :
- sd_xl_base_1.0
- sd_xl_refiner_1.0safetensors
Retournez ensuite dans « models » et vous trouverez un sous-dossier « lora » dans lequel vous devrez coller le fichier : sd_xl_offset_example-lora_1.0
Vous pouvez maintenant utiliser ComfyUI, où vous trouverez les options de diffusion stable. Vous pouvez aussi ouvrir ComfyUI avec votre GPU ou CPU NVIDIA. Cependant, avec ce dernier, le traitement peut prendre beaucoup de temps.
Les principales étapes pour générer une image avec Stable Diffusion
Maintenant que vous savez comment trouver Stable Diffusion en ligne et même l’installer localement, comment générer une image avec ce logiciel ? Il vous suffit de suivre quelques étapes pour créer votre image en un rien de temps.
Tout d’abord, n’oubliez pas de rédiger un invite clair et précis. Utilisez des mots-clés importants. Si vous avez des difficultés à formuler votre invite, vous pouvez apprendre en recherchant des générateurs de prompts en ligne, ou simplement le générer avec ChatGPT ou Gemini. Notez que les messages doivent être formulés en anglais.
Cliquez ensuite sur « Style », où vous trouverez un large éventail de styles que vous pouvez essayer pour voir les variations. Choisissez la résolution, car c’est un point important. Plus la résolution est élevée, plus vous verrez de détails. Vous trouverez également des options « Upscale » pour l’agrandissement, et n’hésitez pas à essayer les différentes autres options offertes par l’IA. Une fois vos réglages effectués, lancez la génération de votre image. Après quelques secondes, voire quelques minutes, vous obtiendrez votre rendu, que vous pourrez télécharger depuis Stable Diffusion.
Quelques conseils pratiques pour optimiser les résultats
Comme toute IA génératrice d’images, vous n’obtiendrez pas le rendu escompté en une seule tentative. Pour obtenir des résultats convaincants, il faut introduire de nombreuses variables dans le processus de génération. Pour vous aider à créer l’image que vous attendez, voici quelques conseils pratiques qui vous permettront d’optimiser vos résultats :
Affinez la formulation de votre texte d’incitation. Plus votre requête est précise, plus l’outil a de chances de générer l’image que vous recherchez. Il est possible de s’inspirer des générateurs d’images en ligne. Inspirez-vous de ces outils en ligne pour enrichir votre vocabulaire.
Ajustez vos paramètres en choisissant parmi différents styles, résolutions, agrandissement ou variations. Sans expérimenter chaque paramètre, vous n’aurez aucune idée des variations qu’ils peuvent produire. La curiosité est l’alliée idéale pour cette étape.
Mais il est également possible d’utiliser des techniques plus avancées. Avec la diffusion stable, vous pouvez utiliser deux types d’incitations : positives et négatives. Les invites positives sont les invites habituelles utilisées par toutes les IA génératrices d’images. Les prompts négatifs, quant à elles, sont des requêtes que vous pouvez utiliser pour exclure des éléments que vous ne souhaitez pas voir apparaître sur la photo.
Si vous souhaitez générer juste une partie d’une image, vous pouvez utiliser Inpaint sur Stable Diffusion. Avec cette option, vous devrez utiliser un masque pour définir la partie de l’image à redessiner. Sinon, si vous souhaitez étendre une image existante (prolonger ses bords par de nouveaux dessins) et la compléter par une description, vous pouvez choisir Outpaint. Ce ne sont là que quelques-unes des possibilités offertes, à vous d’approfondir ces fonctionnalités.
Certes, Stable Diffusion est une IA générative assez complexe. Mais il offre une panoplie d’options plus complète que ses concurrents. De plus, l’outil peut être utilisé aussi bien en ligne qu’en local, et il est le seul de son genre à le proposer. L’utilisation de Stable Diffusion repose sur la formulation de prompts, le réglage correct des paramètres (style, résolution, lumière, etc.) et l’utilisation de techniques avancées. Par exemple, le mélange d’invités (positives et négatives) permet d’ajuster le rendu. En vous appliquant régulièrement, vous pourrez équilibrer chaque paramètre et devenir un expert de la génération d’images sur Stable Diffusion.
