Stable Diffusion: Tutoriales y cosas interesantes

Stable Diffusion es una IA generativa de imágenes capaz de crear una imagen a partir de una descripción en texto. Las más importantes son Dall-E, Midjourney, y esta, Stable Diffussion. Las dos primeras tienen varias pegas, siendo la primera que son de pago (aunque te dejan hacer una cierta cantidad de imágenes de prueba), pero la tercera es Open Source y se puede usar libremente sin ningún tipo de limitación, instalarla en local en tu Pc (con lo que no dependes de ningún servicio online) y además tiene muchísima comunidad detrás entrenando modelos específicos para crear imágenes fotorrealistas, crear Anime, imitar estilos de casi cualquier dibujante, etc... Además es muy fácil entrenar un modelo tú mismo para hacer lo mencionado o incluir en las imágenes a personas, personajes, estilos, etc...

Para crear una imagen, una vez en su interfaz, hay un formulario que tiene arriba dos líneas... En la primera es donde escribes la descripción y los términos que quieres que cumplan los componentes de la imagen (tipo de imagen, si es una foto, una ilustración o un render, qué personajes salen, que están haciendo, su descripción detallada, dónde se encuentran, como es el escenario, la iluminación, etc...). Esto es lo que se llama un 'prompt', el término que se usa para las descripciones. La segunda línea es el llamado 'prompt negativo', y es en el que se pone lo que NO queremos que tenga la imagen, los problemas de la imagen que queremos evitar, etc... Y nos sirve para mejorar la calidad de imagen, descartar imágenes borrosas, con personajes deformes, etc...

Luego hay una serie de parámetros que también podemos controlar, como la resolución de la imagen, el número de iteracciones que tendrá que hacer la IA para sacar la imagen final (a más iteraciones más detalle añadido, aunque en ciertos tipos de imágenes conviene que sea bajo), y lo literal que queremos que sea la IA a la hora de interpretar nuestra descripción (a veces es interesante dejar que sea flexible y que no aplique todo lo de la descripción para que sea más creativa).

Me gustaría probarlo, ¿qué tengo que hacer?

Lo primero que hay que tener en cuenta es que necesitas tener una gráfica más o menos potente (tampoco es necesario que sea lo último de lo último ni mucho menos) que como mínimo tenga 6 GB de VRAM, 8 GB para poder procesar tus propios modelos (aunque si no los tuviera y aún así quisieras entrenar a la IA, también se puede hacer online mediante Google Colab y servicios similares). Hay una guía muy buena que explica paso a paso cómo instalar todo lo necesario, desde Python hasta las dependencias y Stable Diffusion WebUI, así cómo que modelos básicos descargar y dónde conseguir más, todo con sus enlaces correspondientes. Es la del siguiente enlace:

https://rentry.co/UnofficialUnstableGuide

Luego, una vez lo tienes todo instalando y funcionando (usa una interfaz gráfica a través del navegador de internet pero de forma local, es decir, que no necesitas internet para usarla), puedes descargar muchos modelos de la comunidad que mejoran muchísimo su potencial, al estar entrenados para mejorar las imágenes de tipos específicos (hay modelos para fotografía ultrarrealista, un montón para Anime y Hentai de todos los estilos que se os ocurran, para paisajes, para fantasía, etc...). Son lo que se conocen como Checkpoint y para usarlos basta con descargarlos y meterlos en la carpeta models/Stable-Diffusion para que ya se puedan seleccionar en la interfaz. Además de estos modelos 'grandes', hay otros más pequeños para cosas mucho más concretas, como incluir personajes o personas en las imágenes o estilos artísticos nuevos, los que se conocen como LoRa y Embbedings, que van en las carpetas del mismo nombre. Tienen la ventaja de que se pueden usar conjuntamente con cualquier modelo 'grande' y puedes incluso usar varios a la vez, ocupando muchísimo menos. Además, estos son fáciles de crear para cualquiera y puedes entrenar los tuyos propios tú mismo con tan sólo tener, por ejemplo, 20 o 30 imágenes del personaje o estilo que quieras incluir (logicamente, a mayor cantidad de imágenes para entrenar, mejores resultados).

De los checkpoints, recomiendo como imprescindibles los siguientes:

- Anything V. 3 para anime
- Realistic Vision V 1.3 para imágenes fotorrealistas (es el que usé con los personajes del Gauntlet) y también es muy bueno Art & Eros en el mismo estilo
- DreamShaper para ilustraciones en todo tipo de estilos
- Los modelos de la serie Orangemix (AbyssOrangeMix, EerieOrangeMix y BloodOrangeMix) para anime y hentai (unos están más indicados para lo primero y otros para lo segundo, y también unos van más en un estilo de ilustración y otros más en estilo anime de Tv y cine)

Luego lo demás es opcional, y el tema de los LoRa y los Embeddings no es necesario en absoluto salvo que queras usar el estilo muy concreto de algún dibujante o meter a tu personaje favorito de anime o videojuegos, y hay muchísimos.

Las webs de referencia para descargarlos son dos:

- Civitai, que es la que más uso y mucho más visual con ejemplos de cada modelo (y hasta puedes ver los 'prompts' de las imágenes, es decir, la secuencia y configuración para crearlas e incluso su semilla -por lo que la puedes replicar exactamente-): https://civitai.com/

- Hugginface, que es más 'árida' ya que es del estilo de Github, pero por contra allí también encuentras modelos que no están en Civitai, y cuya dirección es la siguiente: https://huggingface.co/


Y luego, para aprender y resolver cualquier duda, es casi imprescindible visitar el Discord de 'Unstable Diffusion', a mí me ha ayudado muchísimo lo que se habla por allí, y he descubierto cosas como lo de los modelos experimentales ControlNet... Su enlace de invitación es este: https://discord.com/invite/bq4jrdDvDa

Tengo una duda desde la ignorancia. Imaginad que quiero hacer un cómic con unos personajes que se repiten en múltiples imágenes (viñetas). ¿Hay alguna forma de generar diferentes ilustraciones de un personaje que hayas definido antes?

Si, se puede entrenar un embedding o un LoRA para que la IA 'aprenda' cómo es el personaje, que ropa lleva, etc... y desde ese momento sea capaz de presentarlo en cualquier pose y respetando la ropa... También tiene lo interesante de poder regular el grado de fidelidad del LoRA, y de esta forma crear nuevos personajes con características del personaje del LoRA o mezclaro con otro (y vale también para introducir persona reales y mezclarlas con otras, por ejemplo Scarlett Johansson al 50% con Winona Ryder). Además también podrás crear el personaje en otros 'estilos', ya sea haciendo un dibujo animado una persona real o al contrario...

Hay en Youtube un tutorial muy bueno para crear tus propios LoRAs, pero recomiendo hacerlo cuando ya se tenga algo de rodaje con Stable Diffusion:



Otra cosa interesante sobre el mismo tema, que puede ayudar mucho a conseguir que los personajes de una imagen salgan de la forma que queramos, son los modelos especiales ControlNet, que añaden una capa extra de control a la imagen generada partiendo de una imagen previa, y de lo que hablan en el siguiente vídeo:



Uno de los puntos débiles de las IA de este tipo es a la hora de generar manos o dedos... Ha salido una nueva extensión de Stable Diffusion WebUI para corregir las manos... Esta de la que hablan en el siguiente vídeo:



Además, ha salido otra extensión muy útil que permite al generar una imagen, dividir esta en secciones y poder definir un personaje concreto para cada una, incluso usando LoRAs independientes en cada sección, lo que permite (por fin) controlar por completo la generación de grupos de personajes y lo que hacen. También hay un vídeo sobre esto:



De esta forma, poco a poco van mejorando y limando los problemillas ya conocidos...

Qué grande! Muchas gracias, compañero.

Me quedo por aquí 

Mil gracias, buscaba un hilo como este.

Venga quiero empezar a ver creaciones, que a mí se me han acabado los créditos gratis de midjourney.

Hoy me ha dado por hacer animalillos 'cuquis' con un modelo que es de la versión 1.5:





























 

He caído en la cuenta de que algunas cosas que he puesto en otros hilos irían mejor recopiladas aquí, así que eso voy a hacer, y de paso comento también las últimas cosas interesantes que he estado probando....

Primero, lo que comenté a modo de mini-tutorial sobre como estructurar los 'prompts' para conseguir mejores imágenes:

Mis prompt no suelen ser muy complejos, la clave está en usar el Negative Prompt para mejorar la calidad de la imagen y en usar la información correctamente estructurada. Normalmente tiene más peso lo primero que se escribe, y se debe seguir un orden en la descripción, más o menos así: Tipo de imagen que se quiere generar (si es una foto, una ilustración, un render 3D, etc..), personajes que aparecen (una mujer y dos hombres, etc...), descripción del personaje (caracterñisticas físicas, ropa, etc...), que está haciendo (sentado, corriendo, tomando una taza de café, etc...), elementos que hay alrededor del personaje o al fondo, dónde se encuentran los personajes (escenario) y finalmente, cómo es la iluminación, los planos de cámara e incluso la configuración de la cámara de fotos (modelo de la cámara, óptica, etc...). Además, también es importante usar las opciones que hay para dar más peso a ciertos términos de la descripción sobre otros. Si pones una palabra o conjunto de ellas entre paréntesis, le estás indicando a la IA que le dé más importancia a dicho término. Cuantos más paréntesis le pongas, más peso va a tener. También se puede poner en su lugar con el siguiente formato: (pelo rubio:1.2), de esta forma le estás indicando la importancia en un porcentaje en base uno (es decir, en el ejemplo sería un 120%). Esto se puede usar también para restarle importancia poniendo valores por debajo de 1 (o escribir el término entre corchetes en lugar de paréntesis).

Luego en el Prompt Negativo, hay cosas que te facilitan mucho la labor sin tener que escribir prompts kilométricos, como es usar embbedings negativos. Los embeddings es lo que había antes de la aparición de los LoRA y tienen la misma función, es decir, incluir personajes, estilos o conceptos, y se usan como si fueran un término más del prompt, simplemente escribiendo su nombre. Hay varios para el prompt negativo que se usan para desechar imágenes de mala calidad, evitar en la medida de lo posible personajes deformes y conseguir mejores manos. En mi caso particular uso EasyNegative y bad-hands-5. Simplemente con estos dos, y como mucho alguna cosa más para eliminar cosas de las imágenes que vayas probando (por ejemplo logos o marcas de agua) ya consigues imágenes de buena calidad en general. Os voy a mostrar un ejemplo de hasta que punto cambia una imagen usar el EasyNegative:

La siguiente imagen se ha generado con el siguiente prompt usando la versión 2 de mi LoRA de Azpiri:

1woman, blonde hair, short hair, sword, wielding, armor, huge breasts, navel, dragon, columns, lava, detailed background, stone wall in the background<lora:AzpiriV4:0.8>

Y en el prompt negativo únicamente esto:

EasyNegative, bad-hands-5

Resultado:



(sí, ya sé que está sujetando la espada por el lado equivocado  , es una imagen random que he generado de forma rápida para el ejemplo)

Y si ahora quito todo lo del prompt negativo, manteniendo todo lo demás y usando la misma semilla (un código numérico que se genera con cada imagen que te permite volver a reproducirla exactamente y comprobar los cambios usando modelos diferentes o cambiando cosas de la descripción), la imagen cambia a esto:



Como véis, mucho peor, manca, y con fallos de todo tipo, sin detalle, etc...

Otra combinación 'que hace magia' en el prompt negativo sin necesidad de usar embbedings es simplemente escribir esto:

(worst quality, low quality:1.4)

En la imagen anterior, lo que resulta es lo siguiente:



Como podéis ver, algo intermedio pero más cercano a la primera imagen que a la segunda, ya con una calidad más aceptable (aunque el bad-hands-5 le vendría genial para arreglar esas manos).

En el caso de Stable Diffusion, a la hora de escribir el prompt se puede hacer de dos formas, como habéis visto en el ejemplo, que es usando etiquetas estandarizadas en los servicios de alojamiento de imágenes de Anime y Hentai (Danbooru se llaman, el mismo nombre que un servicio de estos muy famoso: https://danbooru.donmai.us/), o usando el modo Clip, que es en lenguaje natural directamente, como cuando le hablas a ChatGPT. Sin embargo, lo más común es usar el de etiquetas de anime porque es más directo a la hora de cambiar cosas y se puede usar con otras IA diferentes. El Clip se suele usar más con imágenes realistas (aunque no sé la razón). Y siempre en inglés, a pesar de que entiende el español, pero en inglés es mucho más efectivo.

Y Ahora, lo de mi LoRA con el estilo de Azpiri, que ya dí por concluído tras tres versiones diferentes (todas disponibles y todas interesantes igualmente, por lo que conviene tenerlas todas por sus particularidades si se quiere sacar provecho a todo el potencial del estilo, aunque la más flexible sería la última). A continuación pongo ejemplos de imágenes generadas con cada versión:

- Versión 1 (original), entrenada por el método del vídeo de Aitrepreneur que posteé al principio, con 80 imágenes de entrenamiento, 1 única epoch y 100 repeticiones por imagen:


















- Primer intento de optimizar el LoRA con nuevos métodos y reducir su tamaño de 144 MB a sólo 37. Esta vez se emplearon más imágenes pero el entrenamiento fué insuficiente, por lo que los fondos no los realizaba siguiendo el estilo de Azpiri, pero a cambio quedó una especie de nuevo estilo con chicas espectaculares y escenarios detallados, por lo que decidí compartirlo también. La llamé versión 'Soft' al ser el resultado más suave y detallado. El entrenamiento se hizo con 100 imágenes, 3 repeticiones por imagen y 15 epoch (con lo cual las repeticiones totales por imagen fueron 3x15 = 45). También aumentó (mucho) la tendencia del LoRA de sacar a las chicas desnudas o casi desnudas, por lo que había que hacer uso del 'prompt negativo' poniéndo allí 'nude', 'topless', 'nipples' y 'nfsw' si se querían hacer imágenes 'normales':





















- La versión final y auténtica versión 2 del LoRA. Después de muchas pruebas e iteraciones partiendo del nuevo método pero pasando de algunas de las indicaciones, conseguí mi objetivo y pude aunar las características de las dos versiones previas en una sola versión. Descubrí que se pueden aumentar el número de repeticiones por imagen totales sin que 'se queme' el LoRA más fácilmente aumentando el número de epoch en lugar del número de repeticiones por epoch, así que conseguí el resultado buscado esta vez usando 140 imágenes, con 4 repeticiones por imagen y 27 epoch (repeticiones totales por imagen 4x27 = 108). E incluso creo que podría haber seguido haciendo iteraciones porque el resultado seguía siendo bueno en todos los epoch. El resultado final es un LoRA que es 100% fiel a Azpiri como en la primera versión usando el Lora a 0.85 - 1 en el prompt (a un 85-100%), y que se vuelve un estilo suave y detallado como el de la versión 'Soft' entre un 0.7 - 0.84, pero sin el problema de los fondos genéricos de aquella:

   * Estilo 100% Azpiri:

























   * Estilo más suave y detallado:
















Todo aquél que lo quiera usar, lo puede descargar de Civitai: https://civitai.com/models/22982

Es importante leer lo que pone en la descripción para conseguir buenos resultados.

Sobre lo que he comentado antes, aclarar que los epoch ('épocas') durante el entrenamiento son como 'puntos de control' que hace la utilidad con la que se crea el LoRA cada cierto tiempo de forma periódica, en una cantidad indicada por el usuario, lo que permite que si al final el LoRA se queda 'sobreentrenado' (lo que genera que se 'quemen' las imágenes al usarlo) se puedan utilizar epoch anteriores evitando repetir el proceso. Cada epoch es un LoRA totalmente funcional. Incluso a veces estos epoch pueden tener características propias interesantes frente a la versión final aunque esta sea correcta, por lo que merece la pena experimentar con ellos a veces.

El otro método alternativo para hacer LoRAs que seguí para las dos últimas versiones es el de esta guía: https://civitai.com/models/22530

Como digo, las recomendaciones que da no se tienen por qué seguir al 100%, sobre todo en lo referente al número máximo de epoch y repeticiones, y si en un primer momento el resultado no es lo que buscáis al entrenar vuestro LoRA, id probando aumentando el número de epoch sin miedo por encima de lo que recomienda.

Y ahora voy con lo último que he estado probando. En primer lugar, como ya mencióne en otro hilo, estuve probando un LoRA para hacer mundos en miniatura con resultados tan espectaculares como estos:













Recomiendo probarlo con los checkpoints (modelos completos) RevAnimated 1.1 y RPG4, por el nivel de detalle que aportan. Se puede descargar el LoRA mencionado de aquí: https://civitai.com/models/28531/miniature-world-style

Y en segundo lugar, he estado probando un servicio gratuíto online que convierte imágenes 2D en 3D usando una IA, que luego se pueden descargar como un gif animado o un mp4, y otros formatos como 3D SBS para verlas en VR o en una tele con 3D stereoscópico... He hecho pruebas con resultados como estos:






Tan sólo hay que ir y registrarse aquí: https://convert.leiapix.com/

Como mejor quedan los gifs es descargando las animaciones en mp4 y luego pasándolas a gif en Convertio, que da muy buena calidad: https://convertio.co/es/mp4-gif/

Los mundos en miniatura son una pasada 

En la parte de prompts negativos, hay alguna página que te diga los que existe y para que sirve cada uno? Como por ejemplo tu has hecho que has puesto 1 que sirve para manos.

En la parte de prompts negativos, hay alguna página que te diga los que existe y para que sirve cada uno? Como por ejemplo tu has hecho que has puesto 1 que sirve para manos.

No, pero no hace falta usar muchos... Con usar un par de los mas conocidos ya vale... De todas formas, en Civitai haciendo una búsqueda del término Negative Embedding salen la mayoría:https://civitai.com/tag/negative%20embedding

Hay algunos que están hechos para usar específicamente con uno o más modelos y otros generales, pero en general, lo más recomendable es usar EasyNegative, bad-hands-5 (este ha desaparecido de Civitai, no sé por qué), bad-artist, badhandv4... Generalmente basta con el primero (que en mi opinión es el mejor) y uno de los otros, (por ejemplo badhandv4), y también es buena idea poner en el prompt negativo (worst quality, low quality:1.4). Con eso en realidad no hace falta más, a veces basta con sólo EasyNegative y muchas otras ni siquiera hacen falta los embeddings. Es cuestion de probar. Yo sólo uso los dos primeros. También hay que comentar que a veces es contraproducente poner muchos términos en el Negative Prompt (en algunos checkpoints), y otras en los que los Negative Embeddings pueden afectar a un estilo que estés usando. Siempre conveniente usar el método de prueba y error.

Por cierto, esta tarde he visto un modelo que seguro que os llamará la atención... Se trata de un modelo que hace específicamente mapas para juegos de rol y de tablero... Algunos ejemplos:









Se puede descargar de aquí: https://civitai.com/models/23240/dandd-battlemaps

Hola

Y hay alguna forma de usarlo via web sin tener que instalar nada, pero que sea igual de preciso ?

Por que lo que he encontrado da unas imágenes bastante malas...

Hola

Y hay alguna forma de usarlo via web sin tener que instalar nada, pero que sea igual de preciso ?

Por que lo que he encontrado da unas imágenes bastante malas...

Sí que había una forma, aunque Google lo ha complicado un poco.... Se podía hacer a través de Google Colab, que es un servicio de Google que permite 'alquilar' temporalmente equipos de forma remota con gráficas profesionales para proyectos de IA e investigación. Si tienes una cuenta de Gmail, se pueden usar gratis 4 horas al día. Por esta razón, había usuarios que habían creado 'cuadernos' para ejecutar Stable Diffusion WebUI (la misma interfaz que ejecutas en local en tu ordenador) online de esta manera. Sin embargo, parece ser que había demasiada gente usando de esta forma el servicio y Google decidió limitar su uso para Stable Diffusion WebUI en particular, aunque mediante un pequeño truco algunos lo han podido 'esquivar' y sigue funcionando. Si tienes cuenta de pago, sin embargo, ahí no limitan su uso y de hecho Google ya ha dicho que en esas cuentas no se va a limitar, y que si se ha hecho en las gratuítas ha sido por un tema de recursos.

Sí que había una forma, aunque Google lo ha complicado un poco.... Se podía hacer a través de Google Colab, que es un servicio de Google que permite 'alquilar' temporalmente equipos de forma remota con gráficas profesionales para proyectos de IA e investigación. Si tienes una cuenta de Gmail, se pueden usar gratis 4 horas al día. Por esta razón, había usuarios que habían creado 'cuadernos' para ejecutar Stable Diffusion WebUI (la misma interfaz que ejecutas en local en tu ordenador) online de esta manera. Sin embargo, parece ser que había demasiada gente usando de esta forma el servicio y Google decidió limitar su uso para Stable Diffusion WebUI en particular, aunque mediante un pequeño truco algunos lo han podido 'esquivar' y sigue funcionando. Si tienes cuenta de pago, sin embargo, ahí no limitan su uso y de hecho Google ya ha dicho que en esas cuentas no se va a limitar, y que si se ha hecho en las gratuítas ha sido por un tema de recursos.

Mil gracias por la explicación pero me pierdo un poco en temas informáticos.....

Investigare un poco pero la verdad es que no doy un duro por mi   

Aún no estamos en ese punto, no creo que tardemos mucho, pero por ahora aún no. Para usar Google Colab necesitas no diré que tener conocimientos de programación, pero a una persona que no ha tocado este tipo de cosas ni con un palo ven esto:

https://colab.research.google.com/github/huggingface/notebooks/blob/main/diffusers/stable_diffusion.ipynb#scrollTo=_RrbYQVQXK6I

Y se les puede hacer cuesta arriba.

Lo más sencillo para lo que tú buscas sería Midjourney yo creo. Tienes que crearte una cuenta, unirte a discord y unirte al canal de Midjourney y poco más, pero si lo prefieres también tienes tutoriales en Youtube a patadas y en 5 minutos puedes estar metiendo prompts para generar imágenes. La pega, si quieres darle un uso más o menos asiduo es de pago. Si lo único que quieres es marranear un poco para ver como es esto de la IA para generar imágenes te puede valer.

Aún no estamos en ese punto, no creo que tardemos mucho, pero por ahora aún no. Para usar Google Colab necesitas no diré que tener conocimientos de programación, pero a una persona que no ha tocado este tipo de cosas ni con un palo ven esto:

https://colab.research.google.com/github/huggingface/notebooks/blob/main/diffusers/stable_diffusion.ipynb#scrollTo=_RrbYQVQXK6I

Y se les puede hacer cuesta arriba.

Lo más sencillo para lo que tú buscas sería Midjourney yo creo. Tienes que crearte una cuenta, unirte a discord y unirte al canal de Midjourney y poco más, pero si lo prefieres también tienes tutoriales en Youtube a patadas y en 5 minutos puedes estar metiendo prompts para generar imágenes. La pega, si quieres darle un uso más o menos asiduo es de pago. Si lo único que quieres es marranear un poco para ver como es esto de la IA para generar imágenes te puede valer.

Aunque yo no los he usado, en el Discord de Unstable Diffusion, en la sección es Español, hay cuadernos de Colab ya preparados y en Español y la diferencia con eso es que ejecutan directamente la interfaz Web de Stable Diffusion, la misma que se usa en local, por lo que no es tan árido... Ya vienen preconfigurados incluso con varios modelos precargados para elegir. Lo mejor es pasar por aquél Discord y preguntar allí.