Stable Diffusion: Tutoriales y cosas interesantes

Bueno, pues he hecho un pequeño experimento y me ha salido bastante bién... Si recordáis, hace un tiempo, las imágenes que yo creaba en Stable Diffusion usaban una especie de estilo que descubrí por casualidad a combinar varios modelos (entre ellos mi versión del modelo del estilo de Azpiri de Stable Diffusion 1.5) de una determinada forma, básicamente el de estas imágenes:





Es decir, que no era un modelo concreto sino una combinación de varios... Pues bién, ya llevaba un tiempo pensando en entrenar un modelo con imágenes generadas de esta forma para convertirlo en un estilo normal, en modelos más modernos como Pony y Flux, con la intención de conservar la estética y tener las ventajas de dichos modelos. Así que me puse manos a la obra y entrené un LoRa con un set de imágenes de entrenamiento formado por unas 73 imágenes de las mejores generadas por mí mismo con dicho estilo (y con menos fallos de los típicos como en las manos y tal) en Flux, y bueno, pues parece que lo he clavado y a la primera. La ventaja es que ya no me salen las manos mal y puedo controlar mucho mucho mejor lo que quiero que salga en las imágenes gracias al mejor entendimiento de Flux. Unas cuantas imágenes de ejemplo:

















Como podéis ver, el estilo clavado al 100% pero con mejores manos y anatomía. Lo he puesto en Civitai y parece que está teniendo buena aceptación (más de 80 descargas en 2 días). Para el que lo quiera probar, se puede descargar aquí:

https://civitai.com/models/844159/western-comic-semirealistic-25d-style-for-flux

Mi siguiente idea es entrenarlo en Pony y así se podrán hacer cosas 'más subidillas de tono' con dicho estilo 

Si les pones menos ropa a las chicas las deja ya directamente en pelotas 

Si les pones menos ropa a las chicas las deja ya directamente en pelotas 

Si, es que digamos que como ha aprendido principalmente del material de Azpiri es muy tipo lo que se veía en revistas como Cimoc y Heavy Metal, y por eso tiende mucho al famoso 'bikini armor'  Pero a Flux, que le gustan los prompts muy largos y detallados, si le describes bien la ropa, las puede vestir como quieras... A ellos también tiene mucha tendencia a hacerlos tipo Conan a pecho descubierto jejeje Pero salen unas imágenes muy chulas a veces, como estas:

Muchas gracias @sirdrak

el modelo funciona bastante bien, he estado jugando un poco con él y la verdad es que da buenos resultados! sigo teniendo problemas siempre con el tema de las manos pero mucho mejor!

para muestra un botón :



Un abrazo!

Bueno, pues estos días he estado probando a versionar el último modelo que entrené para Flux que puse aquí (el de Western Comic 2'5D) para Pony ya que con Flux no se puede -aún- hacer cosillas NSFW 'decentemente', y porque me he fijado que cuando entreno modelos para Pony, estos parecen retener mayor cantidad de detalles que en Flux. Y resulta que el resultado es aún mejor de lo que esperaba. Hace un par de días lo subí a Civitai y salen unas chavalas que quitan el hipo jejeje Una muestra de las imágenes de la galería del modelo:






















Como véis mayor detalle, mejores texturas, rasgos más realistas y variados, etc... Y la posibilidad de hacer 'cosillas subidillas de tono'... Se puede descargar de aquí:

https://civitai.com/models/844159/western-comic-semirealistic-25d-style-for-flux-and-pony

En cuanto a novedades en IA, lo que hay ahora es un boom de IAs opensource para generar vídeo de forma local, que están evolucionando muy rápido... Hay varias que son muy prometedoras y que no tienen nada que envidiar a las de pago, encabezadas por Hunyuan Video (la mejor ahora mismo, aunque también la que más recursos consume), y luego CogvideoX, LTX Video y Mochi-1. Son muy interesantes y ya he estado probando LTX Video y está muy bien, de hecho se está haciendo muy popular porque es la que menos recursos exige y genera los vídeos muy rápido, y además admite modos text2video (el habitual de escribir un prompt y generar el vídeo desde cero), image2video (le das una imagen como fotograma inicial y anima dicha imagen) y video2video (le das un vídeo y lo transforma en otro).

Hoy os voy a comentar un poco las novedades que hay en cuanto a generación de vídeos con IA pero en local y opensource, en contraposición a los servicios online por suscripción como Kling, Hailuo Minimax o Dream machine de Luma... Lo cierto es que en los últimos meses se está viendo un auténtico 'boom' con avances significativos similares a los que acontecieron en la generación de imágenes cuando apareció Stable Diffusion 1.5 en 2022, sobre todo con la aparición de cierto modelo del que os hablaré luego.

Al principio la adopción de estos modelos se ha hecho más complicada por las ya consabidas limitaciones técnicas referentes a la cantidad de VRAM cada vez más alta que piden los nuevos modelos para funcionar (con la honrosa excepción de LTX video), a la que no ayuda la tradicional racanería de nVidia a la hora de aumentar la cantidad de VRAM en las tarjetas gráficas de usuario. La salida de la nueva generación de gráficas RTX 50xx no ha hecho mas que empeorar las cosas, ya que nVidia, para seguir teniendo ventaja en el mercado profesional de IA y obligar a que si quieres más VRAM tengas que ir a una gráfica de este tipo, al contrario de lo que sería lo lógico, ha seguido manteniendo los 16 GB de VRAM como máximo (al menos por ahora, no sabemos si esto cambiará con futuras variantes Super de las mismas) en las gráficas de gama media alta como las 5070 y las 5080 en lugar de aumentar su VRAM a 20 o 24 GB, ya que amunta la de la 5090 a 32 GB. Afortunadamente, ya que todos estos modelos tienen una arquitectura moderna basada en 'transformers', como los LLM, ha sido posible aplicar el mismo tipo de optimizaciones que a estos para hacer funcionar los modelos en equipos más humildes con menos VRAM.

A día de hoy han aparecido los siguientes modelos:

- Mochi: El primer modelo de vídeo de alta calidad con resultados cercanos a lo que ofrecen los servicios de suscripción de pago. La pega que ha impedido su popularización es que pide 64 GB de VRAM para funcionar y que no tiene modo 'image2video' (el que permite generar una animación a partir de una imagen suministrada)
- CogvideoX: Este es el primer modelo con unos requisitos altos pero aceptables que se empezó a popularizar, también de los primeros en aparecer, y que sí tiene los tres modos (video2video, txt2video e img2video)
- LTX video: Lo de este modelo supuso el primer 'Boom' y que hizo que el tema empezase a despegar. Sus puntos fuertes es que es un modelo muy ligero (más o menos como SD XL) que funciona en una gran cantidad de equipos y que es rapidísimo generando los vídeos, hasta el punto de que con gráficas potentes (una 4090 por ejemplo) la generación del vídeo se acerca al tiempo que tarda en reproducirse el vídeo. Además tiene los tres modos antes comentados, y habría sido el más popular de no ser por la llegada del último contendiente. Las pegas son que los vídeos que genera no son de tan buena calidad como los de CogvideoX, por ejemplo, y que para que de buenos resultados hay que escribir prompts muy largos y detallados, hasta el punto de que se recomienda generarlos con un LLM. Tampoco se le da bien animar cosas que no sean fotorrealistas, como dibujos animados.
- Hunyuan video: Tenemos un ganador, señores!! La llegada de este modelo, por varias cosas que ahora comentaré, ha sido una auténtica revolución similar a la que supuso la llegada de Stable Diffusion 1.5. Aunque pide bastante VRAM para funcionar, se puede utilizar incluso con sólo 8 GB de VRAM usando algunas de sus versiones pequeñas en GGUF. Su versión del modo img2video no ha sido publicada aún pero sus desarrolladores dicen que la publicarán en breve. Sin embargo, lo que le ha hecho destacar son los siguientes puntos:
      * Su calidad es la mayor de todos, cercana a la de los servicios de suscripción
      * Es muy fácil entrenar LoRas para él, de hecho igual de fácil que entrenarlos para un modelo de generación de imágenes, pudiendo usar en el entrenamiento imágenes o clips de vídeo. Esto implica poder entrenar personas, personajes, animaciones de todo tipo, estilos artísticos, etc... Algo que no ofrecen ni en sueños las IAs de suscripción de pago.
      * Es el único modelo que no tiene censura, siendo capaz de mostrar desnudos integrales tanto masculinos como femeninos, representar correctamente los genitales y hasta entender conceptos sexuales, por lo que, gracias a los LoRas, es capaz de generar todo tipo de porno muy realista (y ya se sabe que el sexo es una gran fuerza que hace avanzar curiosamente la tecnología, como está pasando aquí). También conoce bastante bien la anatomía y las manos suelen salir bien.
      * Es el mejor modelo que he visto representando anime y series de animación. Lo que he podido ver es bastante sorprendente (pondré algunos ejemplos luego).

Por estas razones, este último ha despertado un enorme entusiasmo en la comunidad y ya hay LoRas de todo tipo. En realidad ya lleva unos meses disponible, pero por unas cosas y otras no lo pude probar hasta esta semana y la verdad es que me han asombrado sus resultados... Ya estoy deseando entrenar LoRas para él y ver qué consigo...

Os voy a dejar con unos ejemplos de animación usando un LoRa con el estilo artístico de Katsuhiro Otomo (el creador de Akira), que lo que más me sorprende es que ha sido entrenado sólo con imágenes y no con clips de video:





























Me parece impresionante teniendo en cuenta que son imágenes 100% generadas por Hunyuan sin partir de una imagen previa...

Por cierto, y que casi lo olvido... Aquí dejo los tutoriales de AcademiaSD tanto para instalar Hunyuan Video en ComfyUI, como para entrenar sus LoRas con One Trainer:



Y para entrenar LoRas:

Bueno, pues han salido en estos meses muchas cosas nuevas interesantes, pero como he estado liado con varias cosas y cambiando de Pc de sobremesa no he tenido tiempo de comentarlas por aquí... Voy a hacer un resumen muy breve de las cosas más destacadas:

- En la última actualización comentaba que había llagado un modelo chino de vídeo sin censura que estaba arrasando llamado Hunyuan Video... Pues bién, poco después llegó otro de la mano de Alibaba llamado Wan Video 2.1 que es aún mejor, con algo más de censura pero muy poca, solventado todo gracias a los LoRas... El punto fuerte de este es que apareció con versiones t2v (texto a video), i2v (de imagen a vídeo, su punto fuerte) y una versión pequeña t2v de 1'3B (las otras son 14B). A día de hoy en el modo i2v sigue siendo el ganador y el que mejores movimientos saca en los vídeos, aunque su mayor pega es que tarda bastante en generar los vídeos sin optimizaciones.

- Hunyuan Video sacó más tarde una versión i2v pero no estaba a la altura de Wan, aunque sigue siendo mejor en t2v y el menos censurado.

- Después aparecieron varias versiones 'especiales' de Wan (también de Hunyuan, pero las ganadoras son las de Wan) que permiten generar vídeos empleando varias imágenes y vídeos de referencia de forma espectacular. Se trata de Wan VACE, y básicamente lo que permite es que le des por ejemplo la imagen de una persona, un lugar y un objeto y genere un vídeo de dicha persona en el lugar y con el objeto concreto. Así mismo, le puedes dar un vídeo para guiar el movimiento con resultados espectaculares. Las posibilidades de esto son brutales... Por ejemplo, he visto uno que primero generó una imagen de una especie de agente secreto a James Bond con gafas de sol en la puerta de un helicóptero con su traje y un paracaídas a punto de saltar, y luego, con dicha imagen y un vídeo de él mismo en su cocina con una mochila puesta imitando el movimiento de salto, genera un vídeo con Wan VACE del agente secreto saltando del helicóptero igual que si fuera una película...

- En esto que llega Illyasviel, el genio responsable de Forge y de ControlNET, e idea una forma de generar vídeos que permite su uso con menos recursos y generar vídeos de hasta 2 minutos, a la que llamó Framepack. Framepack en realidad usa como base Hunyuan Video lo que tiene como ventaja adicional de que funcionan todos sus LoRas... Se usa en modo i2v y funciona incluso con gráficas con tan sólo 6 GB de VRAM, y además tiene una interfaz sencilla accesible para todo el mundo y fácil de instalar, por lo que no es necesario usar ComfyUI. Es una verdadera revolución y consigue vídeos de bastante buena calidad.

- Siguen saliendo nuevas utilidades interesantes... Tencent saca Hunyuan Video Avatar, que permite crear un vídeo a partir de una imagen y un archivo de audio sincronizando los movimientos y los labios de la persona/personaje de la imagen con el audio.

- Aparece una interfaz con Gradio (es decir, usando el navegador como interfaz, como Automatic1111, Forge o Framepack) llamada Wan2GP orientada a hacer sencilla la generación de vídeos con todas estas plataformas (Wan, Wan VACE, Hunyuan Video, Hunyuan Video Avatar, LTX Video, etc...) y además en máquinas de pocos recursos, muy recomendada para quienes no les guste usar ComfyUI y su complejidad.

Estas, digamos, son las más destacadas, aunque novedades hay muchísimas y no paran de salir... Otra cosa MUY destacada es que aparece un LoRa especial llamado Causvid que lo que hace es acelerar mucho la generación de los vídeos, básicamente haciendo que un mismo vídeo que antes necesitabas generar en 25 pasos lo generes en 6-8 pasos, multiplicando su velocidad x3 o más... Por ejemplo, de esta forma, vídeos que sin optimizaciones a mí con mi RTX 3090 me tardaban 30 minutos, he pasado a hacerlos en 5 minutos... La pega es que parecía afectar a la calidad de los movimientos, pero se encontraron formas de evitar dicho problema.

Bueno, pues han salido en estos meses muchas cosas nuevas interesantes, pero como he estado liado con varias cosas y cambiando de Pc de sobremesa no he tenido tiempo de comentarlas por aquí... Voy a hacer un resumen muy breve de las cosas más destacadas:

- En la última actualización comentaba que había llagado un modelo chino de vídeo sin censura que estaba arrasando llamado Hunyuan Video... Pues bién, poco después llegó otro de la mano de Alibaba llamado Wan Video 2.1 que es aún mejor, con algo más de censura pero muy poca, solventado todo gracias a los LoRas... El punto fuerte de este es que apareció con versiones t2v (texto a video), i2v (de imagen a vídeo, su punto fuerte) y una versión pequeña t2v de 1'3B (las otras son 14B). A día de hoy en el modo i2v sigue siendo el ganador y el que mejores movimientos saca en los vídeos, aunque su mayor pega es que tarda bastante en generar los vídeos sin optimizaciones.

- Hunyuan Video sacó más tarde una versión i2v pero no estaba a la altura de Wan, aunque sigue siendo mejor en t2v y el menos censurado.

- Después aparecieron varias versiones 'especiales' de Wan (también de Hunyuan, pero las ganadoras son las de Wan) que permiten generar vídeos empleando varias imágenes y vídeos de referencia de forma espectacular. Se trata de Wan VACE, y básicamente lo que permite es que le des por ejemplo la imagen de una persona, un lugar y un objeto y genere un vídeo de dicha persona en el lugar y con el objeto concreto. Así mismo, le puedes dar un vídeo para guiar el movimiento con resultados espectaculares. Las posibilidades de esto son brutales... Por ejemplo, he visto uno que primero generó una imagen de una especie de agente secreto a James Bond con gafas de sol en la puerta de un helicóptero con su traje y un paracaídas a punto de saltar, y luego, con dicha imagen y un vídeo de él mismo en su cocina con una mochila puesta imitando el movimiento de salto, genera un vídeo con Wan VACE del agente secreto saltando del helicóptero igual que si fuera una película...

- En esto que llega Illyasviel, el genio responsable de Forge y de ControlNET, e idea una forma de generar vídeos que permite su uso con menos recursos y generar vídeos de hasta 2 minutos, a la que llamó Framepack. Framepack en realidad usa como base Hunyuan Video lo que tiene como ventaja adicional de que funcionan todos sus LoRas... Se usa en modo i2v y funciona incluso con gráficas con tan sólo 6 GB de VRAM, y además tiene una interfaz sencilla accesible para todo el mundo y fácil de instalar, por lo que no es necesario usar ComfyUI. Es una verdadera revolución y consigue vídeos de bastante buena calidad.

- Siguen saliendo nuevas utilidades interesantes... Tencent saca Hunyuan Video Avatar, que permite crear un vídeo a partir de una imagen y un archivo de audio sincronizando los movimientos y los labios de la persona/personaje de la imagen con el audio.

- Aparece una interfaz con Gradio (es decir, usando el navegador como interfaz, como Automatic1111, Forge o Framepack) llamada Wan2GP orientada a hacer sencilla la generación de vídeos con todas estas plataformas (Wan, Wan VACE, Hunyuan Video, Hunyuan Video Avatar, LTX Video, etc...) y además en máquinas de pocos recursos, muy recomendada para quienes no les guste usar ComfyUI y su complejidad.

Estas, digamos, son las más destacadas, aunque novedades hay muchísimas y no paran de salir... Otra cosa MUY destacada es que aparece un LoRa especial llamado Causvid que lo que hace es acelerar mucho la generación de los vídeos, básicamente haciendo que un mismo vídeo que antes necesitabas generar en 25 pasos lo generes en 6-8 pasos, multiplicando su velocidad x3 o más... Por ejemplo, de esta forma, vídeos que sin optimizaciones a mí con mi RTX 3090 me tardaban 30 minutos, he pasado a hacerlos en 5 minutos... La pega es que parecía afectar a la calidad de los movimientos, pero se encontraron formas de evitar dicho problema.

Muchas gracias por la actualización, ¡Qué interesante!.¿Tienes por ahí algún vídeo generado por esos modelos que comentas? Por comparar con los de google de las últimas semanas. Si se aproximan aunque sea un poco, ya estoy instalándomelos...

Muchas gracias por la actualización, ¡Qué interesante!.¿Tienes por ahí algún vídeo generado por esos modelos que comentas? Por comparar con los de google de las últimas semanas. Si se aproximan aunque sea un poco, ya estoy instalándomelos...

Pues por ejemplo, este con algunas pruebas con Wan VACE (arriba video resultante abajo imágenes y video de referencia):



No están al nivel de Google Veo3 (porque eso es muy bruto ya, con vídeos prácticamente indistinguibles de la realidad, generando el audio del vídeo y hasta las voces de los personajes directamente) pero sí al de las herramientas más conocidas como Kling... Desde luego merece muchísimo la pena, y sin censura, y siendo tan fácil entrenar loras como en las IAs de imágenes...Y todo gracias a los chinos porque todas estas IAs de vídeo vienen de allí, y gracias a eso también vienen menos censuradas. No me extraña que le estén comiendo la tostada a EEUU en IA... Además todo lo sacan en opensource, gratis y disponible para todo el público.

Si queréis probarlas de forma fácil, sin tener que recurrir a ComfyUI y tal, os recomiendo Framepack Studio y Wan2GP. Si instaláis Pinokio, las podéis instalar y usar desde allí con un sólo click. Pinokio lo podéis descargar de aquí:

https://pinokio-home.netlify.app/

Eso sí, hacedlo en una unidad con mucho espacio libre, porque los modelos de vídeo ocupan un montón (13-24 GB cada uno), y mejor si es en un SSD. Y para generar vídeo, hacedlo mínimo con una gráfica de nVidia con al menos 12 GB de VRAM, mejor cuanto más tenga.

¿De qué clase de "censura" estamos hablando aquí? Porque no sé si seré el único que se aterra de pensar en que puedas hacer vídeos "sin censura" sabiendo de sobra por todos las implicaciones que eso puede tener.

¿De qué clase de "censura" estamos hablando aquí? Porque no sé si seré el único que se aterra de pensar en que puedas hacer vídeos "sin censura" sabiendo de sobra por todos las implicaciones que eso puede tener.

Creo que te aterras con razón

Yo pienso en porno, pero es verdad que el concepto de sin censura es más aterrador y amplio.

Obviamente me refería a desnudos y tal, no a otras cosas... Y también a la censura estúpida que hay en las de pago que te bloquea cosas totalmente inocentes...

Pensar que con un par de fotos de un amigo/a o familiar le pueden generar imagenes sin su permiso da mucho miedo. Como siempre,la ley se adapta,pero a ritmo glacial.