Voy con más novedades de las últimas semanas, sobre todo una muy importante...
- En cuestión de dos semanas, han aparecido sorprendentes optimizaciones para Wan que han conseguido superar uno de los mayores handicaps que tenían las IAs para generar vídeo en local: El largo tiempo que necesitaban para generar un vídeo incluso usando gráficas con gran cantidad de VRAM (como mi RTX 3090 con sus 24 GB de VRAM). El truco ha sido conseguir generar los vídeos en una cantidad mucho menor de pasos sin pérdida (aparente) de calidad, tanto de imagen como de movimientos, pasando de requerir unos 25 pasos a poder hacer lo mismo en sólo 4 pasos, concretamente usando el lora de 'Self Forcing', con lo que vídeos que sin optimizaciones tardaban en mi gráfica 30 minutos en generarse (5 segundos de vídeo), ahora se pueden generar en tan sólo 2-3 minutos. Ha sido un paso muy importante sobre todo para gráficas más humildes, pudiendo generar los vídeos en tiempos aceptables.
- Y el bombazo que ha aparecido en esta última semana, ha sido el nuevo modelo de Black Forest Labs (los creadores de Flux) para generar imágenes, pero permitiendo la edición de las mismas con prompts sencillos, aquello que hizo tan famoso al modelo Imagen de ChatGPT y puso de moda transformar fotos conocidas en sus versiones con el estilo de Studio Ghibli. Se trata de Flux Kontext, y funciona tan bien como Imagen pero en local y gratis, permitiendo cosas como restaurar y colorear fotos antiguas, transformar el estilo de las imágenes, quitar o agregar fondos, objetos o personajes de las imágenes, ponerle una prenda de ropa a una persona, poder poner a la misma persona de forma consistente haciendo cosas diversas con sólo una imagen de origen, etc... Además puede trabajar con más de una imagen al mismo tiempo, pudiendo poner a los personajes de varias imágenes juntos y un sin fin de posibilidades más. Los resultados son bastante impresionantes y es bastante útil... Algunos ejemplos de mi cosecha:
Restaurar una foto familiar de hace 70 años y colorearla:
- Original:
- Restaurada (Prompt: Remove the scratches, recolor the photo and highres the details):
Cambiar un personaje por otro sin tocar el resto de la imagen:
- Original:
- Editada (Prompt: Change the warrior woman to a male barbarian with a battle axe, while mantaining the style, background and monsters.)
Convertir un boceto en una imagen final respetando de forma consistente todos los detalles (algo parecido a lo que os mostré en los inicios usando ControlNET, pero de forma mucho más precisa y sencilla). Usaré como ejemplo mis ya conocidos bocetos de los personajes del Gauntlet:
- Originales:
- Resultados (Prompts: Restyle and recolor the image to a fantasy colorful anime style, mantaining the features of the (barbarian/elf/wizard/valkirie). Put him/her with brown hair(aquí especificamos detalles sobre los colores de la ropa, pelo, etc.. que queremos que tengan y tal) in a dungeon with stone walls and torchs.)
Poner al personaje de una foto realizando diversas acciones manteniendose consistente todo el tiempo:
- Original:
- Acciones:
(Prompt: Make the woman in a tavern drinking beer maintainig the style of the image, the clothes and features of the woman and her hair style. The tavern is full of happy people and is made of wood)
(Prompt: Make the woman in an arcade playing videogames in an arcade cab. In the background there are people playing with other cabs)
Cambiar de estilo la imagen (como las famosas imágenes de Studio Ghibli). Usaremos la misma imagen de la chica anterior:
- Prompt: Change the image to a colorful anime style.
Y estos son sólo algunos ejemplos de las muchas cosas que se pueden hacer con este modelo. Es interesante señalar que los de Black Forest Labs se han esforzado en 'censurar' el modelo para evitar que haga ciertas cosas cuyos usos podrían ser discutibles, de forma que no permite desnudar a las personas ni hacer Deepfakes (cambiar la cara de una persona por la de otra).
