AnyDor hat einen diffusionsbasierten Bildgenerator vorgestellt. Diese Technik scheint besonders für virtuelle Anproben geeignet zu sein.
https://damo-vilab.github.io/AnyDoor-Page/
Es gibt verschiedene Open-Source-KI-Projekte, die sich mit virtuellem Anprobieren von Kleidung oder anderen Gegenständen wie Brillen und Make-up beschäftigen. Die meisten aktuellen Techniken verwenden generative adversarielle Netzwerke (GANs). Hier sind einige Beispiele:
- awesome-virtual-try-on: Eine kuratierte Liste von großartigen Forschungsarbeiten, Projekten, Code, Datensätzen, Workshops usw., die sich auf virtuelles Anprobieren beziehen. https://github.com/topics/virtual-try-on
- SwapNet: Virtuelles Anprobieren von Kleidung mit Deep Learning. PyTorch-Reproduktion von SwapNet von Raj et al. 2018. Jetzt mit Docker-Unterstützung! https://paperswithcode.com/task/virtual-try-on/latest
- CIT: Ein neuartiger zweistufiger Cloth Interactive Transformer (CIT) für virtuelles Anprobieren. Er verwendet eine lernfähige Dünne-Platte-Spline-Transformation, um eine realistischere Anpassung der Kleidung an die Körperhaltung zu erreichen. https://arxiv.org/abs/2104.05519
Sie können mehr über diese und andere Projekte auf GitHub oder Papers With Code erfahren. Ich hoffe, das hilft Ihnen weiter.
Wie funktionieren GANs?
GANs sind eine Art von neuronalen Netzwerken, die realistische Bilder aus zufälligem Rauschen oder latenten Vektoren erzeugen können. Sie bestehen aus zwei konkurrierenden Modellen: einem Generator, der versucht, gefälschte Bilder zu erzeugen, und einem Diskriminator, der versucht, sie von echten Bildern zu unterscheiden¹².
Der Generator lernt, den Diskriminator zu täuschen, indem er plausible Ergebnisse erzeugt. Der Diskriminator lernt, die gefälschten Daten des Generators von den echten Daten zu unterscheiden. Der Diskriminator bestraft den Generator für die Erzeugung unplausibler Ergebnisse.
Die beiden Modelle werden zusammen in einem Nullsummenspiel trainiert, bis der Diskriminator etwa die Hälfte der Zeit getäuscht wird, was bedeutet, dass der Generator überzeugende Beispiele erzeugt.
GANs werden für verschiedene Anwendungen verwendet, wie z.B. Bild-zu-Bild-Übersetzung, bei der ein Bild als Eingabe genommen und in ein generiertes Ausgabebild mit anderen Eigenschaften umgewandelt wird. Zum Beispiel können wir ein Maskenbild mit einem Farbklecks in Form eines Autos nehmen, und das GAN kann die Form mit fotorealistischen Details ausfüllen.
Wie lange dauert das Training von GANs in der Regel?
Die Trainingsdauer von GANs hängt von vielen Faktoren ab, wie z.B. der Größe und Komplexität der Bilder, der Anzahl und Architektur der Netzwerkschichten, der Lernrate, dem Optimierer, der Datenmenge und der verwendeten Hardware.
GANs werden in abwechselnden Phasen trainiert, in denen der Diskriminator für eine oder mehrere Epochen trainiert wird, gefolgt vom Generator für eine oder mehrere Epochen. Dieser Prozess wird wiederholt, bis der Generator und der Diskriminator ein Gleichgewicht erreichen¹.
Das Training von GANs ist oft schwierig und instabil, da es zu Problemen wie Modus-Kollaps oder Diskriminator-Kollaps kommen kann, bei denen der Generator oder der Diskriminator zu dominant wird und das Lernen behindert. Es gibt verschiedene Heuristiken und Tricks, um diese Probleme zu vermeiden oder zu beheben, wie z.B. die Verwendung von langsameren Lernraten für den Diskriminator, das Wiedergeben alter Bilder an den Diskriminator oder das Hinzufügen von Rauschen zu den Eingaben .
Gibt es auf Basis von tensorflow.js eine Lösung für Virtual Clothing Try-on with Deep Learning?
Es gibt einige Lösungen für virtuelles Anprobieren von Kleidung mit Deep Learning, die auf TensorFlow.js basieren oder damit kompatibel sind. Hier sind einige Beispiele:
- Deep Virtual Try-on with Clothes Transform: Ein bildbasiertes virtuelles Anprobiersystem mit Deep Learning, das aus vier Schritten besteht: CAGAN, Segmentierung, Transformation und Kombination. Das Projekt verwendet TensorFlow 1.14 und kann mit TensorFlow.js konvertiert werden.
- SwapNet: Virtuelles Anprobieren von Kleidung mit Deep Learning. PyTorch-Reproduktion von SwapNet von Raj et al. 2018. Das Projekt verwendet PyTorch 1.0 und kann mit ONNX in TensorFlow.js exportiert werden.
- Dress Code: Hochauflösendes virtuelles Anprobieren für mehrere Kategorien. Das Projekt verwendet TensorFlow 2.x und kann direkt mit TensorFlow.js verwendet werden.
Sie können mehr über diese und andere Projekte auf GitHub oder anderen Plattformen erfahren. Ich hoffe, das hilft Ihnen weiter.
Quelle: Unterhaltung mit Bing, 22.7.2023
(1) Deep Virtual Try-on with Clothes Transform - GitHub. https://github.com/b01902041/Deep-Virtu ... -Transform.
(2) virtual-try-on · GitHub Topics · GitHub. https://github.com/topics/virtual-try-on.
(3) Deep Learning for Virtual Try On Clothes - KDnuggets. https://www.kdnuggets.com/2020/10/deep- ... othes.html.
Beste Grüße
Ralf
