Generatives Modellierungstool verwandelt 2D-Skizzen in 3D
Ein von Forschern des Robotics Institute (RI) der Carnegie Mellon Universität entwickeltes maschinelles Lernwerkzeug könnte es sowohl Anfängern als auch professionellen Designern ermöglichen, virtuelle 3D-Modelle von allem zu erstellen – von maßgeschneiderten Möbeln bis hin zu Inhalten für Videospiele.
Also Read:
Das Pix2pix3d-Tool ermöglicht es jedem, eine realistische 3D-Repräsentation einer 2D-Skizze mit generativ-künstlicher Intelligenz wie derjenigen zu erstellen, die in populären KI-Foto-Generierungs- und Bearbeitungsanwendungen verwendet wird.
„Unser Forschungsziel ist es, die Content-Erstellung durch die Kraft des maschinellen Lernens und datengetriebener Ansätze für mehr Menschen zugänglich zu machen“, sagte Jun-Yan Zhu, Assistenzprofessor der Fakultät für Informatik und Mitglied des Pix2pix3d-Teams.
Also Read:
Im Gegensatz zu anderen Tools, die nur zweidimensionale Bilder erstellen können, ist Pix2pix3d ein dreidimensionales bedingtes generatives Modell, das es einem Benutzer ermöglicht, eine zweidimensionale Skizze oder detailliertere Informationen aus Label-Maps, wie einer Segmentierung oder Kantenkarte, einzugeben. Pix2pix3d synthetisiert dann eine 3D-Volumenrepräsentation von Geometrie, Erscheinungsbild und Labels, die aus verschiedenen Blickwinkeln gerendert werden können, um ein realistisches dreidimensionales Bild zu erzeugen, das einem Foto ähnelt.
„Wenn Sie eine Skizze machen können, können Sie Ihr eigenes angepasstes 3D-Modell erstellen“, sagte RI-Doktorand Kangle Deng, der Teil des Forschungsteams mit Zhu, Professor Deva Ramanan und Ph.D. Student Gengshan Yang war.
Also Read:
Pix2pix3d wurde auf Datensätzen trainiert, die Autos, Katzen und menschliche Gesichter enthalten, und das Team arbeitet daran, diese Fähigkeiten auszuweiten. In Zukunft könnte es verwendet werden, um Konsumentenprodukte wie maßgeschneiderte Möbel für ihr Zuhause zu gestalten. Sowohl Anfänger als auch professionelle Designer könnten es verwenden, um Artikel in virtuellen Realitätsumgebungen oder Videospielen anzupassen oder um Filmeffekte hinzuzufügen.
Sobald Pix2pix3d ein 3D-Bild generiert hat, kann der Benutzer es in Echtzeit bearbeiten, indem er die ursprüngliche zweidimensionale Skizze radiergummiert und neu zeichnet. Diese Funktion gibt dem Benutzer mehr Freiheit, das Bild anzupassen und zu verfeinern, ohne das gesamte Projekt neu rendern zu müssen. Änderungen werden im 3D-Modell widerspiegelt und sind aus verschiedenen Blickwinkeln genau.
Also Read:
Pix2pix3ds interaktive Bearbeitungsfunktion unterscheidet es von anderen Modellierungswerkzeugen, da Benutzer Anpassungen schnell und effizient vornehmen können. Diese Fähigkeit könnte besonders nützlich in Bereichen wie der Fertigung sein, da Benutzer ein Produkt einfach gestalten, testen und anpassen können.
Wenn zum Beispiel ein Designer eine Skizze eines Autos mit einer quadratischen Motorhaube eingibt, liefert das Modell eine 3D-Darstellung eines solchen Autos. Wenn der Designer diesen Teil der Skizze weglässt und die quadratische Haube durch eine runde ersetzt, wird das 3D-Modell sofort aktualisiert. Das Team plant, diese Funktion in Zukunft weiter zu verfeinern und zu verbessern.
Also Read:
Deng bemerkte, dass selbst der am wenigsten künstlerische Benutzer ein zufriedenstellendes Ergebnis erzielen wird. Das Modell kann eine genaue Ausgabe einer einfachen oder rauen Skizze generieren. Wenn es mit präziseren und detaillierteren Daten aus Segmentierungs- oder Kantenkarten bereitgestellt wird, kann das Modell ein hochsophisticated 3D-Bild erstellen.
„Unser Modell ist robust gegenüber Benutzerfehlern“, sagte Deng
Also Read:
In Other News Around the World: