Share
Die Intel RealSense-Technologie kombiniert eine 3D-Kamera und ein Mikrofon-Array mit einem SDK, mit dem Sie Gestenverfolgung, 3D-Scanning, Gesichtsausdrucksanalyse, Spracherkennung und mehr implementieren können. In diesem Artikel werde ich sehen, was dies für Spiele bedeutet, und erklären, wie Sie es als Spieleentwickler einsetzen können.
RealSense umfasst drei verschiedene Peripheriegeräte, die jeweils eine 3D-Kamera enthalten. Zwei sind für die Verwendung in Tablets und anderen mobilen Geräten vorgesehen. Die dritte, die Vorderseite F200, ist für den Einsatz in Notebooks und Desktops vorgesehen. Ich werde mich in diesem Artikel auf Letzteres konzentrieren.
Das F200 ist bereits in einer Reihe verschiedener Notebooks sowie in einigen anderen Geräten enthalten und wird in Kürze als eigenständiges USB-Peripheriegerät verfügbar sein. (Sie können bereits eine Dev Kit-Version für etwa 100 US-Dollar bestellen oder reservieren.)
Es besteht aus:
Der Infrarotprojektor und die Kamera können Tiefeninformationen abrufen, um ein internes 3D-Modell zu erstellen, auf das die Kamera gerichtet ist. Die Farbinformationen der herkömmlichen Kamera können dann verwendet werden, um dieses Modell einzufärben.
Das SDK vereinfacht die Nutzung der Funktionen der Kamera in Spielen und anderen Projekten. Es enthält Bibliotheken für:
Beachten Sie, dass Sie nicht nur die Position einer Nase oder die Spitze des rechten Zeigefingers im 3D-Raum verfolgen können, sondern auch mehrere integrierte Gesten und Ausdrücke wie diese erkennen können:
Anstatt Code zu schreiben, um zu prüfen, ob die Ecken des Mundes des Spielers nach oben gekrümmt sind, und zu folgern, ob er lächelt, können Sie die RealSense-Bibliothek einfach nach der "Lächeln" -Geste fragen.Hier einige Beispiele, wie RealSense in Spielen verwendet werden kann (und wird):
Nevermind, ein psychologisches Horrorspiel, verwendet RealSense für Biofeedback: Es misst die Herzfrequenz des Spielers mit der 3D-Kamera und reagiert dann auf die Angst des Spielers. Wenn Sie Ihre Coolness verlieren, wird das Spiel schwieriger!
MineScan von voidALPHA ist ein Proof-of-Concept, mit dem Sie reale Objekte (wie ausgestopfte Tiere) in Minecraft scannen können. Bei jedem 3D-PC-Spiel mit Schwerpunkt auf Mods oder Personalisierung können die Scanfunktionen der RealSense-Kamera verwendet werden, damit die Spieler ihre eigenen Objekte (oder auch sich selbst!) In das Spiel einfügen können.
Faceshift verwendet RealSense für die Bewegungserfassung von Gesichtern im Detail. Diese Technologie könnte in Echtzeit, innerhalb eines Spiels, immer wenn Spieler miteinander sprechen, oder während der Produktionszeit verwendet werden, um die Ausdrucksformen eines Schauspielers sowie ihre Stimme für realistischere Charaktere aufzunehmen.
Es gab ein Echo, ein taktisches Echtzeit-Echtzeit-Echtzeit-Echtzeit-Echtzeit-Echtzeit-Echtzeit-Echtzeit-Redaktionssystem (RTS). Es ist leicht zu erkennen, wie dies beispielsweise an ein teambasiertes FPS angepasst werden könnte.
Vor Jahren hat Johnny Lee erklärt, wie ein Wii-Controller und eine Sensorleiste (falsch) verwendet werden können, um die Kopfposition des Spielers zu verfolgen und die Ansicht im Spiel entsprechend anzupassen. Wenn überhaupt, haben nur wenige Spiele davon Gebrauch gemacht (zweifellos wegen des unorthodoxen Setups), aber die Kopf- und Gesichtsverfolgungsfunktionen von RealSense machen dies möglich und viel einfacher.
Es gibt auch mehrere Spiele, die bereits RealSense verwenden, um ihre gestenbasierten Steuerelemente zu aktivieren:
Laserlife, ein Sci-Fi-Erkundungsspiel aus dem Studio hinter der BIT.TRIP-Serie.
Head of the Order, ein Kampfspiel im Turnierstil, das in einer Fantasy-Welt spielt, in der die Spieler mit Handgesten Zaubersprüche auf sich wirken lassen.
Zwischenraum, in dem Sie schwimmende Handbewegungen verwenden, um Schildkröten, Fische und andere Meeresbewohner durch eine Reihe von Aufgaben in einer Unterwasserumgebung zu führen.
Madagascar Move It!, Ein Kinderspiel ähnlich der Let's Dance-Serie.
Gestensteuerelemente sind für Spiele nicht gerade neu, aber bisher waren sie fast exklusiv für Kinect. Jetzt können sie in PC-Spielen verwendet werden, d. H. In Steam und sogar in der Webplattform.
Erster Schritt: Laden Sie das SDK herunter. (Nun, OK, der erste Schritt ist wahrscheinlich, ein Gerät mit einer RealSense-Kamera zu kaufen oder ein Entwicklungskit zu reservieren.)
Das SDK enthält:
Sehen Sie sich als Nächstes die Intel RealSense SDK-Schulungssite an. Hier finden Sie Anleitungen, um Ihnen den Einstieg zu erleichtern, Tutorials, die Sie durch bestimmte Funktionen (einschließlich des Unity Toolkit) führen, und Videos von vorherigen Webinaren. In den nächsten Wochen werden wir auch RealSense-Tutorials auf Tuts + veröffentlichen.
Der YouTube-Kanal von Intel verfügt über eine großartige Playlist mit Videos zur Entwicklung für RealSense. Diese haben einen viel größeren Fokus auf UX und UI als die obigen Tutorials. Schauen Sie sich dieses Video für ein Beispiel an:
Diese UX-Richtlinien (PDF) sind eine hervorragende Ergänzung zu den oben genannten Videos.
Wenn Sie einen guten Überblick über die Möglichkeiten des SDK und die Funktionsweise der verschiedenen Bibliotheken erhalten haben, können Sie sich ausführlich mit der Dokumentation beschäftigen.
Lesen Sie schließlich die offiziellen Foren, um mit anderen Entwicklern zu chatten, sehen Sie, woran sie arbeiten, und lassen Sie sich beraten.
Wir haben behandelt, was RealSense ist, wofür Spieleentwickler es verwenden und wie Sie es in Ihren eigenen Spielen einsetzen können. Behalten Sie den Abschnitt Tuts + Game Development in den nächsten Wochen im Auge. Dort finden Sie einige Anleitungen zum Scannen von Kopf, zum tastenlosen Tippen und zur Ausdruckserkennung.
Das Intel® Software Innovator-Programm unterstützt innovative, unabhängige Entwickler, die die Fähigkeit besitzen, zukunftsweisende Projekte zu erstellen und zu demonstrieren. Innovatoren nutzen Vortrags- und Demo-Möglichkeiten bei Branchenveranstaltungen und Entwicklertreffen.
Intel® Developer Zone Bietet Tools und Anleitungen zur plattformübergreifenden App-Entwicklung, Plattform- und Technologiedaten, Codebeispiele und Expertenwissen, um Entwicklern bei der Innovation und dem Erfolg zu helfen. Treten Sie unseren Communitys für Internet der Dinge, Android*, Intel RealSense-Technologie, Moderner Code, Spieleentwickler und Windows * Laden Sie Tools herunter, greifen Sie auf Entwicklungskits zu, tauschen Sie sich mit gleichgesinnten Entwicklern aus und nehmen Sie an Hackathons, Wettbewerben, Roadshows und lokalen Veranstaltungen teil.
Accentsconagua