Share
Es war noch nicht lange her, dass das Fotografieren ziemlich teuer war. Bei Kameras war Film mit begrenzter Kapazität erforderlich, und für die Ergebnisse waren zusätzliche Zeit und mehr Geld erforderlich. Diese inhärenten Einschränkungen stellten sicher, dass wir mit den Fotos, die wir gemacht haben, selektiv vorgehen.
Schneller Vorlauf bis heute und diese Einschränkungen wurden dank der Technologie abgebaut, aber jetzt stehen wir vor einem neuen Problem, das Filtern, Organisieren und Aufdecken wichtiger Fotos aus den vielen, die wir machen.
Dieses neue Problem hat dieses Tutorial inspiriert. In diesem Beitrag werde ich zeigen, wie wir neue Tools einsetzen können, um das Leben des Benutzers zu erleichtern, indem neue Möglichkeiten zum Filtern und Organisieren unserer Inhalte eingeführt werden.
Für dieses Projekt werden wir eine andere Art des Filterns durch Ihre Fotosammlung prüfen. Auf dem Weg erfahren Sie, wie Sie das Snapdragon SDK von Qualcomm für die Gesichtsverarbeitung und -erkennung einsetzen und nutzen können.
Wir ermöglichen dem Benutzer, eine Sammlung von Fotos nach Identität / Identitäten zu filtern. Die Sammlung wird nach Identitäten aus einem Foto gefiltert, auf das der Benutzer tippt (siehe unten).
Das Hauptaugenmerk dieses Beitrags liegt auf der Einführung der Gesichtsverarbeitung und -erkennung mit dem Snapdragon SDK von Qualcomm, während hoffentlich indirekt neue Denkweisen und die Verwendung abgeleiteter Metadaten aus Inhalten gefördert werden.
Um zu vermeiden, dass Sie in den Klempnerarbeiten fixiert werden, habe ich eine Vorlage erstellt, die den grundlegenden Dienst zum Durchsuchen der Fotosammlung des Benutzers und ein Raster für die Anzeige der Fotos bereitstellt. Unser Ziel ist es, dies mit dem oben vorgeschlagenen Konzept zu verbessern.
Im folgenden Abschnitt werden diese Komponenten kurz beschrieben, bevor Sie mit der Einführung des Snapdragon-SDK von Qualcomm fortfahren.
Wie oben erwähnt, ist es unser Ziel, uns auf das Snapdragon-SDK zu konzentrieren, sodass ich ein Skelett erstellt habe, das alle installierten Rohrleitungen aufweist. Nachfolgend finden Sie ein Diagramm und eine Beschreibung des Projekts, das Sie von GitHub herunterladen können.
Unsere Daten Paket enthält eine Implementierung von SQLiteOpenHelper (IdentityGalleryDatabase) verantwortlich für die Erstellung und Verwaltung unserer Datenbank. Die Datenbank besteht aus drei Tabellen, von denen eine als Zeiger auf den Medieneintrag (Foto), ein weiteres für erkannte Identitäten (Identität) und schließlich die Beziehungstabelle, die Identitäten mit ihren Fotos verbindet (identity_photo).
Die Identitätstabelle wird zum Speichern der vom Snapdragon SDK bereitgestellten Attribute verwendet, die in einem späteren Abschnitt dieses Lernprogramms ausführlich beschrieben werden.
Ebenfalls im Datenpaket enthalten sind a Anbieter (IdentityGalleryProvider) und Vertrag (IdentityGalleryContract) Klasse, die nichts weiter als ein Standard ist Anbieter fungiert als Hülle der SQLiteOpenHelper Klasse.
Um Ihnen ein Gefühl dafür zu vermitteln, wie Sie mit dem interagieren können Anbieter Klasse wird der folgende Code aus der TestProvider Klasse. Wie der Name vermuten lässt, wird es zum Testen des verwendet Anbieter Klasse.
//… Abfrage für alle Fotos Cursor cursor = mContext.getContentResolver (). Query (IdentityGalleryContract.PhotoEntity.CONTENT_URI, null, null, null, null); //… Abfrage für alle Fotos, die eine der Identitäten im referenzierten Foto enthalten Cursor Cursor = mContext.getContentResolver (). Abfrage (IdentityGalleryContract.PhotoEntity.buildUriWithReferencePhoto (photoId), null, null, null, null); //… Abfrageaufrufidentitäten Cursor cursor = mContext.getContentResolver (). Query (IdentityGalleryContract.IdentityEntity.CONTENT_URI, null, null, null, null); //… Abfrage für alle Cursor cursor = mContext.getContentResolver (). Query (IdentityGalleryContract.PhotoEntity.CONTENT_URI, null, null, null, null);
Das Bedienung package ist für das Durchlaufen, Katalogisieren und Bearbeiten der über das System verfügbaren Bilder verantwortlich MediaStore. Der Dienst selbst erweitert das IntentService als einfache Möglichkeit, die Verarbeitung in einem eigenen Thread durchzuführen. Die eigentliche Arbeit wird an die delegiert GalleryScanner, Dies ist die Klasse, die wir für Gesichtsverarbeitung und -erkennung erweitern werden.
Diese GalleryScannerIntentService wird jedes Mal instanziiert Hauptaktivität wird mit dem folgenden Aufruf erstellt:
@Override protected void onCreate (Bundle savedInstanceState) … GalleryScannerIntentService.startActionScan (this.getApplicationContext ());…
Wann gestartet, GalleryScannerIntentService ruft das letzte Scan-Datum ab und übergibt es an den Konstruktor von GalleryScanner. Dann ruft das an Scan Methode zum Durchlaufen des Inhalts des MediaItem Inhaltsanbieter-Artikel nach dem letzten Scan-Datum.
Wenn Sie das prüfen Scan Methode der GalleryScanner Klasse, Sie werden feststellen, dass es ziemlich wortreich ist - hier passiert nichts Kompliziertes. Die Methode muss nach intern gespeicherten Mediendateien abfragen (MediaStore.Images.Media.INTERNAL_CONTENT_URI) und extern (MediaStore.Images.Media.EXTERNAL_CONTENT_URI). Jeder Artikel wird dann an eine Hook-Methode übergeben, in der wir unseren Code für die Gesichtsverarbeitung und -erkennung eingeben.
Accentsconagua
private void processImage (ContentValues contentValues, Uri contentUri) Neue unsupportedOperationException ("Hook-Methode ist derzeit nicht implementiert"); Weitere zwei Hakenmethoden im GalleryScanner Klasse stehen uns zur Verfügung (wie die Methodennamen vermuten lassen), um das zu initialisieren und zu de-initialisieren FacialProcessing Beispiel.
private void initFacialProcessing () wirft UnsupportedOperationException aus throw new UnsupportedOperationException ("Hook-Methode ist derzeit nicht implementiert"); private void deinitFacialProcessing () throw new UnsupportedOperationException ("Hook-Methode ist derzeit nicht implementiert"); Das letzte Paket ist das Präsentationspaket. Wie der Name schon sagt, beherbergt es die Aktivität Klasse, die für das Rendern unserer Galerie verantwortlich ist. Die Galerie ist eine Rasteransicht an einem befestigt CursorAdapter. Wie oben erläutert, wird durch Antippen eines Elements in der Datenbank nach Fotos gesucht, die eine der Identitäten des ausgewählten Fotos enthalten. Wenn Sie beispielsweise auf ein Foto Ihrer Freundin Lisa und ihres Freundes Justin tippen, werden in der Abfrage alle Fotos gefiltert, die entweder Lisa oder Justin enthalten.
Um den Entwicklern dabei zu helfen, ihre Hardware großartig aussehen zu lassen und gerecht zu werden, hat Qualcomm ein erstaunliches Set von SDKs herausgebracht, eines davon ist das Snapdragon-SDK. Das Snapdragon-SDK stellt einen optimierten Satz von Funktionen für die Gesichtsverarbeitung bereit.
Das SDK besteht aus zwei Teilen: Gesichtsverarbeitung und Gesichtserkennung. Da nicht alle Geräte beide oder alle dieser Funktionen unterstützen, was wahrscheinlich der Grund für die Trennung dieser Funktionen ist, bietet das SDK eine einfache Möglichkeit, die vom Gerät unterstützten Funktionen zu überprüfen. Wir werden darauf später näher eingehen.
Die Gesichtsverarbeitung bietet eine Möglichkeit zum Extrahieren von Merkmalen aus einem Foto (eines Gesichts), einschließlich:
Die Gesichtserkennung bietet, wie der Name schon sagt, die Möglichkeit, Personen auf einem Foto zu identifizieren. Es ist erwähnenswert, dass die gesamte Verarbeitung lokal erfolgt - im Gegensatz zur Cloud.
Diese Funktionen können in Echtzeit (Video / Kamera) oder offline (Galerie) verwendet werden. In unserer Übung werden wir diese Funktionen offline verwenden, es gibt jedoch nur minimale Unterschiede zwischen den beiden Ansätzen.
In der Online-Dokumentation der unterstützten Geräte finden Sie weitere Informationen zur Gesichtsverarbeitung und Gesichtserkennung.
In diesem Abschnitt werden wir diese Hook-Methoden ausfüllen - mit überraschend wenigen Codezeilen -, um unserer Anwendung die Möglichkeit zu geben, Gesichtseigenschaften zu extrahieren und Personen zu identifizieren. Laden Sie dazu die Quelle von GitHub herunter und öffnen Sie das Projekt in Android Studio. Alternativ können Sie das abgeschlossene Projekt herunterladen.
Als erstes müssen Sie das SDK von der Qualcomm-Website herunterladen. Beachten Sie, dass Sie sich registrieren / einloggen müssen und den Allgemeinen Geschäftsbedingungen von Qualcomm zustimmen müssen.
Nach dem Herunterladen archivieren Sie den Inhalt und navigieren Sie zu /Snapdragon_sdk_2.3.1/java/libs/libs_facial_processing/. Kopiere das sd-sdk-facial-processing.jar Datei in Ihr Projekt / app / libs / ordner Wie nachfolgend dargestellt.
Klicken Sie nach dem Kopieren des Snapdragon-SDK mit der rechten Maustaste auf sd-sdk-facial-processing.jar und wählen Sie Als Bibliothek hinzufügen… aus der Liste der Optionen.
Dies fügt die Bibliothek als Abhängigkeit in Ihrem hinzu build.gradle Datei wie unten gezeigt.
Abhängigkeiten compile fileTree (Verzeichnis: 'libs', include: ['* .jar']) kompilieren Dateien ('libs / sd-sdk-facial-processing.jar') compile 'com.android.support:support-v13: 20.0.0 'Der letzte Schritt besteht darin, die native Bibliothek hinzuzufügen. Erstellen Sie dazu einen Ordner mit dem Namen jniLibs in deiner / app / src / main / Ordner und kopieren Sie die armeabi Ordner (aus dem SDK-Download) und seinen Inhalt hinein.
Wir sind jetzt bereit, die Logik zu implementieren, um Personen zu identifizieren, die die Funktionalität der API verwenden. Die folgenden Codeausschnitte gehören in die GalleryScanner Klasse.
Lassen Sie uns zunächst die Initialisierungs-Hook-Methode angehen.
privat void () () () () () () ()) () () () () ()) () () () () ()) () () () () ()) () () () () ()) () () () () () ()) () () () () ()). () () () () ()). () () () (). () (). () (). () (). () () (). () (). () (). () (). () (). () (). () (). () (). () (). () (). () (). () (). () (). (). () (). (). (). (). (). () Gerät"); mFacialProcessing = FacialProcessing.getInstance (); if (mFacialProcessing! = null) mFacialProcessing.setRecognitionConfidence (mConfidenceThreshold); mFacialProcessing.setProcessingMode (FacialProcessing.FP_MODES.FP_MODE_STILL); loadAlbum (); else throw neue UnsupportedOperationException ("Eine Instanz wird bereits verwendet");Wir müssen zunächst prüfen, ob das Gerät sowohl die Gesichtsverarbeitung als auch die Gesichtserkennung unterstützt. Wenn nicht, werfen wir eine UnsupportedOperationException Ausnahme.
Danach vergeben wir unsere lokale Referenz der FacialProcessing Klasse, mFacialProcessing, zu einer neuen Instanz mit der Factory-Methode bekomme Instanz. Das wird wiederkommen Null Wenn bereits eine Instanz verwendet wird, muss der Verbraucher anrufen Veröffentlichung auf dieser Referenz.
Wenn wir erfolgreich eine Instanz von a erhalten haben FacialProcessing Objekt konfigurieren wir es, indem wir zuerst das Vertrauen festlegen. Wir machen dies mit einer lokalen Variablen, nämlich 57 in diesem Fall von 0 bis 100. Die Zuverlässigkeit ist eine Schwelle, wenn versucht wird, Identitäten aufzulösen. Alle Übereinstimmungen unter diesem Schwellenwert werden als separate Identitäten betrachtet.
Soweit ich das beurteilen kann, handelt es sich hierbei um einen Versuchs- und Fehlerprozess. Je höher die Schwelle ist, desto genauer ist die Erkennung, mit dem Kompromiss, die Anzahl der falsch-positiven Werte zu erhöhen.
Dann setzen wir die FacialProcessing Modus auf FP_MODE_STILL. Ihre Optionen hier sind entweder FP_MODE_STILL oder FP_MODE_VIDEO. Wie die Namen vermuten lassen, ist einer für Standbilder optimiert, der andere für fortlaufende Bilder, die beide offensichtliche Anwendungsfälle haben.
P_MODE_STILL, wie Sie vielleicht vermuten, liefert genauere Ergebnisse. Aber wie Sie später sehen werden, FP_MODE_STILL wird durch die Methode impliziert, die wir zur Verarbeitung des Bildes verwenden, sodass diese Zeile weggelassen werden kann. Ich habe es nur der Vollständigkeit halber hinzugefügt.
Wir rufen dann an loadAlbum (Methode der GalleryScanner Klasse), was wir als nächstes betrachten werden.
private void loadAlbum () SharedPreferences sharedPreferences = mContext.getSharedPreferences (TAG, 0); String arrayOfString = sharedPreferences.getString (KEY_IDENTITY_ALBUM, null); Byte [] albumArray = null; if (arrayOfString! = null) String [] splitStringArray = arrayOfString.substring (1, arrayOfString.length () - 1) .split (","); albumArray = neues Byte [splitStringArray.length]; für (int i = 0; i < splitStringArray.length; i++) albumArray[i] = Byte.parseByte(splitStringArray[i]); mFacialProcessing.deserializeRecognitionAlbum(albumArray); Die einzige interessante Linie hier ist:
mFacialProcessing.deserializeRecognitionAlbum (albumArray);
Ihre Gegenmethode ist:
Byte [] albumBuffer = mFacialProcessing.serializeRecogntionAlbum ();
Ein einzelnes FacialProcessing Instanz kann als Sitzung gedacht werden. Hinzugefügte Personen (unten erklärt) werden innerhalb dieser Instanz lokal gespeichert (als "Erkennungsalbum" bezeichnet). Damit Ihr Album über mehrere Sitzungen bestehen bleiben kann, müssen Sie also jedes Mal, wenn Sie eine neue Instanz abrufen, eine Möglichkeit haben, diese zu speichern und zu laden.
Das serializeRecogntionAlbum Methode konvertiert das Album in ein Byte - Array und umgekehrt das deserializeRecognitionAlbum lädt und parst ein zuvor gespeichertes Album als Byte-Array.
Wir wissen jetzt, wie man das initialisiert FacialProcessing Klasse für Gesichtsverarbeitung und -erkennung. Lassen Sie uns nun den Fokus auf die De-Initialisierung durch die Implementierung von deinitFacialProcessing Methode.
private void deinitFacialProcessing () if (mFacialProcessing! = null) saveAlbum (); mFacialProcessing.release (); mFacialProcessing = null;
Wie oben erwähnt, kann es nur eine Instanz von FacialProcessing Wir müssen sicherstellen, dass wir sie freigeben, bevor wir unsere Aufgabe erledigen. Wir machen das über eine Veröffentlichung Methode. Zuerst machen wir das Erkennungsalbum jedoch so, dass die Ergebnisse über mehrere Sitzungen hinweg verwendet werden können. In diesem Fall möchten wir, wenn der Benutzer neue Fotos macht oder empfängt, sicherstellen, dass wir die zuvor erkannten Identitäten für dieselben Personen verwenden.
private void saveAlbum () Byte [] albumBuffer = mFacialProcessing.serializeRecogntionAlbum (); SharedPreferences sharedPreferences = mContext.getSharedPreferences (TAG, 0); SharedPreferences.Editor editor = sharedPreferences.edit (); editor.putString (KEY_IDENTITY_ALBUM, Arrays.toString (albumBuffer)); editor.commit ();
Endlich sind wir bereit, die endgültige Hook-Methode auszuarbeiten und die FacialProcessing Klasse. Die folgenden Codeblöcke gehören zum processImage Methode. Ich habe sie aus Gründen der Klarheit aufgeteilt.
private void processImage (contentValues contentValues, Uri contentUri) long photoRowId = ContentUris.parseId (contentUri); String uriAsString = contentValues.getAsString (GalleryContract.PhotoEntity.COLUMN_URI); Uri uri = Uri.parse (uriAsString); Bitmap-Bitmap = null; try bitmap = ImageUtils.getImage (mContext, uri); catch (IOException e) return; if (Bitmap! = null) // weiter unten (1)
Die Methode nimmt einen Verweis auf eine Instanz von ContentValues Klasse, die die Metadaten für dieses Bild enthält, zusammen mit dem URI, der auf das Bild verweist. Wir verwenden dies, um das Bild in den Speicher zu laden.
Der folgende Codeausschnitt ersetzt den obigen Kommentar // weiter unten (1).
