Fow on kollegen

Fow Foto Workflow Tool

Mon, 11 Sep 2017 00:00:00 +0000

Ein Kommandozeilen-Tool für den digitalen Fotoprozess Wie man auch bei mehreren Kameras und vielen Fotoprojekten den Überblick behält.

In dem Fotoworkflow-Blog wird der gesamte Ablauf für die Fotoentwicklung vorgestellt, so dass der Weg von der Kamera-Speicherkarte bis zur Veröffentlichung bzw. Archivierung beschrieben ist. Der Nachteil des so durchgeführten Workflows liegt auf der Hand: da ist einen Menge Handarbeit auf der Konsole bzw. mit dem Datei-Browser zu machen. Das ist zeitraubend, fehleranfällig und einfach nervig. Die Lösung für mich sind eine handvoll Kommandozeilenbefehle die genau die einzelnen Schritte als Befehl umsetzen. Dieses Tool, fow genannt, wird hier nun genauer vorgestellt.

Technische Umsetzung

Als Sprache wurde Python3 gewählt, da die Befehle damit schnell implementiert werden konnten. Die Befehle benötigen, neben Python 3, folgende Tools, welche aber in der Regel bereits installiert sind:

exiv2
exiftool
rsync

Das Projekt ist unter gitHub gehostet und steht als Open Source zur Verfügung. Vorschläge für Verbesserungen und Fehlermeldung sind willkommen und können dort erfasst werden. Wer aktiv mitentwickeln möchte, kann dies gerne tun.

Installation

Voraussetzung: Linux-System, auf dem DEB-Pakete installierte werden können (Debian, Ubuntu, Lint etc.). Für Windows-PCs lässt sich fow in einer VirtualBox z. B. mit Lint/Mate betreiben. Download: Neuestes Deb-Paket von gitHub-Projekt fow Unterverzeichnis /dist herunterladen und in einer Shell installieren mit z . B.:

$ sudo dpkg -i fow_1.1.8_all.deb

Initialisierung

Man benötigt ein, am besten leeres, Unterverzeichnis und initialisiert das fow, indem man in diesem Verzeichnis ‚init‘ aufruft. Beispiel:

$ mkdir ~/photo
$ cd ~/photo
$ fow init

Damit wird die Verzeichnisstruktur aufgebaut und ein paar Konfigurationsvariblen initialisiert. Zur Erfolgskontrolle lässt man sich die Konfigurationswerte anzeigen:

$ fow config
backup.path = None
gps.tracks = None
task = None

Ok, dass sieht noch nicht wirklich eingerichtet aus. Dass erfolgt erst bei Bedarf der einzelnen Befehle, für den Anfang genügt es. Hier ein paar grundlegende Tipps für den Anfang:

Das Wurzelverzeichnis hat keinen Einfluss auf fow und kann beliebig umbenannt und verschoben werden
Man muss sich innerhalb der Verzeichnisstruktur befinden, um einen fow-Befehl ausführen zu können
Fow-eigene Unterverzeichnisse dürfen nicht gelöscht/umbenannt werden
Zusätzliche Unterverzeichnisse sind möglich
Man kann beliebig viele fows nebeneinander betreiben
fows können nicht geschachtelt werden

Prinzip

Die Befehle sind so angelegt, dass sie mit möglichst wenig Tipparbeit einen Workflow-Schritt oder Befehl ausführen. Jedem Befehl geht das ‘fow’ voraus. Ein Übersicht über die Befehle bekommt man mit help:

$ fow help
fow commands:
backup - save the fow to an external directory
config - show and change settings of the fow. A setting is a key value pair.
exif - Set or show EXIF values for final images of the actual task
export - Copy final images to external destinations for the actual task
gps - add gps locations from gpx files
help - This help. Use "help <command>" for a specific command help
init - Creates new fow in the actual directory
load - Loads images from external destinations into 00_Inbox.
rename - Move and rename files from 00_Inbox to 01_Import.
show - reporting for processing steps
task - manage a fow's task

Detaillierte Hilfe zu den einzelnen Befehlen bekommt man mit help , z. B.:

$ fow help init

Ein Befehl kann Optionen (beginnend mit 2 Bindestrichen) und Parameter haben. So habe z. B. viele Befehle eine verbose-Ausgabe (–verbose). Ändernden Befehle bieten in der Regel eine Testoption (–test), die keine Änderungen macht (Dry-run). Beispiele:

$ fow rename --test
Processing jpg 5: 5
Processing raw 3: 3
Processing video 0: 0
8 files will be moved and renamed.

$ fow rename --verbose
Processing jpg 5: 5
Processing raw 3: 3
Processing video 0: 0
  OK  jpg 20170720-181117-DSCF5339.JPG --> 20170720-181117-20170720-181117-DSCF5339.JPG
  OK  jpg 20170720-184415-DSCF5343.JPG --> 20170720-184415-20170720-184415-DSCF5343.JPG
  OK  jpg 20170720-184415-DSCF5344.JPG --> 20170720-184415-20170720-184415-DSCF5344.JPG
  OK  jpg 20170720-184416-DSCF5345.JPG --> 20170720-184416-20170720-184416-DSCF5345.JPG
  OK  jpg 20170720-184650-DSCF5346.JPG --> 20170720-184650-20170720-184650-DSCF5346.JPG
  OK  raw 20170720-184415-DSCF5343.RAF --> 20170720-184415-20170720-184415-DSCF5343.RAF
  OK  raw 20170720-184415-DSCF5344.RAF --> 20170720-184415-20170720-184415-DSCF5344.RAF
  OK  raw 20170720-184416-DSCF5345.RAF --> 20170720-184416-20170720-184416-DSCF5345.RAF
8 file(s) moved.

Tipp: Eine Option hat auch eine Abkürzung, bestehend aus einem Bindestrich und dem Anfangsbuchstaben der Option, zum Beispiel kann statt –verbose auch einfach -v geschrieben werden. Zur besseren Lesbarkeit des Blogs wird hier aber nur die lange Schreibweise verwendet.

Die einzelnen Workflowschritte

Das Workflow Diagramm, wie es schon im Fotoworkflow-Blog vorgestellt wurde, dient fow als Grundlage und wurde nur leicht angepasst.

Workflow

Folgende Schritte werden von fow nicht unterstützt, da es für sie vorhandene Tools gibt:

Develop: Nachbearbeitung der JPG- bzw. RAW-Bilder erfolgt mit dem jeweiligen Lieblingstool, z. B. Darktable. Ferner fällt hierunter auch das Hinzufügen von Titel, Beschreibung etc.
Clean: Nicht mehr benötigte fow-Tasks sind manuell zu löschen

LOAD

Aufgabe
Laden aller Bilddateien (incl. aus Unterverzeichnissen) aus einer externen Quelle (wie z. B. SD-Karte oder Smartphone) in den Eingangsordner 00_Inbox.

Endzustand
Alle Bilddateien der externen Quelle wurden nach 00_Inbox kopiert bzw. verschoben und liegen nun in einem der Unterordner.

Load-Verzeichnis

Voraussetzung
Die SD-Karte ist gemountet.

Durchführung
Das Mount-Verzeichnis der SD-Karte wird einmal als config-Variable gesetzt:

$ fow config -s=load.sd=/mount/sd-card

Nun kann man sämtliche Bilddateien importieren lassen:

$ fow load sd
Processing jpg 3: 3
Processing raw 1: 1
Processing video 0: 0
All 3 files copied (0 existing files ignored).

Hinweise
Mit der Option –move werden die Dateien nach dem Kopieren aus der Quelle gelöscht. Das ist mit Vorsicht zu verwenden, schließlich hat man noch kein Backup der Bilddateien gemacht. Mit der Option –force werden vorhandene Dateien überschrieben

BACKUP
Es wird einmalig ein Backup-Verzeichnis ausserhalb des fow-Vezeichnisses definiert. Mit Backup kann dann man zu einem beliebigen Zeitpunkt die Daten dorthin sichern. Ein guter Zeitpunkt ist direkt nach dem Load, damit hat man einen definierten Zustand des fow-Verzeichnisses und kann mit ruhigem Gewissen die Daten von der SD-Karte löschen.

Aufgabe
Sichern des gesamten fow-Verzeichnisses auf ein externes Verzeichnis, idealerweise eine externe Festplatte oder der lokale Server.

Endzustand
Eine Kopie das fow-Verzeichnisses liegt vor.

Voraussetzung
Das externe Medium muss gemountet sein.

Durchführung Es wird einmalig das Backup-Verzeichnis als Config-Wert definiert.

$ fow config -s=backup.path=/media/diskstation/fow-backup

Nun kann das Backup durchgeführt werden.

$ fow backup  
Starting backup to "/media/diskstation/fow-backup".  
sending incremental file list  
.fow/  
.fow/setting.pickle  
00_Inbox/  
00_Inbox/jpg/  
00_Inbox/jpg/20170202-103548-DSCF4580.jpg  
00_Inbox/jpg/20170720-181117-20170720-181117-DSCF5339.JPG  
00_Inbox/jpg/20170720-184415-20170720-184415-DSCF5343.JPG  
00_Inbox/jpg/20170720-184650-20170720-184650-DSCF5346.JPG  
00_Inbox/jpg/DSCF4580.jpg  
00_Inbox/jpg/DSCF4593.jpg  
00_Inbox/raw/  
00_Inbox/raw/20170202-103548-DSCF4580.raf  
00_Inbox/video/  
01_Import/  
01_Import/jpg/  
01_Import/raw/  
01_Import/raw/20170720-184416-20170720-184416-DSCF5345.RAF  
01_Import/video/  
02_Progress/  
02_Progress/blog/  
02_Progress/blog/labels/  
02_Progress/blog/labels/final/  
02_Progress/blog/labels/final/20170226-103222-DSCF4702.jpg  
...  
Number of files: 95 (reg: 45, dir: 50)  
Number of created files: 95 (reg: 45, dir: 50)  
Number of deleted files: 0  
Number of regular files transferred: 45  
...  
sent 124,487,247 bytes  received 1,106 bytes  1,791,199.32 bytes/sec  
total size is 124,452,210  speedup is 1.00

Hinweis
Es wird nur ein Backup unterstützt, keine Rotierung

Intern wird rsync für den Befehl verwendet.

RENAME

Auf den verschiedenen Kameras habe die Bilddateien unterschiedliche Namensregeln. Mit rename werden die Bilddateien einheitlich umbenannt und bekommen einen Zeitstempel. Das vereinfacht das Dateimanagement erheblich. Die Umbenennung erfolgt auf Basis der Exif-Informationen. Eine Bilddatei wird nach folgendem Muster benannt:
<yyyymmdd>-<hhMMss>-<Dateiname mit Dateisuffix>
Die Dateien bekommen also einen Zeitstempel vorangestellt und sind damit chronologisch sortierbar. Der ursprüngliche Dateiname wird angehängt. Das hat den Vorteil, das es keine Namenskonflikte bei zeitgleichen Aufnahmen gibt. Außerdem wird das Duplizieren verhindert, falls ein Dateien erneut geladen und umbenannt werden.

Vor- und nach der Umbenennung

Aufgabe
Umbenennung aller Bilddateien aus 00_Inbox und verschieben nach 01_Import.

Endzustand Keine Bilddateien mehr in 00_Inbox und in 01_Import liegen die verschobenen Bilddateien vor.

Durchführung Die Durchführung ist denkbar einfach und kann je nach Menge ein paar Sekunden dauern.

$ fow rename
Processing jpg 5: 5
Processing raw 2: 2
Processing video 0: 0
7 file(s) moved.

Hinweis
Fehlt das Exif-Datum, wird nur verschoben.

ORGANIZE

Verteilen der importierten Bilddateien auf einzelne, unabhängige Aufgaben (Task).

Ausgangssituation
Eine Menge von Bildern, evtl. für unterschiedliche Zwecke, liegen in 01_Import vor.

Endzustand
Einige oder alle Bilddateien wurden in unterschiedliche ‘Tasks’ verschoben. Nicht mehr benötigte Bilder wurden gelöscht.

Durchführung
Hier ist Handarbeit mit dem Bildbetrachter bzw. Dateibrowser gefragt. fow unterstützt bei der Verwaltung der Task-Verzeichnisse und kann RAW-Dateien dorthin nachziehen.
Das Verzeichnis 01_Import/jpg wird mit einem beliebigen Bildbetrachter gesichtet. Zusammengehörige Bilder werden in einen neuen bzw. bestehenden Task verschoben. Evtl. vorhandene Raw-Dateien nachgezogen. Nicht mehr benötigte Bilder werden aus 01_Import gelöscht.

Ein Task ist eine Verzeichnisstruktur unter 02_Prozess. Tasks liegen aber nicht direkt unter 02_Prozess, sonder werden weiter in Unterverzeichnisse gruppiert.
Hat man z. B. Fotos für ‘Bild des Tages’ vom 1.9. und 2.9.2017, legt man sich zuerst die Tasks für beide Tage an. Beispiel:

$ fow task -c=daily/20170901 
$ fow task -c=daily/20170902

Damit werden die Task-Verzeichnisse angelegt:

Task-Verzeichnisstruktur

Nun kann man die JPG-Bilder in die Tasks verschieben.

Bei fow ist immer nur ein Task aktiv. Im aktive Task kann man u. a. die RAW-Dateien aus 01_Import nachziehen. Einen vorhanden Task kann man wie folgt aktivieren:

$ fow task -a=daily/20170901

Man kann auch durch Vorwärts- bzw. Rückwärtsblättern (Option –next bzw. –previous) den aktiven Task wechseln:

$ fow task --next   
   daily/20170901  
*  daily/20170902  
   dienstreise/hamburg17

Hat man neben JPGs noch RAW-Dateien erstellt, kann man diese RAWs in den aktuelle Task aus 01_Import/raw nachziehen. Mit der Test-Option kann man auch erst mal sehen, ob noch RAWs in 01_Import existieren:

$ fow task --raw-import --test  
raw files to move (may already exists):  
20170202-103548-DSCF4580.raf

DEVELOP

Unter Develop wird der gesamte Prozess der Fotobearbeitung innerhalb eines Tasks zusammengefasst, also die Erstellung des Endbildes auf Basis eines RAW bzw. JPGs mit Hilfe von Bildbearbeitungsprogramme. Dabei wird davon ausgegangen, dass das Originalbild nicht verändert wird, sondern dass die Programme mit Sidecar-Dateien (XML) oder Projektdateien (z. B. XCF bei Gimp) arbeiten und das Ergebnis in eine neue Datei exportiert werden (z. B. jpg).

Verzeichnis von Task ‘weekly/20170205’

Fow unterstützt hier durch Vorgabe der Verzeichnisstruktur des Tasks: In jpg und raw liegen die Originaldateien, in work können ggf. Projektdateien abgelegt werden und final dient als Exportverzeichnis für das fertige Produkt.

Ausgangssituation
Originalbilder zur Bearbeitung sind im Task abgelegt (jpg, raw).

Endzustand
Endbilder liegen im Ordner ‘final’.

Durchführung
Erfolgt mit den jeweiligen Bildbearbeitungsprogrammen. Der letzte Schritt ist der Export nach final. Z. B. Darktable unterstützt das Festlegen des Exportverzeichnisses.

Export bei Darktable

Mit fow kann man sich einen Überblick über den Bearbeitungszustand eines Task verschaffen, z. B.:

$ fow task --long   
Actual task is weekly/20170205. Listing all image files.  
Reading /photo-workflow/02_Progress/weekly/20170205/jpg 2: 2  
Reading /photo-workflow/02_Progress/weekly/20170205/raw 1: 1  
Reading /photo-workflow/02_Progress/weekly/20170205/video 0: 0  
Reading /photo-workflow/02_Progress/weekly/20170205/final 1: 1  
jrftg 20170202-103548-DSCF4580 Ramification  
j--tg 20170205-180804-DSCF4593 Ronneburg

Das Beispiel zeigt, dass es zwei Bilder gibt. Das erste trägt den Titel (t) ‘Ramification’, es hat Originalbilder in jgp (j) und raw (r), wurde bereits nach final (f) exportiert und hat gps-Daten (g). Das zweite Bild hat auch bereits einen Titel, ‘Ronneburg’, hat gps-Daten und liegt nur als Original-jpg vor.

Der Befehl ’task’ bietet noch weitere Optionen, u. a.:

–activate : Aktivieren eines bestimmten Tasks
–next und –previous: Wechseln in den nächsten bzw. vorherigen Task
–fill-final: Ergänzen des final-Verzeichnisses aus jpg

EXIF-Tags

Zum Setzen der EXIF-Tags für Titel, Beschreibung und Author, gibt es den Befehl ’exif’. Hier ein Beispiel wie alle drei Tags auf einmal gesetzt werden können:

$ fow exif -f -t  'Pendel LXIIX' -d 'Und Autos rauschen vorbei' -a 
20181205-192255-DSCF7592.jpg   
  o title             T 2 -> Pendel LXIIX  
  + description       Und Autos rauschen vorbei  
  + author            Christian Schulzendorff 2019, CC BY-SA 2.0

Den Wert für Author muss man sich nur einmalig erstellen und wird dann nicht mehr explizit gesetzt:

$ fow config -s 'exif.author=Christian Schulzendorff {YYYY}, CC BY-SA 2.0'

Ebenso kann man sich gesetzten Exif-Werte mit ‘fow exif’ anzeigen lassen.

LOCATION

Nicht alle Kameras taggen GPS-Informationen an die Bilder. Oft sollen aber trotzdem die Ortsdaten (Längen- und Breitengrad, ggf. Höhe) dem Bild hinzugefügt werden. Dazu muss dann für jedes Bild die aufgezeichnete Trackdatei ausgewertet werden. Manche Navi-Herstellen bieten dazu Programme an, oder man bedient sich Programmen wie z. B. geotag. Alternativ bietet fow die Möglichkeit, die finals eines Tasks mit Tracks in einem fest definierten Verzeichnis zu taggen.

Ausgangssituation Finals (Dateien im Task-Verzeichnis ‘final’) sind erstellt und das Verzeichnis mit Trackdateien (gpx) ist gemountet.

Endzustand
Final-Dateien sind getaggt.

Durchführung
Einmalig muss das externe Verzeichnis mit den Trackdateien als config-Wert festgelegt werden.

$ fow config -s=gps.tracks=/media/tracks

Die gpx-Dateien müssen den Datumsstempel im Format yyyymmdd im Namen haben, damit sie erkannt werden, z. B.:

$ find /media/tracks/ -name '*2017*02*0[2|5]*'  
../tracks/20170205.gpx  
../tracks/Christian_Schulzendorff_2017-02-02_09-10-10.gpx

Das taggen geht dann für den aktiven Task sehr einfach:

$ fow gps -verbose  
Reading /photo-workflow/02_Progress/weekly/20170205/final 2: 2  
Path to images: /photo-workflow/02_Progress/weekly/20170205/final  
Path to tracks: /media/tracks  
+g 20170202-103548-DSCF4580.jpg Christian_Schulzendorff_2017-02-02_09-10-10.gpx  
+g 20170205-180804-DSCF4593.jpg 20170205.gpx  
2 images processed, 2 gps data set (where 0 existing gps data were changed)

EXPORT

Sind alle Bilder eines Tasks in final erstellt, werden diese von dort an ihren Bestimmungsort verteilt. Fow unterstützt dabei den lokalen Export in beliebig viele Zielordner. Für andere Ziele, wie z. B. Flickr, Instagram u. s. w. bietet fow keine Unterstützung. Beim Export werden die Bilddateien immer nur kopiert, niemals verschoben.

Ausgangssituation
Alle Bilder liegen im Task-Ordner ‘final’ bereit und die Exportziele sind definiert.

Endzustand
Final-Dateien wurden an alle Bestimmungsorte exportiert.

Durchführung
Einmalig müssen die Exportziele definiert werden, z. B. für das Jahresarchiv.

$ fow config -s=export.archiv=../archiv/2017

Nun können die logischen Pfade für den Export verwendet werden:

$ fow export archiv  
2 images in weekly/20170205/final  
Destination: ../archiv/2017  
Copying 20170202-103548-DSCF4580.jpg. Done.  
Copying 20170205-180804-DSCF4593.jpg. Done.

Existiert die Datei bereits in dem Exportverzeichnis, kann das Überschreiben mit –force erzwungen werden. Das ist nützlich, wenn finals nach dem Export doch noch mal geändert wurden.

Alternativ kann auch durch Pfadangabe direkt in ein Exportziel kopiert werden.

$ fow export --path=~/Bilder/Diashow/

CLEAN UP

Ein Task ist etwas Temporäres und hat mit der Erzeugung der final-Bilder und dem anschließenden Export in der Regel ausgedient. Fow bietet zum Aufräumen keine Unterstützung.
Wird ein Task nicht mehr benötigt und wurden alle relevanten Dateien aus dem Task kopiert, ist das Taskverzeichnis z. B. per rm zu löschen:

$ rm -r 02_Progress/weekly/20170226

Hinweis
Der aktive Task sollte nicht gelöscht werden, da noch der config-Eintrag dazu existiert).

Foto-Workflow

Sat, 04 Mar 2017 00:00:00 +0000

Fotos von der Digitalkamera zum sicheren Ablageort zu bringen wird sehr schnell unübersichtlich. Die letzten Urlaubsfotos liegen noch unbearbeitet in einem tmp-Ordner und aus der Nachbearbeitung meiner Kalenderfotos ist auch noch nichts geworden. Ein strukturiertes System muss her…

Es gibt viele Programme, um digitale Bildersammlungen zu verwalten. Hier geht es aber um den Schritt davor, also der Entwicklungsprozess vom Kamerabild über die Bearbeitung, Publizieren bis zum Archiv. Der hier skizzierte Workflow bedient sich vorhandener Tools und regelt lediglich die strukturierte Verwendung und systematische Abarbeitung der einzelnen Schritte.

Übersicht

Folgende Aufgaben fallen in der Regel an (nicht alle Schritte sind immer nötig):

Bilddateien von der jeweiligen Kamera auf den Computer kopieren (Import)
Sicherungskopie der Dateien erstellen und Kamerabilder löschen (Backup)
Umbenennen der Bilder in eine einheitliches Zeitstempelformat (Rename)
Hinzufügen von Geopositionsdaten, von der Smartphone-App (Location)
Verschieben, löschen und gruppieren der Bilder in einzelnen Projektordner (Sort)

Nun wird in den Projekten, zeitlich unabhängig voneinander, jedes Bild bearbeitet.

‘Entwickeln’ der Bilder in der digitalen Dunkelkammer (Develop)
- Bildbearbeitung ausführen
- Titel setzen
- Erstellen der finalen Bildes
Publizieren und Archivieren der Bilder (Export)
Aufräumen durch Löschen des Projekts incl. aller Bilder (Clean)

Die gesamte Workflowbearbeitung erfolgt auf einem Linux-Computer. Der lokale Server fungiert als Datendrehscheibe für die GPS-Daten, als Backup-Speicher sowie als Archiv für die fertigen Bilder.

Workflow-Übersicht

Der Workflow lässt sich natürlich genauso auf einem Windows-PC durchführen. Hat man einen PC und möchte nicht auf die Linux-Umgebung verzichtet, bietet es sich an, Linux in einer virtuellen Umgebung zu betreiben. Auf meinem Windows-PC kommt seit Jahren VirtualBox mit Linux Mint/Mate zum Einsatz. Im Folgenden gehen wir aber von einem reinem Kubuntu-Computer aus.

Das Workflow-Verzeichnis

Der Workflow hat eine feste Verzeichnisstruktur mit den drei Hauptverzeichnissen 00_Inbox, 01_Import und 02_Progress.

Das erste Verzeichnis 00_Inbox dient als Eingangskorb. Hier werden die externen Bilder unverändert gesammelt. In das zweite Verzeichnis, 01_Import, kommen die Bilder durch Umbenennung. Hier können auch die Geo-Positionen hinzugefügt werden. Das letzte Oberverzeichnis heist 02_Progress, in welches die Bilder dann schließlich, in frei wählbaren Unterordnern, nach Projekten organisiert werden.

Verzeichnisstruktur

Ein Projektverzeichnis selbst (z. B. 20170226) hat wiederum eine feste Verzeichnisstruktur mit folgenden Verzeichnissen:

final - Fertig bearbeitete Bilder
jpg - Originalbilder im JPG-Format
raw - Originalbilder im RAW-Format
videos - Originalvideos
work - Optionales Arbeitsverzeichnis für Hilfsdateien wie z. B. Gimp-Projektdateien

Betrachten wir nun die einzelnen Schritte genauer und stellen vor, mit welchen Tools die einzelnen Schritte durchgeführt werden können. Welche Programme für die einzelnen Schritte einsetzt, ist letztendlich natürlich Geschmackssache. Wichtig ist nur, dass man das für jeden Zweck das passende Tool findet und dann möglichste dabei bleibt. Als Bilddateien werden hier JPG, RAW und Video-Dateien zusammengefasst.

Die einzelnen Schritte des Workflows

Der Workflow setzt sich aus den einzelnen Schritten zusammen, welche vorwiegend streng sequenziell durchgeführt werden. Jeder Schritt hat einen definierten Anfangs- und Endzustand und eine definiertes Tooling. Kommen weitere Bilder hinzu, so wird der Workflow einfach wieder von vorne begonnen.

Import

Eingang: Bilddateien liegen auf externem Medium, z. B. SD-Card
Ausgang: Bilddateien liegen in 00_Inbox

Import mit der Dateiverwaltung Dolphin im geteilten Modus. Die Dateien werden per Verschieben von der externen Quelle, abhängig von Dateityp, in das jeweilige Unterverzeichnis verschoben.

Laden externer Bilder durch Verschieben

Alternativ zum Drag’n Drop kann man den Import einfacher per Scripting durchführen. Befindet man sich im Workflow-Verzeichnis und hat ‘sdcard’ gemountet, dann verschiebt man die Dateien sortenrein in drei Schritten:

photo-workflow$ find /media/sdcard/ -name *.jpg -exec mv "{}" 00_Inbox/jpg \;  
photo-workflow$ find /media/sdcard/ -name *.raf -exec mv "{}" 00_Inbox/raw \;   
photo-workflow$ find /media/sdcard/ -name *.mov -exec mv "{}" 00_Inbox/video \;

Backup

Eingang: Alle Bilddateien befinden sich innerhalb des Workflow-Verzeichnisses
Ausgang: Workflow-Verzeichnis extern gesichert

Der Backup erfolgt einfach per rsync:

photo-workflow$ rsync -av --delete . /media/diskstation/christianDok/mirrors/photo-workflow

Rename

Eingang: Bilddateien in 00_Inbox
Ausgang: Bilddateien in 01_Import, 00_Inbox ist leer.

Die Dateien werden anhand Aufnahmezeitstempel aus den EXIF-Informationen und Originalname in eine einheitliches Format umbenannt. Der Originalname ist Teil des neuen Namens. Damit ist der neue Name immer eindeutig (z. B. bei Serienbildern oder Import von verschiedenen Kameras). Ausserdem gibt es so keine Probleme, falls eine Bilddatei aus versehen ein zweites mal importiert wird: Die alte Datei wird einfach überschrieben.
Als Tool verwende ich Rapid Photo Downloader. Man legt einmal die Regeln fest, dass Umbenennen/Verschieben geht dann mit wenigen Klicks.

Rapid Photo Downloader: Verschieben von jpg-Bildern

Namensregel für JPG-Dateien

Location

Eingang: Bilddateien in 01_Import, optional GPX-Dateien in externer Quelle
Ausgang: Geänderte Bilddateien in 01_Import, GPX-Dateien unverändert

Für JPG-Dateien werden die Geo-Koordinaten den Bildern hinzugefügt. Liegen RAW-Dateien vor, wird der Schritt übersprungen und erst vor dem Export mit den Final-Bildern durchgeführt.

Um GPX-Dateien zu erstellen verwende ich meistens GPSLogger auf dem Android-Smartphone. Die so erstellten Dateien werden auf den lokalen Server synchronisiert (mit FolderSync geht das automatisch).

Als Tool kommt Geotag zum Einsatz. Damit kann man für ein komplettes Bildverzeichnis anhand einer beliebigen Menge von GPX-Dateien die Koordinaten hinzufügen. Hat man keine GPX-Datei, kann man die Location auch per Google-Maps hinzufügen.

Geotag

Sort

Eingang: Bilddateien in 01_Import
Ausgang: Bilddateien in 02_Progress, 01_Import ist leer

In diesem Schritt werden zusammenhängende Bilddateien auf einzelne Projekte verteilt. Dazu wird zuerst das Projekt unter 02_Progress// angelegt. Ein Beispiel für eine Projektgruppe wäre ‘weekly’ und pro Woche erstellt man dann darin ein Projekt (z. B. ‘20170205’).

Die Verzeichnisse werden per Dolphin von Hand erstellt. Die Dateien werden, ebenfalls mit Dolphin, im geteilten Modus per Drag’n Drop verschoben.

Projekt füllen

Hat man neben JPGs noch RAW-Dateien, sind diese ebenfalls zu verschieben (ins Zielverzeichnis RAW).

RAW automatisch verschieben

Erstellt man mit der Kamera gleichzeitig JPGs und RAWs, verschiebt man erst die JPGs wie beschrieben. Die gleichnamigen RAWs sind dann zusätzlich zu verschieben (Zielverzeichnis RAW). Per Script kann man das auch automatisieren. Nachdem die JPGs verschoben sind, lässt man die gleichnamigen RAWs nachziehen. Dazu ruft man aus dem Projektverzeichnis heraus auf:

02_Progress/weekly/20170205$ ls ../../../01_Import/raw/ -1
20170202-103548-DSCF4580.raf  
20170205-180804-DSCF4593.raf  
  
02_Progress/weekly/20170205$ for f in jpg/*; do g="${f/.jpg/.raf}"; h="${g:4}"; mv "../../../01_Import/raw/$h" raw/ ; done  
  
02_Progress/weekly/20170205$ ls raw/ -1  
20170202-103548-DSCF4580.raf  
20170205-180804-DSCF4593.raf

Das Beispiel geht davon aus, dass man sich im aktuellen Projektverzeichnis befindet und die JPG-Dateien bereits dort einsortiert worden sind. Im Verzeichnis 01_Import/raw befinden sich die korrespondierende raf-Dateien.
Dieser Workflowschritt wird pro Projekt vollständig durchgeführt, d.h. die Bilder eines Projektes sind entweder noch alle in 01_Import oder vollständig nach 02_Progress verschoben worden.

Projektbearbeitung

Mit Sort sind nun die Bilddateien in Projekte einsortiert worden. Die weitere Bearbeitung erfolgt nun in diesen einzelnen Projekten. Das kann zeitlich unabhängig von einander erfolgen.

Develop

Eingang: Originalbilder in den Projektverzeichnissen jpg, raw.
Ausgang: Finale Bilddateien als Kopien im Projektverzeichnis final (Auswahl).

Die JPGs bzw. RAWs werden nun vorsortiert, bearbeitetet und nach final exportiert. Die Originalbilder bleiben dabei unverändert. Dabei können die Bilder zusätzlich mit einem Titel ergänzt werden. Haben die Finals noch keine Geo-Positionsdaten, können diese, wie bereits in Schritt ‘Location’ beschrieben, um diese ergänzt werden. Das eingesetzte Tool ist Geschmackssache, ich verwende Darktable.

Beim Vorsortieren werden die zu bearbeitenden Bilder markiert, z.B. durch Vergabe von drei Sternen:

Darktable: Bilder auf dem Leuchttisch vorsortieren

Nach der Bearbeitung wird das Bild nach final exportiert, ggf. mit einem Titel.

Darktable: Export

Das erstellte Bild kann direkt nach Final exportiert werden. Im Feld ‘Speicherziel’ gibt man dazu '$(FILE_FOLDER)/../final/$(FILE_NAME)' an.

Export

Eingang: Finale Bilddateien liegen im Unterverzeichnis final
Ausgang: Bilddateien wurden zu allen Zielen exportiert (Kopie)

Lokale Exportziele werden durch Kopieren der Dateien aus dem final-Verzeichnis gefüllt (Dolphin). Hochladen in Webportale erfolgt mit deren Importseiten (flickr, Instagram, etc.).

Exportieren der Daten auf den lokalen Server:

photo-workflow/02_Progress/weekly/20170205$ ls final/
20170202-103548-DSCF4580.jpg  
photo-workflow/02_Progress/weekly/20170205$ cp final/*.* media/diskstation/photp/tagesbild/2017

Clean

Eingang: Projektverzeichnis mit Bilddateien
Ausgang: Projekt mit allen Originaldateien und Zwischendateien wurden gelöscht

Nach dem Export kann das Projektverzeichnis gelöscht werden: Alle finals wurden exportiert, alle Originalbilder liegen unter jpg bzw. raw. Die Originaldateien werden also nicht aufgehoben.
Auch das Entfernen kann man mit dem Dolphin oder per Bash machen:

photo-workflow/02_Progress/weekly$  rm -r 20170205

Damit ist der Workflow für das Projekt durchgeführt. Aber sicherlich sind schon die nächsten Bilder auf der Kamera und der Prozess beginnt von vorne…