Merge branch 'redesign2018' of /media/marko/6F42-4389/gitRepositories/judo into redesign2018

2019-07-06 10:03:26 +02:00
parent 141c17ec3f 494827655d
commit 34146523f9
7 changed files with 357 additions and 2 deletions
--- a/homepage/redesign2018/markdownExperiment/src/Makefiles/Makefile.shiaiVidsSpeedupTest
+++ b/homepage/redesign2018/markdownExperiment/src/Makefiles/Makefile.shiaiVidsSpeedupTest
@@ -0,0 +1,183 @@
+# Makefile für die Verarbeitung der Wettkampfvideos
+#
+# devVersion für:
+#  - Beschleunigung der ganzen Sache
+#    - Reihenfolge der Filter
+# - Einbeziehen des Uploads
+#   - zwei verschiedene Server
+#     - der erste Pass kommt auf den Hauptserver, auch wenn er größer 
+#       ist; er wird aber auch wieder gelöscht, wenn die nächste 
+#       Videogalerie kommt
+#     - der zweite Pass kommt auf den Medienserver (unter 
+#       Berücksichtigung der Limitationen wie Einzeldateigrößen)
+
+
+# Systemspezifische Anpassungen (gehören eigentlich in ein 
+# Makefile.cfg, aber in jedem Wettkampordner eines anlegen, ist wieder 
+# mühsam) 
+FFMPEG = /c/proggis/media/editoren/ffmpeg-4.0.2-win64-static/bin/ffmpeg.exe
+#FFMPEG = ffmpeg
+GUETZLI = /d/projekte/tests/guetzli.git/bin/Release/guetzli.exe
+#GUETZLI = /home/marko/proggis/guetzli/bin/Release/guetzli
+
+DEFAULT_FFMPEG = ffmpeg
+#DEFAULT_FFMPEG = /c/proggis/media/editoren/ffmpeg-4.0.2-win64-static/bin/ffmpeg.exe
+
+GET_VIDEO_DURATION_JSON = /d/temp/cwsvJudo/homepage/redesign2018/markdownExperiment/src/galleryHelper/getVideoDurationJson.py
+
+
+# Für eine schnelle Komprimierung libvpx, sonst vp9
+DEFAULT_VID_CODEC_HEIGHT = 360
+DEFAULT_VID_CODEC_WIDTH  = -2
+DEFAULT_VID_CODEC_BITRATE = 500k
+DEFAULT_VID_CODEC = libvpx-vp9
+
+# Standardwerte auf die benutzen Variablen schreiben, falls diese noch 
+# nicht (z.B. aus dem Terminal heraus oder über ein IncludeCfgFile) 
+# gesetzt worden sind
+VID_CODEC_BITRATE := $(if $(VID_CODEC_BITRATE),$(VID_CODEC_BITRATE),$(DEFAULT_VID_CODEC_BITRATE))
+VID_CODEC_HEIGHT := $(if $(VID_CODEC_HEIGHT),$(VID_CODEC_HEIGHT),$(DEFAULT_VID_CODEC_HEIGHT))
+VID_CODEC_WIDTH := $(if $(VID_CODEC_WIDTH),$(VID_CODEC_WIDTH),$(DEFAULT_VID_CODEC_WIDTH))
+VID_CODEC := $(if $(VID_CODEC),$(VID_CODEC),$(DEFAULT_VID_CODEC))
+
+defaultTargetSourceDirectories = $(sort $(dir $(wildcard ./videos/aufnahmen/*/)))
+VID_CODEC_DEADLINE := -deadline best
+#VID_CODEC_DEADLINE := -deadline realtime
+
+targetSourceDirectories = $(sort $(dir $(wildcard ./videos/aufnahmen/*/)))
+
+targetSourceDirectories := $(if $(targetSourceDirectories), $(targetSourceDirectories), $(defaultTargetSourceDirectories))
+sourceVideos = $(wildcard videos/.forCompressing/*.video)
+
+vidstabLogs   = $(addsuffix .trf, $(basename $(sourceVideos)))
+firstPassLogs = $(addsuffix .firstPassLog-0.log, $(basename $(sourceVideos)))
+webmVideos    = $(addprefix videos/webm/, $(addsuffix .webm, $(basename $(notdir $(sourceVideos)))))
+jpegThumbs    = $(addprefix videos/thumbnails/, $(addsuffix .jpg, $(basename $(notdir $(sourceVideos)))))
+
+# das result= fehlt absichtlich
+ffmpegVideoFilterVidstabDetect = vidstabdetect=shakiness=10:accuracy=15
+# das input= fehlt absichtlich
+ffmpegVideoFilterVidstabTransform = vidstabtransform=optzoom=2:interpol=bicubic:smoothing=30
+
+# Der deinterlaceFilter sollte immer der erste sein!
+ffmpegVideoFilterDeinterlace = yadif,
+# Der einzige Grund, den ich für Skalierung zuerst gefunden habe, ist, 
+# dass beim Hochskalieren das Rasschen zunimmt. Mache ich aber nicht.
+ffmpegVideoScaleFilter = scale=$(VID_CODEC_WIDTH):$(VID_CODEC_HEIGHT):sws_flags=lanczos,
+# nlmeans soll klar besser sein, aber hqdn3d sehr viel schneller
+ffmpegVideoFilterDenoise = hqdn3d,
+#ffmpegVideoFilterDenoise = hqdn3d,
+# Aspect ratio ist eigentlich nur notwendig, wenn das 
+# Pixelseitenverhältnis nicht 1:1 ist
+ffmpegVideoFilterUnsharp = unsharp=5:5:0.8:3:3:0.4
+ffmpegDisplayAspectRatio = 16:9
+#ffmpegDisplayAspectRatio = 9:16
+
+
+.SECONDARY: $(vidstabLogs) $(firstPassLogs)
+
+.PHONY: all clean
+all: $(webmVideos) $(jpegThumbs)
+
+clean:
+	$(RM) \
+		$(vidstabLogs) \
+		$(firstPassLogs) \
+		$(webmVideos) \
+		$(jpegThumbs)
+
+.PHONY: thumbnails
+thumbnails: $(jpegThumbs)
+
+.PHONY: echo
+echo:
+	@echo $(webmVideos)
+	@echo $(firstPassLogs)
+	@echo $(targetSourceDirectories)
+
+
+# Erzeugen der Targets
+.PHONY: targets
+targets:
+	mkdir -p videos/.forCompressing
+	for directory in $(targetSourceDirectories) ;\
+		do for file in $${directory}/*.*;\
+			do \
+			checkSum=$$(sha512sum $${file});\
+			ln -f $${file} videos/.forCompressing/$${checkSum%%\ *}.video;\
+		done;\
+	done;
+
+# Die Stabilisierungsberechnung:
+# eventuell sollte hier die Skalierung vorgeschaltet werden...
+# @toDo: Ist es mit vorheriger Skalierung schneller, oder langsamer?
+# Denoise ist in der Stabilisation eigentlich unnötig, ebenso das unsharp
+# Die Skalierung sollte vieleicht vor der Stabilisierung stattfinden (und braucht nicht hochwertig zu sein?)
+videos/.forCompressing/%.trf: videos/.forCompressing/%.video
+	$(FFMPEG) -i $^ \
+		-filter:v $(ffmpegVideoFilterDeinterlace)$(ffmpegVideoScaleFilter)$(ffmpegVideoFilterVidstabDetect):result="$@" \
+		-f null \
+	-
+
+videos/.forCompressing/%.firstPassLog-0.log: videos/.forCompressing/%.video videos/.forCompressing/%.trf
+#		-b:v $(VID_CODEC_BITRATE) \
+#		-filter:v $(ffmpegVideoFilterDeinterlace)$(ffmpegVideoFilterDenoise)$(ffmpegVideoFilterVidstabTransform):input="$(basename $<).trf",nlmeans=s=6:p=5:r=7,$(ffmpegVideoScaleFilter)unsharp=5:5:0.8:3:3:0.4 \
+# wir speichern mal schon den ersten pass, damit haben wir zwar eine 
+# größere Dateigröße, aber können bereits etwas hochladen
+#	/dev/null
+# First Pass
+	$(FFMPEG) -i $< \
+		-filter:v $(ffmpegVideoFilterDeinterlace)$(ffmpegVideoScaleFilter)$(ffmpegVideoFilterDenoise)$(ffmpegVideoFilterVidstabTransform):input="$(basename $<).trf",$(ffmpegVideoFilterUnsharp) \
+		-codec:v $(VID_CODEC) \
+		-pass 1 \
+		-passlogfile "$(basename $<).firstPassLog" \
+		-aspect $(ffmpegDisplayAspectRatio) \
+		-threads 1 \
+		-speed 4 \
+		-tile-columns 0 \
+		-frame-parallel 0 \
+		-g 9999 \
+		-aq-mode 0 \
+		-an \
+		-f webm \
+		-y \
+	"$(basename $<).webm"
+
+# target und dependencies müssen noch angepasst werden
+# Die erste Abhängigkeit muss das quellVideo sein!
+videos/webm/%.webm: videos/.forCompressing/%.video videos/.forCompressing/%.trf videos/.forCompressing/%.firstPassLog-0.log
+	mkdir -p videos/webm
+	$(GET_VIDEO_DURATION_JSON) $<
+#		-b:v $(VID_CODEC_BITRATE) \
+# Second Pass
+	$(FFMPEG) -i $< \
+		-filter:v $(ffmpegVideoFilterDeinterlace)$(ffmpegVideoScaleFilter)$(ffmpegVideoFilterDenoise)$(ffmpegVideoFilterVidstabTransform):input="$(basename $<).trf",$(ffmpegVideoScaleFilter)unsharp=5:5:0.8:3:3:0.4 \
+		-codec:v $(VID_CODEC) \
+		-pass 2 \
+		-passlogfile "$(basename $<).firstPassLog" \
+		$(VID_CODEC_DEADLINE) \
+		-b:v $(shell $(GET_VIDEO_DURATION_JSON) $<)k \
+		-aspect $(ffmpegDisplayAspectRatio)\
+		-threads 1 \
+		-speed 0 \
+		-tile-columns 0 \
+		-frame-parallel 0 \
+		-auto-alt-ref 1 \
+		-lag-in-frames 25 \
+		-g 9999 \
+		-aq-mode 0 \
+		-an \
+		-f webm \
+	$@
+
+#videos/thumbnails/%.png: videos/.forCompressing/%.video
+videos/thumbnails/%.png: videos/webm/%.webm
+	mkdir -p videos/thumbnails
+#	$(FFMPEG) -i "$<" -vf "select=gt(scene\,0.4)" -frames:v 5 -vsync vfr -vf $(ffmpegVideoScaleFilter)fps=fps=1/600 "$@"
+#	$(FFMPEG) -i "$<" -vf $(ffmpegVideoScaleFilter)thumbnail -frames:v 1 "$@"
+#	$(FFMPEG) -i "$<" -filter:v $(ffmpegVideoFilterDeinterlace)$(ffmpegVideoFilterDenoise)$(ffmpegVideoFilterVidstabTransform):input="$(basename $<).trf",$(ffmpegVideoScaleFilter)unsharp=5:5:0.8:3:3:0.4,thumbnail -frames:v 1 "$@"
+	$(FFMPEG) -i "$<" -aspect $(ffmpegDisplayAspectRatio) -filter:v $(ffmpegVideoFilterDeinterlace)$(ffmpegVideoScaleFilter)thumbnail -frames:v 1 "$@"
+
+videos/thumbnails/%.jpg: videos/thumbnails/%.png
+	$(GUETZLI) --quality 90 "$<" "$@"
+#	convert "$<" "$@"
--- a/homepage/redesign2018/markdownExperiment/src/Makefiles/Makefile.vp9encodeGoogleVodRecommendations
+++ b/homepage/redesign2018/markdownExperiment/src/Makefiles/Makefile.vp9encodeGoogleVodRecommendations
@@ -0,0 +1,158 @@
+FFMPEG = /c/proggis/media/editoren/ffmpeg-4.0.2-win64-static/bin/ffmpeg.exe
+#FFMPEG = ffmpeg
+GUETZLI = /d/projekte/tests/guetzli.git/bin/Release/guetzli.exe
+#GUETZLI = /home/marko/proggis/guetzli/bin/Release/guetzli
+
+DEFAULT_FFMPEG = ffmpeg
+DEFAULT_GUETZLI = guetzli
+
+GET_VIDEO_DURATION_JSON = /d/temp/cwsvJudo/homepage/redesign2018/markdownExperiment/src/galleryHelper/getVideoDurationJson.py
+
+# Für eine schnelle Komprimierung libvpx, sonst vp9
+DEFAULT_VID_CODEC_HEIGHT = 360
+DEFAULT_VID_CODEC_WIDTH  = -2
+DEFAULT_VID_CODEC_BITRATE = 500k
+DEFAULT_VID_CODEC = libvpx-vp9
+
+# Standardwerte auf die benutzen Variablen schreiben, falls diese noch 
+# nicht (z.B. aus dem Terminal heraus oder über ein IncludeCfgFile) 
+# gesetzt worden sind
+VID_CODEC_BITRATE := $(if $(VID_CODEC_BITRATE),$(VID_CODEC_BITRATE),$(DEFAULT_VID_CODEC_BITRATE))
+VID_CODEC_HEIGHT := $(if $(VID_CODEC_HEIGHT),$(VID_CODEC_HEIGHT),$(DEFAULT_VID_CODEC_HEIGHT))
+VID_CODEC_WIDTH := $(if $(VID_CODEC_WIDTH),$(VID_CODEC_WIDTH),$(DEFAULT_VID_CODEC_WIDTH))
+VID_CODEC := $(if $(VID_CODEC),$(VID_CODEC),$(DEFAULT_VID_CODEC))
+
+defaultTargetSourceDirectories = $(sort $(dir $(wildcard ./videos/aufnahmen/*/)))
+VID_CODEC_DEADLINE := -deadline good
+#VID_CODEC_DEADLINE := -deadline best
+#VID_CODEC_DEADLINE := -deadline good
+#VID_CODEC_DEADLINE := -deadline realtime
+
+targetSourceDirectories = $(sort $(dir $(wildcard ./videos/aufnahmen/*/)))
+
+targetSourceDirectories := $(if $(targetSourceDirectories), $(targetSourceDirectories), $(defaultTargetSourceDirectories))
+sourceVideos = $(wildcard videos/.forCompressing/*.video)
+
+vidstabLogs   = $(addsuffix .trf, $(basename $(sourceVideos)))
+firstPassLogs = $(addsuffix .firstPassLog-0.log, $(basename $(sourceVideos)))
+webmVideos    = $(addprefix videos/webm/, $(addsuffix .webm, $(basename $(notdir $(sourceVideos)))))
+jpegThumbs    = $(addprefix videos/thumbnails/, $(addsuffix .jpg, $(basename $(notdir $(sourceVideos)))))
+
+# das result= fehlt absichtlich
+ffmpegVideoFilterVidstabDetect = vidstabdetect=shakiness=10:accuracy=15
+# das input= fehlt absichtlich
+ffmpegVideoFilterVidstabTransform = vidstabtransform=optzoom=2:interpol=bicubic:smoothing=30
+
+ffmpegVideoScaleFilter = scale=$(VID_CODEC_WIDTH):$(VID_CODEC_HEIGHT):sws_flags=lanczos,
+ffmpegVideoFilterDeinterlace = yadif,
+ffmpegVideoFilterDenoise = nlmeans,
+#ffmpegVideoFilterDenoise = hqdn3d,
+ffmpegDisplayAspectRatio = 16:9
+#ffmpegDisplayAspectRatio = 9:16
+ffmpegVideoFilterUnsharp = unsharp=5:5:0.8:3:3:0.4
+
+.SECONDARY: $(vidstabLogs) $(firstPassLogs)
+
+.PHONY: all clean
+all: $(webmVideos) $(jpegThumbs)
+
+clean:
+	$(RM) \
+		$(vidstabLogs) \
+		$(firstPassLogs) \
+		$(webmVideos) \
+		$(jpegThumbs)
+
+.PHONY: thumbnails
+thumbnails: $(jpegThumbs)
+
+.PHONY: echo
+echo:
+	@echo $(webmVideos)
+	@echo $(firstPassLogs)
+	@echo $(targetSourceDirectories)
+
+
+# Erzeugen der Targets
+.PHONY: targets
+targets:
+	mkdir -p videos/.forCompressing
+	for directory in $(targetSourceDirectories) ;\
+		do for file in $${directory}/*.*;\
+			do \
+			checkSum=$$(sha512sum $${file});\
+			ln -f $${file} videos/.forCompressing/$${checkSum%%\ *}.video;\
+		done;\
+	done;
+
+# Die Stabilisierungsberechnung:
+# eventuell sollte hier die Skalierung vorgeschaltet werden...
+# @toDo: Ist es mit vorheriger Skalierung schneller, oder langsamer?
+# Denoise ist in der Stabilisation eigentlich unnötig, ebenso das unsharp
+# Die Skalierung sollte vieleicht vor der Stabilisierung stattfinden (und braucht nicht hochwertig zu sein?)
+videos/.forCompressing/%.trf: videos/.forCompressing/%.video
+	$(FFMPEG) -i $^ \
+		-filter:v $(ffmpegVideoFilterDeinterlace)$(ffmpegVideoFilterVidstabDetect):result="$@" \
+		-f null \
+	-
+
+videos/.forCompressing/%.firstPassLog-0.log: videos/.forCompressing/%.video videos/.forCompressing/%.trf
+# wir speichern mal schon den ersten pass, damit haben wir zwar eine 
+# größere Dateigröße, aber können bereits etwas hochladen
+#	"$(basename $<).webm"
+# First Pass
+	$(FFMPEG) -i $< \
+		-filter:v $(ffmpegVideoFilterDeinterlace)$(ffmpegVideoFilterDenoise)$(ffmpegVideoFilterVidstabTransform):input="$(basename $<).trf",$(ffmpegVideoScaleFilter)unsharp=5:5:0.8:3:3:0.4 \
+		-codec:v $(VID_CODEC) \
+		$(VID_CODEC_DEADLINE) \
+		-pass 1 \
+		-b:v $(shell $(GET_VIDEO_DURATION_JSON) $<)k \
+		-passlogfile "$(basename $<).firstPassLog" \
+		-aspect $(ffmpegDisplayAspectRatio) \
+		-threads 1 \
+		-speed 4 \
+		-tile-columns 0 \
+		-frame-parallel 0 \
+		-g 9999 \
+		-aq-mode 0 \
+		-an \
+		-f webm \
+		-y \
+	/dev/null
+
+# Second Pass
+# target und dependencies müssen noch angepasst werden
+# Die erste Abhängigkeit muss das quellVideo sein!
+videos/webm/%.webm: videos/.forCompressing/%.video videos/.forCompressing/%.trf videos/.forCompressing/%.firstPassLog-0.log
+	mkdir -p videos/webm
+	$(FFMPEG) -i $< \
+		-filter:v $(ffmpegVideoFilterDeinterlace)$(ffmpegVideoFilterDenoise)$(ffmpegVideoFilterVidstabTransform):input="$(basename $<).trf",$(ffmpegVideoScaleFilter)unsharp=5:5:0.8:3:3:0.4 \
+		-codec:v $(VID_CODEC) \
+		-pass 2 \
+		-passlogfile "$(basename $<).firstPassLog" \
+		$(VID_CODEC_DEADLINE) \
+		-b:v $(shell $(GET_VIDEO_DURATION_JSON) $<)k \
+		-aspect $(ffmpegDisplayAspectRatio)\
+		-threads 1 \
+		-speed 0 \
+		-tile-columns 0 \
+		-frame-parallel 0 \
+		-auto-alt-ref 1 \
+		-lag-in-frames 25 \
+		-g 9999 \
+		-aq-mode 0 \
+		-an \
+		-f webm \
+	$@
+
+videos/thumbnails/%.png: videos/.forCompressing/%.video
+#videos/thumbnails/%.png: videos/webm/%.webm
+	mkdir -p videos/thumbnails
+#	$(FFMPEG) -i "$<" -vf "select=gt(scene\,0.4)" -frames:v 5 -vsync vfr -vf $(ffmpegVideoScaleFilter)fps=fps=1/600 "$@"
+#	$(FFMPEG) -i "$<" -vf $(ffmpegVideoScaleFilter)thumbnail -frames:v 1 "$@"
+#	$(FFMPEG) -i "$<" -filter:v $(ffmpegVideoFilterDeinterlace)$(ffmpegVideoFilterDenoise)$(ffmpegVideoFilterVidstabTransform):input="$(basename $<).trf",$(ffmpegVideoScaleFilter)unsharp=5:5:0.8:3:3:0.4,thumbnail -frames:v 1 "$@"
+	$(FFMPEG) -i "$<" -aspect $(ffmpegDisplayAspectRatio) -filter:v $(ffmpegVideoFilterDeinterlace)$(ffmpegVideoScaleFilter)thumbnail -frames:v 1 "$@"
+
+videos/thumbnails/%.jpg: videos/thumbnails/%.png
+	$(GUETZLI) --quality 90 "$<" "$@"
+#	convert "$<" "$@"
--- a/homepage/redesign2018/markdownExperiment/src/Makefiles/Makefiles.recursiveVariableTest/Makefile
+++ b/homepage/redesign2018/markdownExperiment/src/Makefiles/Makefiles.recursiveVariableTest/Makefile
@@ -0,0 +1,9 @@
+include Makefile.cfg
+
+recTestVar = Hallo
+#export recTestVar
+
+.PHONY: recTest
+recTest:
+	echo ${recTestVar}
+	make -e --file=Makefile.sub
--- a/homepage/redesign2018/markdownExperiment/src/Makefiles/Makefiles.recursiveVariableTest/Makefile.cfg
+++ b/homepage/redesign2018/markdownExperiment/src/Makefiles/Makefiles.recursiveVariableTest/Makefile.cfg
@@ -0,0 +1 @@
+recTestVar = Hallo
--- a/homepage/redesign2018/markdownExperiment/src/Makefiles/Makefiles.recursiveVariableTest/Makefile.sub
+++ b/homepage/redesign2018/markdownExperiment/src/Makefiles/Makefiles.recursiveVariableTest/Makefile.sub
@@ -0,0 +1,3 @@
+.PHONY: echo
+echo:
+	echo ${recTestVar}
--- a/homepage/redesign2018/markdownExperiment/src/Makefiles/Makefiles.vidGal.d/Makefile.vidGal
+++ b/homepage/redesign2018/markdownExperiment/src/Makefiles/Makefiles.vidGal.d/Makefile.vidGal
@@ -1,4 +1,4 @@
-include Makefile.vidGal.cfg
+include ${makefileDir}/Makefile.vidGal.cfg

 .PHONY: all clean
 all: $(webmVideos) $(jpegThumbs)
--- a/homepage/redesign2018/markdownExperiment/src/Makefiles/Makefiles.vidGal.d/Makefile.webmCompress.cfg
+++ b/homepage/redesign2018/markdownExperiment/src/Makefiles/Makefiles.vidGal.d/Makefile.webmCompress.cfg
@@ -46,7 +46,8 @@ ffmpegVideoFilterVidstabDetect = vidstabdetect=shakiness=10:accuracy=15
 # das input= fehlt absichtlich
 ffmpegVideoFilterVidstabTransform = vidstabtransform=optzoom=2:interpol=bicubic:smoothing=30

-ffmpegVideoScaleFilter = scale=$(VID_CODEC_WIDTH):$(VID_CODEC_HEIGHT):sws_flags=lanczos,
+#ffmpegVideoScaleFilter = scale=$(VID_CODEC_WIDTH):$(VID_CODEC_HEIGHT):sws_flags=lanczos,
+ffmpegVideoScaleFilter = scale=if( gt(in_w, in_h), -2, $(VID_CODEC_HEIGHT) ):if( gt(in_w, in_h), $(VID_CODEC_HEIGHT), -2):sws_flags=lanczos,
 ffmpegVideoFilterDeinterlace = yadif,
 ffmpegVideoFilterDenoise = nlmeans,
 #ffmpegVideoFilterDenoise = hqdn3d,