slashCAM
Administrator
Administrator
Beiträge: 11264

Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von slashCAM »


Blackmagic hat ein weiteres Update seiner beliebten Videosuite herausgebracht, das wieder einige neue Funktionen bietet. Die größten Neuigkeiten sind dabei verbesserte Pr...
Bild
Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes



Jörg
Beiträge: 10387

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von Jörg »

Die DaVinci Neural Engine AI beherrscht nun die Isolation von Stimmen mit Hilfe von künstlicher Intelligenz. Hiermit lassen sich effektiv Hintergrundgeräusche wie Publikumslärm, Verkehr, Flugzeuge oder auch Explosionen aus einem Audio Segment herausfiltern, damit die Sprache verständlicher wird.
wenn das Teil dann auch Windgeräusche separieren könnte....



freezer
Beiträge: 3353

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von freezer »

Da sind noch andere interessante Schmankerl drin:

• Support for fractional display scaling for Windows and Linux.

YES!

• Support for subtitle track presets and per-track formatting rules.

YES!

• Drag media entries to auto smart bins to apply keyword, shot or scene.

YES!

• Ability to multi-select, delete and realign transitions.

Fusion:
• Up to 10x faster Text+ playback and render performance.

GPU ich hör Dich brennen :-D

Color:
• New Resolve FX Sky Replacement including generated sky textures.
• Ability to process alpha channel for supported Resolve FX in Color.
• Improved quality when tracking faces in profile or partial occlusion.

Performance
• Up to 2x faster optical flow performance in enhanced mode.
• Improved performance with RCM on Apple silicon.
• Up to 5x faster face refinement tracking and analysis.
• Up to 5x faster Resolve FX object removal performance.
• Up to 2x faster sharper resize performance on Apple silicon.
• Up to 4x faster spatial noise reduction performance.
• Up to 30% faster temporal noise reduction performance.
• Up to 5x faster video stabilization performance.
• Faster playback performance with large node graphs.
• Up to 2x faster decode performance for PIZ EXRs in Apple silicon.
• Improved RAW decode performance on Apple silicon.
• Up to 30% faster Nvidia accelerated playback for 8K H.265 clips.
• Up to 50% faster AV1 and H.265 encodes with dual Nvidia encoder.
• Improved startup time on Mac for users with many project libraries.
• OpenVINO accelerated AI-based Studio features in Windows Intel systems.

Und auch:
• Ability to copy and paste values when selecting virtual slider controls.
LAUFBILDkommission
Robert Niessner - Graz - Austria
Blackmagic Cinema Blog
www.laufbildkommission.wordpress.com



pillepalle
Beiträge: 8798

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von pillepalle »

Wow! Ein paar ziemlich geniale und nützliche neue Features. Gerade auch was Audio betrifft. Ich dachte schon immer ich sei schnell in der Post, aber jetzt geht vieles noch schneller :)

VG
Meine Lieblingsfilme:
Es war ein Mahl in Amerika
Molkerei auf der Bounty
Dune - Der Würstchenplanet



-paleface-
Beiträge: 4501

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von -paleface- »

Fusion Studio hat ein neues Feature bekommen.....direkt einen roten Kringel im Kalender gemacht.
:-D

Auf den Rest bin ich aber auch mal gespannt.
www.mse-film.de | Kurzfilme & Videoclips

www.daszeichen.de | Filmproduktion & Postproduktion



macaw
Beiträge: 1396

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von macaw »

Auf dem ersten Blick läuft die Magic Mask in Fusion extrem viel langsamer als in der Farbkorrektur. Das Audio Denoise war bei mir unbrauchbar, kann aber an den Aufnahmen liegen, die relativ sauber waren, werde das aber nochmal richtig testen.



-paleface-
Beiträge: 4501

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von -paleface- »

Also das Audio Tool hat noch ein paar Macken.

A: Hat es Resolve Crashen lassen als ich ein paar mal hin und her mit der Stärke geswitcht bin.
B: Kommt es zu einer Artefakt Bildung hat man keinerlei Eingriffsmöglichkeiten.
C: Wenn man den Dialog Leveler in Kombi mit der Isolation anwendet kommt es zu komischen Mono-Stereo switch Problemen.
D: Die Isolation funktioniert nur auf Clips die länger als 3 Sekunden dauern. Ist prinzipiell kein schlimmes Problem. Sollte man nur bedenken wenn man sein Files zerschneidet.

Aber prinzipiell waren da schon ein paar schöne Ergebnisse dabei muss ich sagen. Noch ein halbes Jahr Arbeit darein BMD dann flutscht das! :-)
www.mse-film.de | Kurzfilme & Videoclips

www.daszeichen.de | Filmproduktion & Postproduktion



Spreeni
Beiträge: 325

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von Spreeni »

Bei mir sind nach dem Update die Custom Export Presets futsch. Musste meine Export Settings wieder alle neu anlegen. Also, seid gewarnt...



eXp
Beiträge: 231

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von eXp »

Also Voice Isolation funktioniert so schonmal sehr gut. Den Dialogue Leveler finde ich auch sehr praktisch, allerdings hat er noch Kanalprobleme mit dem Voice Isolator, einzeln funktioniert er sehr gut.

Und auch sehr deutlich spürbar ist die schnellere GPU Unterstützung für h.265, läuft butterweich in nativer 4K Auflösung, auch beim durchscrollen der Timeline. Da brauche ich jetzt keine Proxis in DNxHR mehr.



dienstag_01
Beiträge: 13641

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von dienstag_01 »

eXp hat geschrieben: ↑Fr 11 Nov, 2022 15:01 Also Voice Isolation funktioniert so schonmal sehr gut. Den Dialogue Leveler finde ich auch sehr praktisch, allerdings hat er noch Kanalprobleme mit dem Voice Isolator, einzeln funktioniert er sehr gut.

Und auch sehr deutlich spürbar ist die schnellere GPU Unterstützung für h.265, läuft butterweich in nativer 4K Auflösung, auch beim durchscrollen der Timeline. Da brauche ich jetzt keine Proxis in DNxHR mehr.
Das hat aber nur wenige Jahre gedauert, bis das Hardwaredecoding von LongGOP-Material alle erreicht ;)



eXp
Beiträge: 231

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von eXp »

Ein nerviges Problem habe ich dafür jetzt aber, nutze ich Video Clean Feed auf einem zweiten Monitor kracht mir DaVinci meine 24GB VRam voll.



dienstag_01
Beiträge: 13641

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von dienstag_01 »

eXp hat geschrieben: ↑Fr 11 Nov, 2022 16:47 Ein nerviges Problem habe ich dafür jetzt aber, nutze ich Video Clean Feed auf einem zweiten Monitor kracht mir DaVinci meine 24GB VRam voll.
Das ist natürlich grauslig ;)



freezer
Beiträge: 3353

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von freezer »

eXp hat geschrieben: ↑Fr 11 Nov, 2022 16:47 Ein nerviges Problem habe ich dafür jetzt aber, nutze ich Video Clean Feed auf einem zweiten Monitor kracht mir DaVinci meine 24GB VRam voll.
Vielleicht ein NVIDIA-Treiber-Problem?
LAUFBILDkommission
Robert Niessner - Graz - Austria
Blackmagic Cinema Blog
www.laufbildkommission.wordpress.com



eXp
Beiträge: 231

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von eXp »

Keine Ahnung, Treiber sind zumindest aktuell.



dienstag_01
Beiträge: 13641

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von dienstag_01 »

Ich kann mir auch nicht vorstellen, dass das irgendeine Rolle spielt, dass der Speicher belegt ist.



eXp
Beiträge: 231

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von eXp »

Naja, es läuft dann halt nichts in der Timeline mehr flüssig.



pillepalle
Beiträge: 8798

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von pillepalle »

Die beiden neuen Audiofeatures (Dialogue Leveler, Voice Isolation) funktionieren bei mir eigentlich ganz gut. Der Dialogue Leveler ist gut wenn man die Pegel nur schnell etwas angleichen möchte. Manuell ist das Ergebnis natürlich deutlich besser, aber dafür fummelt man dann auch länger dran herum. Mir wäre auch ein stufenloser Drehregler für die Reduktion/Anhebung lieber als die vier fixen Presets. Artefakte habe ich dabei keine, aber bei den stärkeren Einstellungen hört man hin und wieder, das die KI am Pegel gedreht hat (einfach im flaschen Moment gepegelt).

Die vier Einstellmöglichkeiten (Allow wider dynamics, Optimized for most sources, More lift for low levels, Lift soft whispery sources) kann man auch nur als Anhebung der leisen oder Reduzierung der lauten Passagen ausführen, je nachdem ob die Schalter Reduce loud dialogue bzw. Lift soft dialogue an oder ausgeschaltet sind. Man hat also prinzipiell 7 verschiedene Stufen/Einstellmöglichkeiten, von denen aber meiner Meinung nach eigentlich nur drei sinnvoll sind. Mit dem Output Gain hebt man den Pegel dann nur insgesamt an (verschiebt die graue Kurve bis zu 6dB nach oben) Der Schalter der Background Reduction spielte in meinen Beispielen keine wesentliche Rolle und sie hat Übersprechen/Crosstalk auch nicht als Background Noise bewertet.

Ein wenig verständlicher wird das vielleicht mit einem Beispiel und ein paar Bildern. Es gibt zwei Spuren eines Interviews und im Dialogue Leverer darunter sieht man an der grauen Kurve, was der Dialogue Leveler eigentlich mit dem Pegel macht. Dabei fällt auf, das man den Crosstalk bestenfalls nicht verstärken kann, aber nie wirklich reduzieren, was bei einem manuellen Eingriff natürlich möglich wäre.

In der Standarteinstellung (Optimized for most sources) werden laute Passagen reduziert und leise (und damit das Übersprechen) verstärkt.
Bild

Schaltet man den Schalter Lift soft dialogue aus, dann werden in der Einstellung nur die lauten Passagen reduziert.
Bild

Bei der Einstellung Allow Wider Dynamics ist der Effekt (Reduktion/Anhebung) geringer.
Bild

In der Einstellung Lift for low Levels werden nur die leisen Passagen verstärkt.
Bild

Und in der Einstellung Lift soft whispery sources werden die lauten Passagen reduziert und die leisen erhöht.
Bild

VG
Meine Lieblingsfilme:
Es war ein Mahl in Amerika
Molkerei auf der Bounty
Dune - Der Würstchenplanet



dienstag_01
Beiträge: 13641

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von dienstag_01 »

eXp hat geschrieben: ↑Sa 12 Nov, 2022 00:29 Naja, es läuft dann halt nichts in der Timeline mehr flüssig.
Ok, das lässt natürlich auf ein grundsätzliches Problem schließen.
Prinzipiell hat der Video Clean Feed keine andere Abhängigkeit vom Grafikspeicher als die anderen Ausgabemöglichkeiten der Oberfläche.
Also, mehr Grafikspeicher wird dafür im Normalfall nicht benötigt.



Bruno Peter
Beiträge: 4349

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von Bruno Peter »

Gleichzeitige Restaurierung mir Automatic Dirt Removal und Deflicker
wird jetzt auf meinem PC mit 12 FPS exportiert, davor ist es mit 19,5 FPS gerendert worden.
** S8-Hobbyfilmer seit 1970, Video seit 1988, Schmalfilmdigitalisierer seit 2007 **
** Aktuelle Hauptkameras: Sony ZV-1 & Zhiyun Crane M2 Gimbal plus DJI Pocket 2 Gimbal-Kamera**
http://www.videoundbild.de/



eXp
Beiträge: 231

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von eXp »

eXp hat geschrieben: ↑Fr 11 Nov, 2022 16:47 Ein nerviges Problem habe ich dafür jetzt aber, nutze ich Video Clean Feed auf einem zweiten Monitor kracht mir DaVinci meine 24GB VRam voll.
Ok, die Lösung war einfacher als gedacht.

Beim Zocken habe ich immer Riva Tuner Statistics mit laufen, da ich es nicht ausgemacht habe lief es auch in DaVinci immer mit und das hat mir dann bei der Nutzung von Video Clean Feed den VRam vollgehauen.
Mache ich es aus funktioniert alles perfekt.



freezer
Beiträge: 3353

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von freezer »

-paleface- hat geschrieben: ↑Fr 11 Nov, 2022 13:34 Also das Audio Tool hat noch ein paar Macken.

A: Hat es Resolve Crashen lassen als ich ein paar mal hin und her mit der Stärke geswitcht bin.
B: Kommt es zu einer Artefakt Bildung hat man keinerlei Eingriffsmöglichkeiten.
C: Wenn man den Dialog Leveler in Kombi mit der Isolation anwendet kommt es zu komischen Mono-Stereo switch Problemen.
D: Die Isolation funktioniert nur auf Clips die länger als 3 Sekunden dauern. Ist prinzipiell kein schlimmes Problem. Sollte man nur bedenken wenn man sein Files zerschneidet.

Aber prinzipiell waren da schon ein paar schöne Ergebnisse dabei muss ich sagen. Noch ein halbes Jahr Arbeit darein BMD dann flutscht das! :-)
Heute kam das Update auf 18.1.1 mit Bugfixes u.a. für die Voice Isolation:

What's new in DaVinci Resolve 18.1.1
• Support for Blackmagic RAW SDK 2.8.
• Preferences option to manually set display scaling on Windows.
• Addressed an issue with incorrect clip thumbnails on some systems.
• Addressed keyboard shortcuts for switching primaries.
• Addressed an issue rendering MXF clips with embedded captions.
• Addressed audio drops and artefacts when using voice isolation.
• Addressed audio clicks when monitoring after changing EQ type.
• Addressed a Text3D issue with characters with intersections.
• Addressed an issue importing tracking data in Fusion.
• Addressed an issue evaluating Group or Macro tool expressions.
• Addressed an issue with Text+ on old CPUs.
• General performance and stability improvements.
LAUFBILDkommission
Robert Niessner - Graz - Austria
Blackmagic Cinema Blog
www.laufbildkommission.wordpress.com



 Aktuelle Beiträge [alle Foren]
 
» KI macht Insta360 X4 zu einer 3D Kamera
von berlin123 - Mi 15:02
» Eckpunkte einer neuen Filmförderung: mehr Kreativität, weniger Bürokratie?
von iasi - Mi 14:26
» Silhouette 2024 mit neuen Machine-Learning-Nodes für schnelleres Roto & Paint
von slashCAM - Mi 13:36
» Zwei neue Canon Dual-Objektive für 3D-Aufnahmen vorgestellt
von philr - Mi 13:15
» Was hast Du zuletzt gekauft?
von Funless - Mi 13:12
» Fujinon MK mittels Clear Image Zoom an FX 6
von Pianist - Mi 12:56
» Blackmagic URSA Cine Immersive - Profi-Kamera für Apple Vision Pro
von klusterdegenerierung - Mi 11:24
» Adobe - neue Nutzungsrechte: unbegrenzter Datenzugriff
von NurlLeser - Mi 11:11
» Was schaust Du gerade?
von markusG - Mi 10:13
» Apple Vision Pro Headset demnächst auch in Deutschland
von slashCAM - Mi 10:03
» Mehrere Kameras und Audio Spuren synchronisieren?
von Frank Glencairn - Mi 9:42
» Panasonic LUMIX GH7 - internes ProRes RAW und 32Bit Float Audio-Aufzeichnung
von berlin123 - Mi 9:31
» Camera Rig, wo sind die Mikrofone?
von Jott - Mi 8:02
» DJI Osmo Pocket 3 Kreativ Combo Gimbal-Kompaktkamera
von berlin123 - Di 19:33
» Sony will mit KI Hollywood-Filme billiger produzieren
von macaw - Di 16:29
» Hat jemand Erfahrung mit dem DJI Ronin SC?
von Riki1979 - Di 14:19
» Bis zu 50 Euro Rabatt bei Teltec für die slashCam-Community
von ChrisDiCesare - Di 12:29
» Secondwave Nano Lights Quick Test
von klusterdegenerierung - Di 11:55
» Was hörst Du gerade?
von Skeptiker - Di 11:07
» Panasonic S5 - Allgemeine Fragen, Tipps und Tricks, Zeig deine Bilder/Videos usw.
von Alex - Di 9:57
» Apple Vision Pro - Bereits nachlassende Nachfrage in den USA?
von R S K - Di 9:56
» Auftragslage weiter Rückläufig?
von berlin123 - Di 9:42
» Wie schreibt man eine Actionszene? Vi-Dan Tran
von Nigma1313 - Di 9:28
» Panasonic lizenziert ARRI LogC3 von ARRI für die LUMIX GH7
von roki100 - Mo 21:32
» Lumix S FF Kameras und der APS-C Modus is amazing and magic ;)
von Frank Glencairn - Mo 20:49
» Red Komodo Ready to Go Komplettpaket
von v-empire - Mo 19:58
» -SONY FX- Erfahrungsaustausch
von klusterdegenerierung - Mo 17:18
» Lexar CFexpress Typ A 320GB neu versiegelt Silber Karte f. Sony FX3 FX30 A7Siii CF express
von Mr NN - Mo 16:57
» Blackmagic bringt kostenlose Profi-Kamera App fürs iPhone: Camera App
von shellbeach - Mo 16:51
» Die Nikon Z6 III wird am 17.6. vorgestellt
von slashCAM - Mo 15:54
» 2024 Worldwide Box Office - bedenklich mau
von iasi - Mo 15:40
» Blackmagic zeigt Cloud Live Sync: Clips schon während der Aufnahme bearbeiten
von slashCAM - Mo 14:40
» Nikon Z6 Mark III
von cantsin - Mo 14:22
» Arri Hi5 SX Funkschärfe - Bizarr!
von klusterdegenerierung - Mo 13:32
» Godzilla Minus One
von DKPost - Mo 11:54