論文の概要: ProtoExplorer: Interpretable Forensic Analysis of Deepfake Videos using Prototype Exploration and Refinement

• arxiv url: http://arxiv.org/abs/2309.11155v1
• Date: Wed, 20 Sep 2023 09:03:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-21 16:40:33.881540
• Title: ProtoExplorer: Interpretable Forensic Analysis of Deepfake Videos using Prototype Exploration and Refinement
• Title（参考訳）: ProtoExplorer: プロトタイプ探索と精錬によるディープフェイク映像の解釈法則解析
• Authors: Merel de Leeuw den Bouter, Javier Lloret Pardo, Zeno Geradts, Marcel Worring
• Abstract要約: ProtoExplorerは、プロトタイプベースのディープフェイク検出モデルの探索と改善のためのVisual Analyticsシステムである。 ビデオデータを扱う際にプロトタイプベースの予測を視覚化し、時間的にフィルタリングするツールを提供する。 システムは法医学の専門家によって設計され、オープンエンドの思考評価とインタビューに基づいて、数多くのラウンドで評価された。
• 参考スコア（独自算出の注目度）: 11.182863992851622
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In high-stakes settings, Machine Learning models that can provide predictions that are interpretable for humans are crucial. This is even more true with the advent of complex deep learning based models with a huge number of tunable parameters. Recently, prototype-based methods have emerged as a promising approach to make deep learning interpretable. We particularly focus on the analysis of deepfake videos in a forensics context. Although prototype-based methods have been introduced for the detection of deepfake videos, their use in real-world scenarios still presents major challenges, in that prototypes tend to be overly similar and interpretability varies between prototypes. This paper proposes a Visual Analytics process model for prototype learning, and, based on this, presents ProtoExplorer, a Visual Analytics system for the exploration and refinement of prototype-based deepfake detection models. ProtoExplorer offers tools for visualizing and temporally filtering prototype-based predictions when working with video data. It disentangles the complexity of working with spatio-temporal prototypes, facilitating their visualization. It further enables the refinement of models by interactively deleting and replacing prototypes with the aim to achieve more interpretable and less biased predictions while preserving detection accuracy. The system was designed with forensic experts and evaluated in a number of rounds based on both open-ended think aloud evaluation and interviews. These sessions have confirmed the strength of our prototype based exploration of deepfake videos while they provided the feedback needed to continuously improve the system.
• Abstract（参考訳）: 高度な設定では、人間に解釈可能な予測を提供する機械学習モデルが非常に重要です。 これは、膨大な数の調整可能なパラメータを持つ複雑なディープラーニングベースモデルの出現によってさらに真実となる。 近年, 深層学習を解釈可能な手法として, プロトタイプベースの手法が登場している。 特に,法医学的文脈におけるディープフェイク映像の分析に注目する。 ディープフェイクビデオの検出にプロトタイプベースの手法が導入されたが、実際のシナリオでの使用は依然として大きな課題を呈しており、プロトタイプは過度に類似し、解釈可能性もプロトタイプによって異なる傾向にある。 本稿では,プロトタイプ学習のためのVisual Analyticsプロセスモデルを提案し,これに基づいてプロトタイプベースディープフェイク検出モデルの探索と改善を行うVisual AnalyticsシステムであるProtoExplorerを提案する。 ProtoExplorerは、ビデオデータを扱う際にプロトタイプベースの予測を可視化し、時間的にフィルタリングするツールを提供する。 時空間プロトタイプの作業の複雑さを解消し、可視化を容易にする。 さらに、プロトタイプを対話的に削除して置き換えることで、検出精度を維持しつつ、より解釈可能でバイアスの少ない予測を実現することで、モデルの改良を可能にする。 このシステムは法医学の専門家によって設計され、オープンエンドの思考評価とインタビューに基づいて、数多くのラウンドで評価された。 これらのセッションは、システムの改善に必要なフィードバックを提供しながら、我々のプロトタイプベースのdeepfakeビデオの強みを確認しました。

関連論文リスト

• Multi-Scale Grouped Prototypes for Interpretable Semantic Segmentation [7.372346036256517]
  意味的セグメンテーションを解釈可能なものにするための、有望なアプローチとして、プロトタイプ的な部分学習が登場している。 本稿では,多スケール画像表現を利用した意味的セグメンテーションの解釈手法を提案する。 Pascal VOC,Cityscapes,ADE20Kで行った実験により,提案手法はモデルの疎結合性を高め,既存のプロトタイプ手法よりも解釈可能性を高め,非解釈可能なモデルとの性能ギャップを狭めることを示した。
  論文  参考訳（メタデータ） (2024-09-14T17:52:59Z)
• Open-Set Deepfake Detection: A Parameter-Efficient Adaptation Method with Forgery Style Mixture [58.60915132222421]
  本稿では,顔偽造検出に汎用的かつパラメータ効率の高い手法を提案する。 フォージェリー・ソース・ドメインの多様性を増大させるフォージェリー・ミックス・フォーミュレーションを設計する。 設計したモデルは、トレーニング可能なパラメータを著しく減らし、最先端の一般化性を実現する。
  論文  参考訳（メタデータ） (2024-08-23T01:53:36Z)
• Predicting Long-horizon Futures by Conditioning on Geometry and Time [49.86180975196375]
  我々は,過去を前提とした将来のセンサ観測の課題を探求する。 マルチモーダリティを扱える画像拡散モデルの大規模事前学習を活用する。 我々は、屋内と屋外のシーンにまたがる多様なビデオのセットについて、ビデオ予測のためのベンチマークを作成する。
  論文  参考訳（メタデータ） (2024-04-17T16:56:31Z)
• Undercover Deepfakes: Detecting Fake Segments in Videos [1.2609216345578933]
  ディープフェイク・ジェネレーションは ディープフェイクの新しいパラダイムだ ほとんどは 真実を歪めるために わずかに修正された 実際のビデオだ 本稿では,フレームとビデオレベルでディープフェイク予測を行うことにより,この問題に対処できるディープフェイク検出手法を提案する。 特に、私たちが取り組むパラダイムは、ディープフェイクのモデレーションのための強力なツールを形成します。
  論文  参考訳（メタデータ） (2023-05-11T04:43:10Z)
• Deep networks for system identification: a Survey [56.34005280792013]
  システム識別は、入力出力データから動的システムの数学的記述を学習する。 同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。 我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
  論文  参考訳（メタデータ） (2023-01-30T12:38:31Z)
• Towards Human-Interpretable Prototypes for Visual Assessment of Image Classification Models [9.577509224534323]
  人間に似た推論プロセスに基づいて、解釈可能な設計のモデルが必要です。 ProtoPNetは、教師なしの方法で視覚的に意味のあるプロトタイプを発見すると主張している。 これらのプロトタイプはまだ明確な説明に向けて長い道のりがある。
  論文  参考訳（メタデータ） (2022-11-22T11:01:22Z)
• TAR: Generalized Forensic Framework to Detect Deepfakes using Weakly Supervised Learning [17.40885531847159]
  ディープフェイクは重要な社会問題となり、それらを検出することが非常に重要です。 本研究では,異なる種類のディープフェイクを同時に検出する実用的なデジタル鑑識ツールを提案する。 レジデンシャルブロックを用いた自動エンコーダベースの検出モデルを開発し、異なる種類のディープフェイクを同時に検出する転送学習を順次実施します。
  論文  参考訳（メタデータ） (2021-05-13T07:31:08Z)
• Few-Cost Salient Object Detection with Adversarial-Paced Learning [95.0220555274653]
  本稿では,少数のトレーニング画像にのみ手動アノテーションを応用して,効果的なサルエント物体検出モデルを学習することを提案する。 我々は,このタスクを,少額の有能な物体検出とみなし,少数のコストの学習シナリオを促進するために,APL(Adversarialpaced Learning)ベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-05T14:15:49Z)
• Prototypical Representation Learning for Relation Extraction [56.501332067073065]
  本論文では, 遠隔ラベルデータから予測可能, 解釈可能, 堅牢な関係表現を学習することを目的とする。 文脈情報から各関係のプロトタイプを学習し,関係の本質的意味を最善に探求する。 いくつかの関係学習タスクの結果,本モデルが従来の関係モデルを大きく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-03-22T08:11:43Z)
• Visualising Deep Network's Time-Series Representations [93.73198973454944]
  機械学習モデルの普及にもかかわらず、多くの場合、モデルの内部で起きていることに関する洞察のないブラックボックスとして運用される。 本稿では,多次元時系列データの可視化に着目し,この問題に対処する手法を提案する。 高周波在庫市場データセットの実験は、この方法が迅速かつ識別可能な可視化を提供することを示しています。
  論文  参考訳（メタデータ） (2021-03-12T09:53:34Z)
• Interpretable and Trustworthy Deepfake Detection via Dynamic Prototypes [20.358053429294458]
  視覚的説明の一形態として動的プロトタイプを用いて顔画像の偽造を検知する新しい人間中心のアプローチを提案する。 大規模な実験結果から、DPNetは、目に見えないテストデータセットでさえ、競争力のある予測性能を達成することが示された。
  論文  参考訳（メタデータ） (2020-06-28T00:25:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。