論文の概要: Detecting Out-of-Context Image-Caption Pairs in News: A
Counter-Intuitive Method
- arxiv url: http://arxiv.org/abs/2308.16611v1
- Date: Thu, 31 Aug 2023 10:16:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-01 14:55:15.111818
- Title: Detecting Out-of-Context Image-Caption Pairs in News: A
Counter-Intuitive Method
- Title（参考訳）: ニュースにおける文脈外画像キャプチャペアの検出:直感的手法
- Authors: Eivind Moholdt, Sohail Ahmed Khan, Duc-Tien Dang-Nguyen
- Abstract要約: 本稿では、生成画像モデルを用いて、ニュースにおける画像キャプチャペアの使用状況(OOC)を検出する手法を提案する。
2つの異なる生成モデルを用いて、合計6800ドルの画像を生成する2つの新しいデータセットを提示する。
本稿では,本手法が,安価なフェイク検出分野における生成モデルをさらに研究できると確信している。
- 参考スコア（独自算出の注目度）: 3.2584287815395174
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The growth of misinformation and re-contextualized media in social media and
news leads to an increasing need for fact-checking methods. Concurrently, the
advancement in generative models makes cheapfakes and deepfakes both easier to
make and harder to detect. In this paper, we present a novel approach using
generative image models to our advantage for detecting Out-of-Context (OOC) use
of images-caption pairs in news. We present two new datasets with a total of
$6800$ images generated using two different generative models including (1)
DALL-E 2, and (2) Stable-Diffusion. We are confident that the method proposed
in this paper can further research on generative models in the field of
cheapfake detection, and that the resulting datasets can be used to train and
evaluate new models aimed at detecting cheapfakes. We run a preliminary
qualitative and quantitative analysis to evaluate the performance of each image
generation model for this task, and evaluate a handful of methods for computing
image similarity.
- Abstract（参考訳）: ソーシャルメディアやニュースにおける誤情報や再コンテキスト化メディアの成長は、ファクトチェック手法の必要性が高まっている。
同時に、生成モデルの進歩は、安価なフェイクとディープフェイクを容易に作成し、検出しやすくする。
本稿では,ニュースにおける画像キャプチャペアのooc(out-of-context-caption pair)使用を検出するために,生成画像モデルを用いた新しい手法を提案する。
我々は,(1) DALL-E 2 と (2) 安定拡散を含む2つの生成モデルを用いて,合計6800ドルの画像を生成する2つの新しいデータセットを提案する。
本稿では, 安価なフェイク検出分野における生成モデルをさらに研究し, 得られたデータセットを用いて, 安価なフェイク検出を目的とした新しいモデルを訓練し, 評価できることを確信する。
本課題における各画像生成モデルの性能評価のための予備的定性的・定量的解析を行い,画像類似性を計算するための一握りの手法を評価した。
関連論文リスト
- Image Regeneration: Evaluating Text-to-Image Model via Generating Identical Image with Multimodal Large Language Models [54.052963634384945]
画像再生タスクを導入し,テキスト・ツー・イメージ・モデルの評価を行う。
我々はGPT4Vを用いて参照画像とT2Iモデルのテキスト入力のギャップを埋める。
また、生成した画像の品質を高めるために、ImageRepainterフレームワークを提案する。
論文 参考訳（メタデータ） (2024-11-14T13:52:43Z) - Reinforcing Pre-trained Models Using Counterfactual Images [54.26310919385808]
本稿では,言語誘導型生成対実画像を用いた分類モデル強化のための新しいフレームワークを提案する。
逆ファクト画像データセットを用いてモデルをテストすることにより、モデルの弱点を同定する。
我々は、分類モデルを微調整し強化するために、デファクトイメージを拡張データセットとして採用する。
論文 参考訳（メタデータ） (2024-06-19T08:07:14Z) - Enhance Image Classification via Inter-Class Image Mixup with Diffusion Model [80.61157097223058]
画像分類性能を高めるための一般的な戦略は、T2Iモデルによって生成された合成画像でトレーニングセットを増強することである。
本研究では,既存のデータ拡張技術の欠点について検討する。
Diff-Mixと呼ばれる革新的なクラス間データ拡張手法を導入する。
論文 参考訳（メタデータ） (2024-03-28T17:23:45Z) - Regeneration Based Training-free Attribution of Fake Images Generated by
Text-to-Image Generative Models [39.33821502730661]
そこで本研究では,テキスト・ツー・イメージ・モデルによって生成された偽画像をソース・モデルに属性付けするためのトレーニング不要な手法を提案する。
テスト画像と候補画像の類似性を計算し、ランキングすることにより、画像のソースを決定することができる。
論文 参考訳（メタデータ） (2024-03-03T11:55:49Z) - Machine Unlearning for Image-to-Image Generative Models [18.952634119351465]
本稿では、画像から画像への生成モデルのための機械学習のための統一フレームワークを提供する。
本稿では,厳密な理論解析を基盤とした計算効率のよいアルゴリズムを提案する。
ImageNet-1KとPlaces-365の2つの大規模データセットに関する実証研究は、我々のアルゴリズムが保持サンプルの可用性に依存していないことを示している。
論文 参考訳（メタデータ） (2024-02-01T05:35:25Z) - If at First You Don't Succeed, Try, Try Again: Faithful Diffusion-based
Text-to-Image Generation by Selection [53.320946030761796]
拡散ベースのテキスト・トゥ・イメージ(T2I)モデルは、テキスト・プロンプトへの忠実さを欠く可能性がある。
大規模なT2I拡散モデルは通常想定されるよりも忠実であり、複雑なプロンプトに忠実な画像を生成することができることを示す。
本稿では,テキストプロンプトの候補画像を生成するパイプラインを導入し,自動スコアリングシステムにより最適な画像を選択する。
論文 参考訳（メタデータ） (2023-05-22T17:59:41Z) - Parents and Children: Distinguishing Multimodal DeepFakes from Natural Images [60.34381768479834]
近年の拡散モデルの発展により、自然言語のテキストプロンプトから現実的なディープフェイクの生成が可能になった。
我々は、最先端拡散モデルにより生成されたディープフェイク検出に関する体系的研究を開拓した。
論文 参考訳（メタデータ） (2023-04-02T10:25:09Z) - Deep Image Fingerprint: Towards Low Budget Synthetic Image Detection and Model Lineage Analysis [8.777277201807351]
本研究では,実際の画像と区別できない画像の新たな検出方法を提案する。
本手法は、既知の生成モデルから画像を検出し、微調整された生成モデル間の関係を確立することができる。
本手法は,Stable Diffusion とMidversa が生成した画像に対して,最先端の事前学習検出手法に匹敵する性能を実現する。
論文 参考訳（メタデータ） (2023-03-19T20:31:38Z) - Lafite2: Few-shot Text-to-Image Generation [132.14211027057766]
本稿では,画像のみのデータセットを用いたテキスト・画像生成モデルの事前学習手法を提案する。
擬似テキスト特徴を合成する検索テーマ最適化手法を検討する。
これは、数ショット、半教師あり、完全に教師された学習など、幅広い設定で有益である。
論文 参考訳（メタデータ） (2022-10-25T16:22:23Z) - Implementing and Experimenting with Diffusion Models for Text-to-Image
Generation [0.0]
DALL-E 2 と Imagen という2つのモデルでは、画像の単純なテキスト記述から高画質の画像を生成できることが示されている。
テキスト・ツー・イメージのモデルは、トレーニングに必要な膨大な計算リソースと、インターネットから収集された巨大なデータセットを扱う必要がある。
この論文は、これらのモデルが使用するさまざまなアプローチとテクニックをレビューし、それから、テキスト・ツー・イメージ・モデルの独自の実装を提案することで貢献する。
論文 参考訳（メタデータ） (2022-09-22T12:03:33Z) - Learning to Recognize Patch-Wise Consistency for Deepfake Detection [39.186451993950044]
パッチワイド一貫性学習(PCL)という,このタスクのための表現学習手法を提案する。
PCLは、画像のソース機能の一貫性を測定し、複数の偽造方法に対する優れた解釈性と堅牢性で表現することを学びます。
7つの一般的なDeepfake検出データセットに対するアプローチを評価します。
論文 参考訳（メタデータ） (2020-12-16T23:06:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。