論文の概要: Interpretable Multimodal Out-of-context Detection with Soft Logic Regularization

• arxiv url: http://arxiv.org/abs/2406.04756v1
• Date: Fri, 7 Jun 2024 08:57:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-10 14:50:13.619050
• Title: Interpretable Multimodal Out-of-context Detection with Soft Logic Regularization
• Title（参考訳）: ソフト論理規則化による解釈可能なマルチモーダル・アウト・オブ・コンテクスト検出
• Authors: Huanhuan Ma, Jinghao Zhang, Qiang Liu, Shu Wu, Liang Wang,
• Abstract要約: LOGRANと呼ばれるコンテキスト外検出のための論理正規化手法を提案する。 LOGRANの主な目的は、フレーズレベルでのアウト・オブ・コンテクスト検出を分解することである。 我々は、NewsCLIPpingsデータセット上でのLOGRANの性能を評価し、競合する総合的な結果を示す。
• 参考スコア（独自算出の注目度）: 21.772064939915214
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid spread of information through mobile devices and media has led to the widespread of false or deceptive news, causing significant concerns in society. Among different types of misinformation, image repurposing, also known as out-of-context misinformation, remains highly prevalent and effective. However, current approaches for detecting out-of-context misinformation often lack interpretability and offer limited explanations. In this study, we propose a logic regularization approach for out-of-context detection called LOGRAN (LOGic Regularization for out-of-context ANalysis). The primary objective of LOGRAN is to decompose the out-of-context detection at the phrase level. By employing latent variables for phrase-level predictions, the final prediction of the image-caption pair can be aggregated using logical rules. The latent variables also provide an explanation for how the final result is derived, making this fine-grained detection method inherently explanatory. We evaluate the performance of LOGRAN on the NewsCLIPpings dataset, showcasing competitive overall results. Visualized examples also reveal faithful phrase-level predictions of out-of-context images, accompanied by explanations. This highlights the effectiveness of our approach in addressing out-of-context detection and enhancing interpretability.
• Abstract（参考訳）: モバイル機器やメディアを通じての情報の急速な拡散により、偽ニュースや偽ニュースが広まり、社会に重大な懸念がもたらされた。 様々な種類の誤情報の中で、画像再構成(out-of-context misinformation)は、非常に一般的で効果的である。 しかし、現在の文脈外誤情報検出手法は解釈可能性に欠けることが多く、説明が限られている。 本研究では, LOGRAN (LOGic regularization for out-of-context ANalysis) と呼ばれる, 文脈外検出のための論理正規化手法を提案する。 LOGRANの主な目的は、フレーズレベルでのアウト・オブ・コンテクスト検出を分解することである。 句レベルの予測に潜在変数を用いることで、画像カプセル対の最終予測を論理規則を用いて集約することができる。 潜伏変数はまた、最終結果の導出方法の説明も提供しており、この微粒な検出法は本質的に説明法である。 我々は、NewsCLIPpingsデータセット上でのLOGRANの性能を評価し、競合する総合的な結果を示す。 視覚化された例は、説明とともに、文脈外画像の忠実なフレーズレベルの予測も示している。 このことは、文脈外検出に対処し、解釈可能性を高める上で、我々のアプローチの有効性を強調している。

関連論文リスト

• Toward Understanding In-context vs. In-weight Learning [50.24035812301655]
  本研究は,文脈内学習の出現と消失を引き起こす簡易な分布特性を同定する。 そして、この研究を完全な大規模言語モデルに拡張し、自然言語プロンプトの様々なコレクションの微調整が、文脈内および重み付き学習の振る舞いをいかに引き出すかを示す。
  論文  参考訳（メタデータ） (2024-10-30T14:09:00Z)
• On the Role of Context in Reading Time Prediction [50.87306355705826]
  我々は,リアルタイム言語理解において,読者がコンテキストをどのように統合するかについて,新たな視点を提示する。 提案手法は,言語単位の処理作業が文脈内情報の内容のアフィン関数であることを示す素因的理論に基づいている。
  論文  参考訳（メタデータ） (2024-09-12T15:52:22Z)
• Counterfactuals of Counterfactuals: a back-translation-inspired approach to analyse counterfactual editors [3.4253416336476246]
  我々は、反事実的、対照的な説明の分析に焦点をあてる。 本稿では,新しい逆翻訳に基づく評価手法を提案する。 本研究では, 予測モデルと説明モデルの両方の振る舞いについて, 反事実を反復的に説明者に与えることで, 価値ある洞察を得ることができることを示す。
  論文  参考訳（メタデータ） (2023-05-26T16:04:28Z)
• Interpretable Automatic Fine-grained Inconsistency Detection in Text Summarization [56.94741578760294]
  本研究の目的は, 要約中の事実誤りの微粒化を予測し, 微粒化不整合検出の課題を提案することである。 要約における現実的不整合の検査方法に触発され,解析可能な微粒不整合検出モデルであるFinGrainFactを提案する。
  論文  参考訳（メタデータ） (2023-05-23T22:11:47Z)
• Interpretable Detection of Out-of-Context Misinformation with Neural-Symbolic-Enhanced Large Multimodal Model [16.348950072491697]
  誤報の作者は、ニュース検出システムや偽ニュースを騙すために、マルチメディア以外のコンテンツを使う傾向が強まっている。 この新たなタイプの誤報は、検出だけでなく、個々のモダリティが真の情報に十分近いため、明確化の難しさも増す。 本稿では,不一致のペアと相互の矛盾を同時に識別する,解釈可能なクロスモーダル・デコンテクスト化検出を実現する方法について検討する。
  論文  参考訳（メタデータ） (2023-04-15T21:11:55Z)
• Estimating the Adversarial Robustness of Attributions in Text with Transformers [44.745873282080346]
  リプシッツ連続性に基づくテキスト分類における帰属ロバスト性(AR)の新たな定義を確立する。 そこで我々は,テキスト分類における属性の厳密な推定を行う強力な敵であるTransformerExplanationAttack (TEA)を提案する。
  論文  参考訳（メタデータ） (2022-12-18T20:18:59Z)
• Counterfactual Reasoning for Out-of-distribution Multimodal Sentiment Analysis [56.84237932819403]
  本稿では,OODの高次一般化に対するテキストモダリティの悪影響を推定・緩和することを目的とする。 そこで本研究では,マルチモーダル感情分析のためのモデルに依存しない反現実的フレームワークを考案した。
  論文  参考訳（メタデータ） (2022-07-24T03:57:40Z)
• Rethinking Offensive Text Detection as a Multi-Hop Reasoning Problem [15.476899850339395]
  対話における暗黙的な攻撃的テキスト検出の課題について紹介する。 我々は、このより広い種類の攻撃的発話を理解するためには、推論が不可欠であると主張する。 このタスクの研究を支援するデータセットであるSLIGHTをリリースする。
  論文  参考訳（メタデータ） (2022-04-22T06:20:15Z)
• A Closer Look at Debiased Temporal Sentence Grounding in Videos: Dataset, Metric, and Approach [53.727460222955266]
  テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。 最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。 偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
  論文  参考訳（メタデータ） (2022-03-10T08:58:18Z)
• Leveraging Unlabeled Data for Entity-Relation Extraction through Probabilistic Constraint Satisfaction [54.06292969184476]
  シンボリックドメイン知識の存在下でのエンティティ関係抽出の問題を研究する。 本手法では,論理文の正確な意味を捉える意味的損失を用いる。 低データ体制に焦点をあてて、セマンティックな損失がベースラインをはるかに上回ることを示す。
  論文  参考訳（メタデータ） (2021-03-20T00:16:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。