論文の概要: SceneGraMMi: Scene Graph-boosted Hybrid-fusion for Multi-Modal Misinformation Veracity Prediction
- arxiv url: http://arxiv.org/abs/2410.15517v1
- Date: Sun, 20 Oct 2024 21:55:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-22 13:13:27.438030
- Title: SceneGraMMi: Scene Graph-boosted Hybrid-fusion for Multi-Modal Misinformation Veracity Prediction
- Title（参考訳）: SceneGraMMi:Scene Graph-boosted Hybrid-fusion for Multi-Modal Misinformation Veracity Prediction
- Authors: Swarang Joshi, Siddharth Mavani, Joel Alex, Arnav Negi, Rahul Mishra, Ponnurangam Kumaraguru,
- Abstract要約: SceneGraMMiを提案する。SceneGraMMi, Scene Graph-boosted Hybrid-fusion approach for Multi-modal Misinformation veracity prediction。
4つのベンチマークデータセットでの実験結果から、SceneGraMMiは最先端のメソッドよりも一貫して優れています。
- 参考スコア（独自算出の注目度）: 10.909813689420602
- License:
- Abstract: Misinformation undermines individual knowledge and affects broader societal narratives. Despite growing interest in the research community in multi-modal misinformation detection, existing methods exhibit limitations in capturing semantic cues, key regions, and cross-modal similarities within multi-modal datasets. We propose SceneGraMMi, a Scene Graph-boosted Hybrid-fusion approach for Multi-modal Misinformation veracity prediction, which integrates scene graphs across different modalities to improve detection performance. Experimental results across four benchmark datasets show that SceneGraMMi consistently outperforms state-of-the-art methods. In a comprehensive ablation study, we highlight the contribution of each component, while Shapley values are employed to examine the explainability of the model's decision-making process.
- Abstract（参考訳）: 誤報は個人の知識を損なうものであり、より広い社会的な物語に影響を与える。
マルチモーダルな誤情報検出における研究コミュニティへの関心が高まっているにもかかわらず、既存の手法では、マルチモーダルデータセット内のセマンティックキュー、キー領域、およびクロスモーダルな類似性をキャプチャする制限が示されている。
SceneGraMMi, SceneGraMMiを提案する。SceneGraMMiはマルチモーダルな誤情報精度予測のためのハイブリッド・フュージョン・アプローチであり, 異なるモーダル間のシーングラフを統合して検出性能を向上させる。
4つのベンチマークデータセットでの実験結果から、SceneGraMMiは最先端のメソッドよりも一貫して優れています。
包括的アブレーション研究では、各コンポーネントの寄与を強調し、Shapley値はモデルの意思決定プロセスの説明可能性を調べるために使用される。
関連論文リスト
- Detecting Misinformation in Multimedia Content through Cross-Modal Entity Consistency: A Dual Learning Approach [10.376378437321437]
クロスモーダルなエンティティの整合性を利用して、ビデオコンテンツから誤情報を検出するためのマルチメディア誤情報検出フレームワークを提案する。
以上の結果から,MultiMDは最先端のベースラインモデルより優れていることが示された。
論文 参考訳（メタデータ） (2024-08-16T16:14:36Z) - Zoom and Shift are All You Need [0.0]
マルチモーダル情報の完全統合を実現する機能アライメント手法を提案する。
提案手法は,異なるモダリティから派生した特徴間の高レベルな相互作用を確実に捉えることができる。
論文 参考訳（メタデータ） (2024-06-13T07:09:41Z) - NativE: Multi-modal Knowledge Graph Completion in the Wild [51.80447197290866]
本研究では,MMKGCを実現するための包括的フレームワークNativEを提案する。
NativEは、任意のモダリティに対して適応的な融合を可能にするリレーショナル誘導デュアルアダプティブフュージョンモジュールを提案する。
提案手法を評価するために,5つのデータセットを用いたWildKGCという新しいベンチマークを構築した。
論文 参考訳（メタデータ） (2024-03-28T03:04:00Z) - From Text to Pixels: A Context-Aware Semantic Synergy Solution for
Infrared and Visible Image Fusion [66.33467192279514]
我々は、テキスト記述から高レベルなセマンティクスを活用し、赤外線と可視画像のセマンティクスを統合するテキスト誘導多モード画像融合法を提案する。
本手法は,視覚的に優れた融合結果を生成するだけでなく,既存の手法よりも高い検出mAPを達成し,最先端の結果を得る。
論文 参考訳（メタデータ） (2023-12-31T08:13:47Z) - Exploiting Modality-Specific Features For Multi-Modal Manipulation
Detection And Grounding [54.49214267905562]
マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。
本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。
本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
論文 参考訳（メタデータ） (2023-09-22T06:55:41Z) - StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized
Image-Dialogue Data [129.92449761766025]
本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。
このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。
本研究は,各種データセットを対象とした総合的な実験を含む。
論文 参考訳（メタデータ） (2023-08-20T12:43:52Z) - Alternative Telescopic Displacement: An Efficient Multimodal Alignment Method [3.0903319879656084]
本稿では,マルチモーダル情報の融合に革命をもたらす機能アライメントに対する革新的なアプローチを提案する。
提案手法では,異なるモードをまたいだ特徴表現の遠隔的変位と拡張の新たな反復的プロセスを用いて,共有特徴空間内の一貫性のある統一表現を導出する。
論文 参考訳（メタデータ） (2023-06-29T13:49:06Z) - Generalized Product-of-Experts for Learning Multimodal Representations
in Noisy Environments [18.14974353615421]
本稿では,エキスパート手法の一般化による雑音環境下でのマルチモーダル表現学習手法を提案する。
提案手法では,モダリティ毎に異なるネットワークをトレーニングし,そのモダリティから得られる情報の信頼性を評価する。
マルチモーダル3Dハンドプレース推定とマルチモーダル手術ビデオセグメンテーションという,2つの挑戦的なベンチマークで最先端のパフォーマンスを得た。
論文 参考訳（メタデータ） (2022-11-07T14:27:38Z) - A graph representation based on fluid diffusion model for multimodal
data analysis: theoretical aspects and enhanced community detection [14.601444144225875]
流体拡散に基づくグラフ定義の新しいモデルを提案する。
本手法は,マルチモーダルデータ解析において,コミュニティ検出のための最先端の手法よりも優れている。
論文 参考訳（メタデータ） (2021-12-07T16:30:03Z) - Perceptual Score: What Data Modalities Does Your Model Perceive? [73.75255606437808]
モデルが入力特徴の異なる部分集合に依存する度合いを評価する指標である知覚スコアを導入する。
近年,視覚的質問応答に対するマルチモーダルモデルでは,前者よりも視覚的データを知覚しにくい傾向がみられた。
知覚スコアを使用することで、スコアをデータサブセットのコントリビューションに分解することで、モデルのバイアスを分析することもできる。
論文 参考訳（メタデータ） (2021-10-27T12:19:56Z) - A Variational Information Bottleneck Approach to Multi-Omics Data
Integration [98.6475134630792]
本稿では,不完全な多視点観測のための深い変動情報ボトルネック (IB) 手法を提案する。
本手法は,対象物に関連のある視点内および視点間相互作用に焦点をあてるために,観測された視点の辺縁および結合表現にISBフレームワークを適用した。
実世界のデータセットの実験から、我々の手法はデータ統合から常に利益を得て、最先端のベンチマークより優れています。
論文 参考訳（メタデータ） (2021-02-05T06:05:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。