論文の概要: ColGraphRAG: Late-Interaction Evidence Retrieval for Multimodal GraphRAG
- arxiv url: http://arxiv.org/abs/2607.16208v1
- Date: Sat, 09 May 2026 08:30:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 00:46:13.032585
- Title: ColGraphRAG: Late-Interaction Evidence Retrieval for Multimodal GraphRAG
- Title(参考訳): ColGraphRAG:マルチモーダルグラフRAGにおける遅延相互作用証拠検索
- Abstract要約: グラフリンク画像ノード上での視覚的候補ランク演算子を、ColBERT/ColPali系における遅延相互作用MaxSimスタイルのマルチベクトルスコアに置き換えることを評価する。
MultimodalQAでは、この変更は、グラフリンクされた画像候補と下流QAゲインの検索ステージ点推定の改善に関連している。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Graph-grounded multimodal question answering organizes text, tables, and images in a structured evidence graph, yet end-to-end accuracy depends on which multimodal assets are ranked highly enough to enter downstream reasoning; for graph-linked images, single-vector bi-encoder similarity can discard patch- and token-level structure needed for fine-grained alignment. We evaluate replacing the visual candidate-ranking operator over graph-linked image nodes with late-interaction MaxSim-style multi-vector scoring in the ColBERT/ColPali lineage, while keeping offline graph construction, text- and table-side retrieval, structured extraction, and downstream reasoning unchanged. On MultimodalQA, this change is associated with improved retrieval-stage point estimates for graph-linked image candidates and downstream QA gains, with larger movement where visual evidence matters most and mixed trends on text-dominant questions; we interpret the pattern as mechanism-level evidence for graph-linked visual evidence inclusion, while broader validation and finer graph-level diagnostics remain important future work.
- Abstract(参考訳): グラフグラウンド化されたマルチモーダル質問応答は、構造化されたエビデンスグラフ内のテキスト、テーブル、イメージを整理するが、エンドツーエンドの精度は、下流の推論に入るのに十分なマルチモーダル資産がランク付けされているかに依存する。
グラフリンク画像ノード上の視覚的候補演算子を、ColBERT/ColPali系統における遅延相互作用MaxSimスタイルのマルチベクタスコアに置き換え、オフライングラフ構築、テキストおよびテーブル側検索、構造化抽出、下流推論をそのまま維持する。
MultimodalQAでは、この変化は、グラフリンク画像候補と下流QAゲインに対する検索段階点推定の改善と結びついており、視覚的エビデンスが最も重要であり、テキスト中心の質問では混在する傾向が強く、我々はこのパターンを、グラフリンクされた視覚的エビデンスを包含するメカニズムレベルのエビデンスとして解釈する一方で、より広範囲な検証とより詳細なグラフレベル診断が引き続き重要となる。
関連論文リスト
- GraphLoom: Reliability-Calibrated Graph Evidence Routing for Multimodal KG-RAG [4.035350563640088]
信頼性校正型マルチモーダル知識グラフRAGフレームワークであるGraphLoomを,コンパクトかつ忠実なエビデンスルーティングのために提案する。
取得したすべての証拠をジェネレータに注入する代わりに、GraphLoomは信頼性に配慮したサブグラフ検索を実行する。
我々は、強力なマルチモーダルRAG、グラフ検索、オープンソースのビジョン言語ベースラインに対して、回答の品質と証拠の忠実さが一貫した向上を示す。
論文 参考訳(メタデータ) (2026-08-15T06:02:23Z) - GraphVerse: A Comprehensive Visual Graph Reasoning Benchmark for Multimodal Large Language Models [26.945369697013458]
GraphVerseは、MLLMにおける知覚、視覚的推論、テキストベースのグラフ推論を共同で評価するベンチマークである。
中心となるのは、グラフ中心の画像編集戦略のスイートで、グラフイメージをセマンティクスを保持しながら変更する。
VGR-Scoreは最終回答精度以上の推論品質を評価するプロセスセンシティブなメトリクスである。
論文 参考訳(メタデータ) (2026-08-07T03:43:25Z) - HVM-GraphRAG: Holistic-View Multimodal Graph Retrieval-Augmented Generation on Complex Document [36.46869470798395]
マルチモーダルグラフRAGは、ドキュメントエビデンスをグラフ構造で整理することで、有望な方向を提供する。
HVM-GraphRAGは、グラフ構築をガイドするために全体的なビューを使用し、ノイズと競合するグラフ更新を減らす。
3つのデータセットの実験から、HVM-GraphRAGは、ほとんどの評価済み設定において、最高の回答性能を達成することが示された。
論文 参考訳(メタデータ) (2026-07-26T12:47:25Z) - GOMA: Toward Structure-Driven Multimodal Alignment from a Graph Signal Smoothing Perspective [39.44851011793204]
凍結したマルチモーダル埋め込みをグラフ信号として見る構造駆動のポストアライメントフレームワークを提案する。
GOMAは、メッセージがどこに流れるべきか、マルチモーダルエビデンスがどのように伝播するか、どのスムーズな深さを維持するべきかという3つの重要な設計選択を分離している。
すべての実験は、グラフがラベルのないコンテキストとしてのみ機能し、対角方向の自己対向エッジを除去する、トランスダクティブなMAG検索プロトコルに従う。
論文 参考訳(メタデータ) (2026-05-15T08:21:22Z) - Divide by Question, Conquer by Agent: SPLIT-RAG with Question-Driven Graph Partitioning [62.640169289390535]
SPLIT-RAGは、質問駆動セマンティックグラフ分割と協調サブグラフ検索による制限に対処するマルチエージェントRAGフレームワークである。
革新的なフレームワークは、まずリンク情報のセマンティック分割を作成し、次にタイプ特化知識ベースを使用してマルチエージェントRAGを実現する。
属性対応グラフセグメンテーションは、知識グラフを意味的に一貫性のあるサブグラフに分割し、サブグラフが異なるクエリタイプと整合することを保証する。
階層的なマージモジュールは、論理的検証を通じて、部分グラフ由来の解答間の矛盾を解消する。
論文 参考訳(メタデータ) (2025-05-20T06:44:34Z) - RefChartQA: Grounding Visual Answer on Chart Images through Instruction Tuning [63.599057862999]
RefChartQAは、Chart Question Answering(ChartQA)とビジュアルグラウンドを統合した、新しいベンチマークである。
実験により,グラウンド化による空間認識を取り入れることで,応答精度が15%以上向上することが実証された。
論文 参考訳(メタデータ) (2025-03-29T15:50:08Z) - Graph-Based Multimodal Contrastive Learning for Chart Question Answering [11.828192162922436]
この研究は、チャートコンポーネントとその基盤構造間の関係を明示的にモデル化する、新しいマルチモーダルシーングラフフレームワークを導入している。
このフレームワークは、視覚グラフとテキストグラフの両方を統合し、構造的特徴と意味的特徴をキャプチャする。
グラフの対照的な学習戦略は、トランスフォーマーデコーダをソフトプロンプトとしてシームレスに組み込むことができるように、モジュール間のノード表現を整列させる。
論文 参考訳(メタデータ) (2025-01-08T06:27:07Z) - Multimodal Multihop Source Retrieval for Web Question Answering [0.0]
この研究はマルチモーダルなマルチホップ質問応答(QA)に対する学習と推論の課題を扱う。
文の意味構造に基づくグラフ推論ネットワークを提案し,多元的推論経路を学習する。
論文 参考訳(メタデータ) (2025-01-07T22:53:56Z) - InstructG2I: Synthesizing Images from Multimodal Attributed Graphs [50.852150521561676]
InstructG2Iと呼ばれるグラフ文脈条件拡散モデルを提案する。
InstructG2Iはまずグラフ構造とマルチモーダル情報を利用して情報的隣人サンプリングを行う。
Graph-QFormerエンコーダは、グラフノードをグラフプロンプトの補助セットに適応的に符号化し、デノナイジングプロセスを導く。
論文 参考訳(メタデータ) (2024-10-09T17:56:15Z) - Deep Prompt Tuning for Graph Transformers [55.2480439325792]
ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。
ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。
事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
論文 参考訳(メタデータ) (2023-09-18T20:12:17Z) - Variational Graph Generator for Multi-View Graph Clustering [51.89092260088973]
マルチビューグラフクラスタリング(VGMGC)のための変分グラフ生成器を提案する。
この生成器は、複数のグラフに対する事前仮定に基づいて、信頼性のある変分コンセンサスグラフを推論する。
推論されたビュー共通グラフとビュー固有のグラフを機能と一緒に埋め込む。
論文 参考訳(メタデータ) (2022-10-13T13:19:51Z) - Scene Graph Modification as Incremental Structure Expanding [61.84291817776118]
本研究では,既存のシーングラフを自然言語クエリに基づいて更新する方法を学習するために,シーングラフ修正(SGM)に注目した。
インクリメンタル構造拡張(ISE)の導入によるグラフ拡張タスクとしてのSGM
既存のデータセットよりも複雑なクエリと大きなシーングラフを含む、挑戦的なデータセットを構築します。
論文 参考訳(メタデータ) (2022-09-15T16:26:14Z) - Interactive Visual Pattern Search on Graph Data via Graph Representation
Learning [20.795511688640296]
視覚分析システムGraphQは、ループ内、サンプルベース、サブグラフパターン検索をサポートする。
高速で対話的なクエリをサポートするために、グラフニューラルネットワーク(GNN)を使用して、グラフを固定長潜在ベクトル表現としてエンコードする。
また,NuroAlignと呼ばれるノードアライメントのための新しいGNNを提案し,クエリ結果の検証と解釈を容易にする。
論文 参考訳(メタデータ) (2022-02-18T22:30:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。