論文の概要: HAM-RAG: Hierarchy-Aware Multimodal RAG for Structure-Faithful Interleaved Generation
- arxiv url: http://arxiv.org/abs/2608.14032v1
- Date: Fri, 14 Aug 2026 07:20:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 20:14:29.305738
- Title: HAM-RAG: Hierarchy-Aware Multimodal RAG for Structure-Faithful Interleaved Generation
- Title（参考訳）: HAM-RAG:階層型マルチモーダルRAGによる階層型インターリーブ生成
- Abstract要約: 既存のマルチモーダルRAG法は、構造化文書を独立したテキストと画像単位に平らにする。
本稿では,階層型マルチモーダルRAGフレームワークであるHAM-RAGを提案する。
- 参考スコア（独自算出の注目度）: 33.954556959031756
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Existing multimodal RAG methods often flatten structured documents into isolated text and image units, weakening the source organization and local text-image logic needed for faithful evidence selection and placement. We propose HAM-RAG, a Hierarchy-Aware Multimodal RAG framework for structure-faithful interleaved generation. HAM-RAG uses document hierarchy as a grounding signal across retrieval and generation, contextualizing textual and visual evidence and preserving source position and local text-image relations in the prompt. We further introduce HAM-Bench, covering Wukong, Wiki, arXiv, and Recipe across game walkthroughs, web pages, scientific papers, and step-wise recipe documents. Across multiple backbones, HAM-RAG improves the main multimodal average by 17.3% over the strongest non-hierarchical baseline. On Wukong, HAM-RAG improves Img-CBS by 24.2% over the strongest non-hierarchical baseline, demonstrating substantially better local text-image alignment. The main experiments and ablation study together demonstrate that document hierarchy is a key grounding signal for faithful image selection, placement, and local text-image alignment. These findings highlight the value of hierarchy-aware grounding for reliable multimodal assistants that generate answers faithful to the source organization, procedural structure, and local text-image evidence of structured documents, such as technical manuals, maintenance guides, and industrial SOPs. The code is available at https://github.com/MCCodeAI/HAM-RAG.git.
- Abstract（参考訳）: 既存のマルチモーダルRAG法は、構造化文書を独立したテキストと画像単位にフラットにし、信頼できる証拠の選択と配置に必要なソース構造とローカルテキストイメージロジックを弱める。
本稿では,階層型マルチモーダルRAGフレームワークであるHAM-RAGを提案する。
HAM-RAGは、文書階層を検索と生成の基盤信号として使用し、テキストおよび視覚的証拠を文脈化し、プロンプト内のソース位置とローカルテキスト-画像関係を保存する。
我々はさらに、Wukong、Wiki、arXiv、Recipeをゲームウォークスルー、Webページ、科学論文、ステップワイズレシピドキュメントでカバーするHAM-Benchを紹介した。
複数のバックボーン全体で、HAM-RAGは最強の非階層ベースラインよりも17.3%改善している。
Wukongでは、HAM-RAGはImg-CBSを24.2%改善し、最強の非階層的ベースラインである。
文書階層は、忠実な画像選択、配置、局所的なテキスト画像アライメントのための鍵となる基礎信号であることを示した。
これらの知見は,技術マニュアルやメンテナンスガイド,産業用SOPなどの構造化文書の,ソース組織への忠実な回答,手続き構造,局所的なテキストイメージの証拠を生成する,信頼性の高いマルチモーダルアシスタントの階層認識基盤の価値を浮き彫りにしている。
コードはhttps://github.com/MCCodeAI/HAM-RAG.gitで公開されている。
関連論文リスト
- Code as Representation: A Compilable Parsing Paradigm for Academic Documents [50.40789738182074]
Compilable Academic Document Parsing (CADP)は、コンテキストラプラス実行可能なPythonとして全ページを再構築するパラダイムである。
テキストと複数のSAEタイプを含む全学術ページのエキスパート検証ベンチマークであるCADP-Benchを紹介する。
その結果、フロンティアモデルでさえも、高忠実度で実行可能な再構築を行うのに苦戦していることがわかった。
論文 参考訳（メタデータ） (2026-08-18T09:10:43Z) - MAGE-RAG: Multigranular Adaptive Graph Evidence for Agentic Multimodal RAG in Long-Document QA [14.865891513918278]
長い文書のマルチモーダルな質問応答には、長いPDFでスパースエビデンスを見つけるシステムが必要である。
本稿では,長期文書マルチモーダルQAのための多言語適応グラフエビデンスフレームワークであるMAGE-RAGを提案する。
論文 参考訳（メタデータ） (2026-06-14T16:34:15Z) - MM-BizRAG: Rethinking Multimodal Retrieval-Augmented Generation for General Purpose Enterprise Q&A [13.040489131301081]
MM-BizRAGは文書構造認識スプリットを介して文書構造を積極的に抽出し、表現する。
MM-BizRAGは、最先端のビジョン中心のベースラインを最大32%上回っている。
論文 参考訳（メタデータ） (2026-06-02T21:31:47Z) - HiKEY: Hierarchical Multimodal Retrieval for Open-Domain Document Question Answering [19.052998569565627]
HiKEYは階層木に基づくマルチモーダル検索フレームワークであり、文書階層を1級検索信号に高める。
ODQAベンチマークの実験では、HiKEYはページベースとチャンクベースのベースラインを大きく上回っている。
論文 参考訳（メタデータ） (2026-05-28T08:42:21Z) - EfficientGraph-RAG: Structured Retrieval-State Management for Cross-Task Retrieval-Augmented Generation [45.66803833786235]
検索拡張世代は、外部知識で大規模言語モデルを構築する標準的な方法となっている。
EfficientGraph-RAGは、3つの評価されたLongBench検索スタイルのサブセットで平均された回答品質の指標で第1位である。
論文 参考訳（メタデータ） (2026-05-25T03:08:53Z) - VLD-RAG: Agentic Vision-Language Retrieval-Augmented Generation for Long, Visually-Rich Multi-Page Documents [0.0]
VLD-RAGは多ページのエビデンス検索のためのエージェントマルチモーダルRAGフレームワークである。
VLD-RAGはページ保存マルチモーダルインデックスを構築し、解析されたテキスト、ページレベルのメタデータ、密度の高いビジュアル表現を格納する。
検証対象エージェントワークフローは、検索エージェント、アンサーエージェント、バリデーションエージェントをコーディネートし、エビデンスカバレッジを広げ、欠落した引用を検出し、検索要求を精査する。
論文 参考訳（メタデータ） (2026-05-21T13:33:38Z) - Multimodal OCR: Parse Anything from Documents [72.69545534962234]
dots.mocrは、チャート、ダイアグラム、テーブル、アイコンなどのビジュアル要素を第一級解析ターゲットとして扱う。
テキストとグラフィックの両方を構造化出力として再構築し、より忠実なドキュメント再構築を可能にする。
不均一なドキュメント要素に対するエンドツーエンドのトレーニングをサポートする。
論文 参考訳（メタデータ） (2026-03-13T14:42:21Z) - MoDora: Tree-Based Semi-Structured Document Analysis System [62.01015188258797]
半構造化文書は、様々な不規則なレイアウトで配置された様々なインターリーブされたデータ要素を統合する。
MoDora は半構造化文書解析のための LLM を利用したシステムである。
実験では、MoDoraは5.97%-61.07%の精度でベースラインを上回っている。
論文 参考訳（メタデータ） (2026-02-26T14:48:49Z) - UNIDOC-BENCH: A Unified Benchmark for Document-Centric Multimodal RAG [82.84014669683863]
マルチモーダル検索拡張生成(MM-RAG)は,大規模言語モデルを現実世界の知識ベースに適用するための重要なアプローチである。
UniDoc-Benchは、70万の現実世界のPDFページから構築されたMM-RAGのための最初の大規模で現実的なベンチマークである。
実験により,マルチモーダルテキスト画像融合RAGシステムは,非モーダルおよび共同マルチモーダル埋め込みに基づく検索において一貫して優れていた。
論文 参考訳（メタデータ） (2025-10-04T04:30:13Z) - MMESGBench: Pioneering Multimodal Understanding and Complex Reasoning Benchmark for ESG Tasks [56.350173737493215]
環境・社会・ガバナンス(ESG)報告は、持続可能性の実践の評価、規制コンプライアンスの確保、財務透明性の促進に不可欠である。
MMESGBenchは、マルチモーダル理解と複雑な推論を、構造的に多種多様なマルチソースESG文書間で評価するための、最初のベンチマークデータセットである。
MMESGBenchは、45のESG文書から得られた933の検証済みQAペアで構成され、7つの異なるドキュメントタイプと3つの主要なESGソースカテゴリにまたがる。
論文 参考訳（メタデータ） (2025-07-25T03:58:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。