論文の概要: MoM: Mixtures of Scenario-Aware Document Memories for Retrieval-Augmented Generation Systems

• arxiv url: http://arxiv.org/abs/2510.14252v1
• Date: Thu, 16 Oct 2025 03:09:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.694505
• Title: MoM: Mixtures of Scenario-Aware Document Memories for Retrieval-Augmented Generation Systems
• Title（参考訳）: MoM:Retrieval-Augmented Generation Systemのためのシナリオ対応ドキュメンテーションのミックス
• Authors: Jihao Zhao, Zhiyuan Ji, Simin Niu, Hanyu Wang, Feiyu Xiong, Zhiyu Li,
• Abstract要約: 複数のドメインからのドキュメントを効率的に処理するために設計された、シナリオ対応ドキュメントメモリ(MoM)フレームワークの混合。 MoMは、ドキュメント論理的アウトラインを生成する際に、ドメインエキスパートをシミュレートする大規模な言語モデル(LLM)を指示する。 我々は、高品質な結果から洗練された専門家思考経路を導出する逆推論戦略を取り入れた。
• 参考スコア（独自算出の注目度）: 31.434573363421368
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The traditional RAG paradigm, which typically engages in the comprehension of relevant text chunks in response to received queries, inherently restricts both the depth of knowledge internalization and reasoning capabilities. To address this limitation, our research transforms the text processing in RAG from passive chunking to proactive understanding, defining this process as document memory extraction with the objective of simulating human cognitive processes during reading. Building upon this, we propose the Mixtures of scenario-aware document Memories (MoM) framework, engineered to efficiently handle documents from multiple domains and train small language models (SLMs) to acquire the ability to proactively explore and construct document memories. The MoM initially instructs large language models (LLMs) to simulate domain experts in generating document logical outlines, thereby directing structured chunking and core content extraction. It employs a multi-path sampling and multi-perspective evaluation mechanism, specifically designing comprehensive metrics that represent chunk clarity and extraction completeness to select the optimal document memories. Additionally, to infuse deeper human-like reading abilities during the training of SLMs, we incorporate a reverse reasoning strategy, which deduces refined expert thinking paths from high-quality outcomes. Finally, leveraging diverse forms of content generated by MoM, we develop a three-layer document memory retrieval mechanism, which is grounded in our theoretical proof from the perspective of probabilistic modeling. Extensive experimental results across three distinct domains demonstrate that the MoM framework not only resolves text chunking challenges in existing RAG systems, providing LLMs with semantically complete document memories, but also paves the way for SLMs to achieve human-centric intelligent text processing.
• Abstract（参考訳）: 従来のRAGパラダイムは、受信したクエリに対する関連テキストチャンクの理解に一般的に関与するが、本質的には知識の内在化の深さと推論能力の両方を制限している。 この制限に対処するため,本研究では,RAGのテキスト処理をパッシブチャンキングから積極的な理解に転換し,本プロセスを読解時の認知過程をシミュレートする目的で,文書記憶抽出として定義する。 そこで本研究では,複数のドメインからの文書を効率的に処理し,文書記憶を積極的に探索・構築する能力を得るために,SLM(Small Language Model)を訓練する,シナリオ対応文書記憶フレームワークのMixtures of scenario-aware Memoriesを提案する。 MoMは当初、ドキュメント論理的アウトラインを生成する際に、ドメインエキスパートをシミュレートする大規模な言語モデル(LLM)を指示し、構造化チャンキングとコアコンテンツ抽出を指示する。 マルチパスサンプリングとマルチパースペクティブ評価機構を採用し、特に文書記憶を最適に選択するためのチャンクの明瞭度と完全性を表す包括的メトリクスを設計する。 また,SLMのトレーニングにおいて,より深い人間的な読解能力を注入するために,高品質な結果から洗練された専門家思考経路を導出する逆推論戦略を取り入れた。 最後に,MoM が生成する多種多様なコンテンツを活用することで,確率的モデリングの観点から理論的証明を基礎とした3層文書記憶検索機構を開発する。 3つの異なる領域にわたる大規模な実験結果から、MoMフレームワークは既存のRAGシステムにおけるテキストチャンキングの課題を解決し、意味的に完全な文書記憶を提供するだけでなく、SLMが人間中心のインテリジェントテキスト処理を実現するための道を開くことが示されている。

関連論文リスト

• CMRAG: Co-modality-based visual document retrieval and question answering [21.016544020685668]
  共同モダリティベースのRAG(RAG)フレームワークは、テキストや画像を利用してより正確な検索と生成を行うことができる。 我々のフレームワークは、複数のビジュアル文書質問応答(VDQA)ベンチマークにおいて、単一モダリティベースのRAGを一貫して上回ります。
  論文  参考訳（メタデータ） (2025-09-02T09:17:57Z)
• Exploring Reasoning-Infused Text Embedding with Large Language Models for Zero-Shot Dense Retrieval [24.53573526375476]
  Reasoning-Infused Text Embeddingは、埋め込みを計算する前に中間的推論テキストを生成することによって、既存の言語モデル埋め込み技術に基づいている。 推論集約型検索ベンチマークBRIGHTの結果、RITEは多様な領域にわたるゼロショット検索性能を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2025-08-29T23:22:34Z)
• Structured Attention Matters to Multimodal LLMs in Document Understanding [52.37530640460363]
  入力形式が文書理解性能に与える影響について検討する。 生のOCRテキストはMLLMの性能を向上するのではなく、しばしば機能不全であることがわかった。 本稿では,LaTexパラダイムを用いて文書要素を符号化する構造保存手法を提案する。
  論文  参考訳（メタデータ） (2025-06-19T07:16:18Z)
• QID: Efficient Query-Informed ViTs in Data-Scarce Regimes for OCR-free Visual Document Understanding [53.69841526266547]
  トレーニング済みのVision-Language Modelを新しいデータセットで微調整することは、ビジョンエンコーダの最適化に不足することが多い。 視覚エンコーダにクエリの埋め込みを統合する,新しい,合理化されたアーキテクチャ保存アプローチであるQIDを導入する。
  論文  参考訳（メタデータ） (2025-04-03T18:47:16Z)
• Learning Refined Document Representations for Dense Retrieval via Deliberate Thinking [58.69615583599489]
  Deliberate Thinking based Retriever (Debater) は、段階的な思考プロセスを導入することで文書表現を強化する新しいアプローチである。 Debaterは、いくつかのベンチマークで既存のメソッドよりも大幅に優れています。
  論文  参考訳（メタデータ） (2025-02-18T15:56:34Z)
• Towards Text-Image Interleaved Retrieval [49.96332254241075]
  テキスト画像検索(TIIR)タスクを導入し、クエリと文書をインターリーブしたテキスト画像シーケンスとする。 我々は、自然にインターリーブされたwikiHowチュートリアルに基づいてTIIRベンチマークを構築し、インターリーブされたクエリを生成するために特定のパイプラインを設計する。 異なる粒度で視覚トークンの数を圧縮する新しいMMEを提案する。
  論文  参考訳（メタデータ） (2025-02-18T12:00:47Z)
• Meta-Chunking: Learning Text Segmentation and Semantic Completion via Logical Perception [10.614437503578856]
  本稿では,チャンキング品質を特に向上させるメタチャンキングフレームワークを提案する。 我々は不確実性に基づく2つの適応的チャンキング手法、すなわちPerplexity ChunkingとMargin Sampling Chunkingを設計する。 我々は,2段階の階層的要約生成プロセスと3段階のテキストチャンク書き換え手順を含むグローバル情報補償機構を確立する。
  論文  参考訳（メタデータ） (2024-10-16T17:59:32Z)
• TextHawk: Exploring Efficient Fine-Grained Perception of Multimodal Large Language Models [9.232693392690702]
  TextHawkは文書指向マルチモーダル言語モデル(MLLM)である。 4つの専用コンポーネントを設計することで、効率的な微粒化知覚を探索するように設計されている。 汎用MLLMベンチマークと文書指向MLLMベンチマークの両方で広範な実験を行い、TextHawkが最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-14T09:48:37Z)
• Absformer: Transformer-based Model for Unsupervised Multi-Document Abstractive Summarization [1.066048003460524]
  MDS(Multi-document summarization)とは、複数の文書のテキストを簡潔な要約に要約する作業である。 抽象MDSは、自然言語生成技術を用いて、複数の文書の一貫性と流動性を備えた要約を生成することを目的としている。 本稿では、教師なし抽象要約生成のためのトランスフォーマーに基づく新しい手法であるAbsformerを提案する。
  論文  参考訳（メタデータ） (2023-06-07T21:18:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。