論文の概要: Doc-to-Atom: Learning to Compile and Compose Memory Atoms

• arxiv url: http://arxiv.org/abs/2606.12400v1
• Date: Wed, 10 Jun 2026 17:58:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.613855
• Title: Doc-to-Atom: Learning to Compile and Compose Memory Atoms
• Title（参考訳）: Doc-to-Atom: メモリアトムのコンパイルと構成を学ぶ
• Authors: Xingjian Diao, Wenbo Li, Yashas Malur Saidutta, Avinash Amballa, Lazar Valkov, Srinivas Chappidi,
• Abstract要約: Doc-to-Atomは、各ドキュメントを意味的に型付けされた知識原子に分解する構成記憶フレームワークである。 6つの異なるQAベンチマークの実験では、Doc2AtomはDoc-to-LoRAベースラインを上回っ、ドキュメント内部化のメモリコストを低減している。
• 参考スコア（独自算出の注目度）: 9.848331940986272
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long input sequences are central to document understanding and multi-step reasoning in Large Language Models, yet the quadratic cost of attention makes inference both memory-intensive and slow. Context distillation mitigates this by compressing contextual information into model parameters, and recent work such as Doc-to-LoRA amortizes context distillation into a single forward pass that generates one LoRA adapter per document. However, producing a single monolithic adapter for all queries leads to irrelevant-query interference, limited compositional recall, and poor scalability to long-document reasoning. To address these challenges, we propose Doc-to-Atom (Doc2Atom), a compositional parametric memory framework that decomposes each document into semantically typed knowledge atoms. Each atom is compiled into an independent micro-LoRA adapter and a provenance retrieval key. At inference time, a lightweight query router selects and assembles only the relevant atoms into a query-specific adapter, which is then injected into a frozen base model. The entire system is trained end-to-end through a multi-objective distillation framework. Experiments on six diverse QA benchmarks demonstrate that Doc2Atom outperforms Doc-to-LoRA baselines while reducing the memory cost of document internalization.
• Abstract（参考訳）: 長期入力シーケンスは、大規模言語モデルにおける文書理解と多段階推論の中心であるが、注意の二次的コストは、メモリ集約性と遅延の両方を推論する。 コンテキスト蒸留は、コンテキスト情報をモデルパラメータに圧縮することでこれを緩和し、Doc-to-LoRAのような最近の研究は、コンテキスト蒸留を文書ごとに1つのLoRAアダプタを生成する単一のフォワードパスに補正する。 しかし、全てのクエリに対して単一のモノリシックアダプタを生成すると、無関係なクエリの干渉、構成上のリコールの制限、長期ドキュメントの推論に対するスケーラビリティの低下につながる。 これらの課題に対処するために、各文書を意味的に型付けされた知識原子に分解する合成パラメトリックメモリフレームワークDoc2Atomを提案する。 各原子は、独立のマイクロLoRAアダプタとプロファイランス検索キーにコンパイルされる。 推論時には、軽量なクエリルータが関連する原子のみを選択してクエリ固有のアダプタにアセンブルし、凍結ベースモデルに注入する。 システム全体は、多目的蒸留フレームワークを通じてエンドツーエンドに訓練されている。 6つの異なるQAベンチマークの実験では、Doc2AtomはDoc-to-LoRAベースラインを上回っ、ドキュメント内部化のメモリコストを低減している。

関連論文リスト

• Rethinking How to Remember: Beyond Atomic Facts in Lifelong LLM Agent Memory [88.81430082035617]
  LLMエージェントは、蓄積された対話履歴を忠実に保存し、効率的に検索し、深く推論できるメモリシステムを必要とする。 本稿では,ソース識別子に固定された生の対話セグメントを含む3つの共存表現の粒度を格納するTriMemを提案する。
  論文  参考訳（メタデータ） (2026-05-19T15:05:06Z)
• Doc-V*:Coarse-to-Fine Interactive Visual Reasoning for Multi-Page Document VQA [71.42483000929614]
  複数ページのドキュメント 視覚的質問回答は、長い、視覚的に密集したドキュメントにおける意味論、レイアウト、および視覚的要素の推論を必要とする。 我々は,多ページDocVQAをシーケンシャルエビデンスアグリゲーションとしてキャストするtextbfOCRフリーエージェントフレームワークであるDoc-$V*$を提案する。
  論文  参考訳（メタデータ） (2026-04-15T11:12:27Z)
• DocSLM: A Small Vision-Language Model for Long Multimodal Document Understanding [26.823523249232533]
  LVLM(Large Vision-Language Models)は、長い複雑な文書に対して強力なマルチモーダル推論能力を示す。 本稿では,制約されたリソース下での長期文書理解のために設計された,効率的なスモールビジョン言語モデルDocSLMを提案する。
  論文  参考訳（メタデータ） (2025-11-14T13:56:39Z)
• Model-Document Protocol for AI Search [11.377241012645994]
  原文が大規模言語モデル (LLM) にどのようにブリッジされているかを形式化する汎用フレームワークである Model-Document Protocol (MDP) を導入する。 MDPは、検索をパスフェッチとして扱う代わりに、構造化されていない文書をタスク固有のLCM対応の入力に変換する複数の経路を定義している。 本稿では,エージェントプロセスを通じてプロトコルを実現するMPP-Agentを提案する。
  論文  参考訳（メタデータ） (2025-10-29T04:29:17Z)
• MoLoRAG: Bootstrapping Document Understanding via Multi-modal Logic-aware Retrieval [17.50612953979537]
  MoLoRAGはマルチモーダル・マルチページ文書理解のための論理認識検索フレームワークである。 意味論と論理的関連性を組み合わせて、より正確な検索を提供する。 4つのDocQAデータセットの実験では、平均的な9.68%の精度の向上が示されている。
  論文  参考訳（メタデータ） (2025-09-06T00:59:28Z)
• SimpleDoc: Multi-Modal Document Understanding with Dual-Cue Page Retrieval and Iterative Refinement [17.272061289197342]
  Document Visual Question Answering (DocVQA)は実用的で難しいタスクである。 最近の手法は、同様のRAG(Retrieval Augmented Generation)パイプラインに従う。 DocVQA用の拡張フレームワークであるSimpleDocを紹介します。
  論文  参考訳（メタデータ） (2025-06-16T22:15:58Z)
• Rethinking Memory in AI: Taxonomy, Operations, Topics, and Future Directions [55.19217798774033]
  メモリは、大規模言語モデル(LLM)ベースのエージェントを支える、AIシステムの基本コンポーネントである。 本稿ではまず,メモリ表現をパラメトリックおよびコンテキスト形式に分類する。 次に、コンソリデーション、更新、インデックス付け、フォッティング、検索、圧縮の6つの基本的なメモリ操作を紹介します。
  論文  参考訳（メタデータ） (2025-05-01T17:31:33Z)
• BRIEF: Bridging Retrieval and Inference for Multi-hop Reasoning via Compression [91.23933111083389]
  Retrieval-augmented Generation (RAG)は、外部知識を統合することで、大きな言語モデル(LLM)を補完することができる。 本稿では,クエリ対応マルチホップ推論を行う軽量なアプローチであるBRIEFを提案する。 オープンソースモデルで構築した合成データに基づいて,BRIEFはより簡潔な要約を生成する。
  論文  参考訳（メタデータ） (2024-10-20T04:24:16Z)
• mPLUG-DocOwl: Modularized Multimodal Large Language Model for Document Understanding [55.4806974284156]
  文書理解とは、ウェブページのようなデジタル文書から自動的に情報を抽出し、分析し、理解することである。 既存のMLLM(Multi-model Large Language Models)は、浅いOCRフリーテキスト認識において、望ましくないゼロショット機能を実証している。
  論文  参考訳（メタデータ） (2023-07-04T11:28:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。