論文の概要: Encode Once, Answer Many: Internalizing Context via Parametric Flow

• arxiv url: http://arxiv.org/abs/2610.38356v2
• Date: Sun, 01 Nov 2026 10:14:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 02:41:45.002924
• Title: Encode Once, Answer Many: Internalizing Context via Parametric Flow
• Title（参考訳）: Encode Once, Answer Many: internalizing Context via Parametric Flow (英語)
• Abstract要約: 大規模言語モデルは典型的には、入力コンテキストに知識を置くか、それを内部化する微調整によってタスクに適応するが、タスク毎の最適化にはコストがかかる。 我々は,コンテキストが持つ知識を直接モデルパラメータに内部化し,タスクごとの最適化を行なわず,コンテキストを推論時に保持することを目的としている。
• 参考スコア（独自算出の注目度）: 102.90771871866254
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models are typically adapted to a task either by placing knowledge in the input context, which keeps it external and re-encodes it on every call, or by fine-tuning, which internalizes it but demands a costly round of optimization per task. We aim to internalize the knowledge carried by a context directly into model parameters, without per-task optimization and without keeping the context in the input at inference time. To this end, we propose CLIK, a context-conditioned parameter generator that maps a given context to LoRA parameters for internalizing knowledge in a single forward pass through a Transformer encoder with cross-attention, requiring no test-time gradient updates. Once the generated LoRA is inserted into a frozen base model, the model answers downstream queries from the query alone, having internalized the context into its weights rather than re-reading it. Because the adapter depends only on the context, it is generated once and reused for every query on the same document, so the cost of reading that document is amortized across queries. On document question answering, CLIK substantially improves over the no-context base model and outperforms existing hypernetwork-based generators, while remaining behind a base model that reads the context directly, and it carries over to multi-turn dialogue without any multi-turn-specific training. Analysis further shows that the context-dependent part of the generated adapter concentrates in a compact and specific substructure.
• Abstract（参考訳）: 大規模な言語モデルは、通常、入力コンテキストに知識を配置し、それを外部に保持し、すべての呼び出しに再エンコードするか、あるいは微調整によってタスクに適応する。 我々は,コンテキストが持つ知識を直接モデルパラメータに内部化し,タスクごとの最適化を行なわず,コンテキストを推論時に保持することを目的としている。 この目的のために,あるコンテキストをLoRAパラメータにマッピングするコンテキスト条件パラメータ生成器であるCLIKを提案する。 生成されたLoRAが凍結ベースモデルに挿入されると、モデルはクエリのみから下流のクエリに応答し、コンテキストを再読するのではなく、その重みに内部化される。 アダプタはコンテキストのみに依存するため、同じドキュメント上のすべてのクエリに対して一度生成され、再利用される。 文書質問応答では、CLIKは非コンテキストベースモデルを大幅に改善し、既存のハイパーネットワークベースのジェネレータよりも優れ、コンテキストを直接読み取るベースモデルの背後に留まり、マルチターン固有のトレーニングなしでマルチターンダイアログに転送する。 解析により、生成したアダプタの文脈依存部分は、コンパクトで特定のサブ構造に集中していることが分かる。

関連論文リスト

• Context Recycling for Long-Horizon LLM Inference [0.3655021726150367]
  大規模言語モデル(LLM)は、短文推論において強力な能力を示すが、長い会話の地平線上での性能は低下する。 タスク関連情報をターン毎に保持するコンテキストリサイクルシステムであるContextForgeを紹介する。 システムは、完全なコンテキスト再生に頼ることなく、事前計算の効率的な再利用を可能にする。
  論文  参考訳（メタデータ） (2026-05-01T04:45:08Z)
• Panini: Continual Learning in Token Space via Structured Memory [4.979820180013486]
  言語モデルは、トレーニングされていないコンテンツを推論するために、ますます使われています。 一般的なアプローチは検索拡張生成(RAG)であり、これは動詞の文書を(チャンクとして)外部に保存し、推論時に関連するサブセットのみを取得する。 本稿では,基本モデルを固定したままで,新たな経験を外部セマンティックメモリ状態に統合することで学習を行う,人間のような非パラメトリック連続学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-16T19:58:03Z)
• RePo: Language Models with Context Re-Positioning [10.269249887819988]
  In-context Learning is fundamental to modern Large Language Models (LLMs) 一般的なアーキテクチャは、線形または定位置の指標を割り当てることで、厳密で固定された文脈構造を課します。 本稿では,コンテキスト再配置による余剰負荷を低減する機構であるRePoを提案する。
  論文  参考訳（メタデータ） (2025-12-16T13:30:30Z)
• CAAD: Context-Aware Adaptive Decoding for Truthful Text Generation [31.469511576774252]
  大規模言語モデルに対する文脈対応適応型復号法を提案する。 当社のアプローチは、TrathfulQAで平均2.8%の改善を実現しています。 モデルに依存しない,スケーラブルで,効率的な手法では,1世代パスしか必要としない。
  論文  参考訳（メタデータ） (2025-08-04T08:28:25Z)
• PICASO: Permutation-Invariant Context Composition with State Space Models [98.91198288025117]
  State Space Models (SSM) は、コンテキストのデータベースを固定次元の状態にマッピング可能にすることで、有望なソリューションを提供する。 本研究では,SSM力学から導かれる単純な数学的関係を,生のコンテキストトークンの連結効果を効率的に近似する複数の状態に構成する。 我々は,WikiText と MSMARCO をゼロショットと微調整の両方で評価し,平均5.4倍のスピードアップを楽しみながら最強の演奏ベースラインと一致できることを示す。
  論文  参考訳（メタデータ） (2025-02-24T19:48:00Z)
• Parallel Key-Value Cache Fusion for Position Invariant RAG [55.9809686190244]
  大規模言語モデル(LLM)は、コンテキスト内の関連する情報の位置に敏感である。 入力コンテキスト順序に関係なく,デコーダのみのモデルに対して一貫した出力を生成するフレームワークを導入する。
  論文  参考訳（メタデータ） (2025-01-13T17:50:30Z)
• QuIM-RAG: Advancing Retrieval-Augmented Generation with Inverted Question Matching for Enhanced QA Performance [1.433758865948252]
  本研究では,RAG(Retrieval-Augmented Generation)システム構築のための新しいアーキテクチャを提案する。 RAGアーキテクチャは、ターゲット文書から応答を生成するために構築される。 本稿では,本システムにおける検索機構の新しいアプローチQuIM-RAGを紹介する。
  論文  参考訳（メタデータ） (2025-01-06T01:07:59Z)
• Generate rather than Retrieve: Large Language Models are Strong Context Generators [74.87021992611672]
  本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。 我々は,提案手法をgenRead (genRead) と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
  論文  参考訳（メタデータ） (2022-09-21T01:30:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。