論文の概要: Encoding Context into LLM Weights: What Makes It Context?

• arxiv url: http://arxiv.org/abs/2610.17686v1
• Date: Tue, 13 Oct 2026 04:08:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 17:45:14.791287
• Title: Encoding Context into LLM Weights: What Makes It Context?
• Title（参考訳）: コンテキストをLLMの重みにエンコードする: コンテキストを作るには?
• Abstract要約: 新たな代替手段は、テスト時の更新を使用してコンテキストをモデルウェイトに対する一時的な変更としてエンコードする。 このコンテキストロールを復元するために、まず、エンコーディング中に各コンテキストを識別子に関連付ける。 推論時に識別子を呼び出すことで、LLMはエンコードされたコンテキストを引用することができる。
• 参考スコア（独自算出の注目度）: 73.28731991090068
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Longer contexts allow large language models (LLMs) to condition their predictions on more information, but inference costs grow prohibitively with context length. An emerging alternative uses test-time updates to encode context as temporary changes to model weights. However, encoding this information into weights that already represent general knowledge obscures its role as context, so the LLM may fail to use it properly to condition subsequent inference. To restore this contextual role, we first associate each context with an identifier during encoding, thereby distinguishing the newly encoded information from pre-existing knowledge. Invoking the identifier at inference then enables the LLM to recite the encoded context. Nevertheless, successful recitation does not ensure that the LLM will use the recalled information as context. We therefore further introduce a prompting framework that explicitly guides the LLM to use this information as context. Across diverse controlled tasks and practical benchmarks, our method outperformed the baseline using only off-the-shelf LLMs, showing its advances in context encoding.
• Abstract（参考訳）: より長いコンテキストでは、より大きな言語モデル(LLM)がより多くの情報に対して予測を条件付けることができるが、推論コストは文脈長とともに禁止的に増加する。 新たな代替手段は、テスト時の更新を使用してコンテキストをモデルウェイトに対する一時的な変更としてエンコードする。 しかし、この情報を既に一般的な知識を表現している重みに符号化することは文脈としての役割を曖昧にするため、LLMは後続の推論を条件付けるのに失敗する可能性がある。 このコンテキストロールを復元するために、まず、エンコーディング中に各コンテキストを識別子に関連付け、新たに符号化された情報を既存の知識と区別する。 推論時に識別子を呼び出すことで、LLMはエンコードされたコンテキストを引用することができる。 それでも、成功したリサイクリングは、LLMがリコールされた情報をコンテキストとして使用することを保証しない。 そこで我々はさらに,この情報をコンテキストとして使用するように LLM を明示的にガイドするプロンプトフレームワークを導入する。 多様な制御タスクと実用的なベンチマークにより,本手法は既成LLMのみを用いてベースラインよりも優れ,文脈符号化の進歩を示す。

関連論文リスト

• LLM Based Long Code Translation using Identifier Replacement [3.833075202213095]
  識別子置換を組み込んだゼロショット符号変換法を提案する。 提案手法は,翻訳中にユーザから取得した長い識別子を一般化されたプレースホルダーに置き換えることで,長文翻訳の効率性と費用対効果を向上させる。
  論文  参考訳（メタデータ） (2025-10-10T06:28:15Z)
• Context-DPO: Aligning Language Models for Context-Faithfulness [80.62221491884353]
  本研究では,大規模言語モデルの文脈信頼度を高めるためのアライメント手法を提案する。 ConFiQAから提供されたコンテキストの質問に対する忠実で頑健な応答を活用することで、Context-DPOは直接の選好最適化を通じてLLMを調整します。 大規模な実験により、私たちのContext-DPOは、一般的なオープンソースモデルで35%から280%の改善を達成し、コンテキスト忠実性を大幅に改善します。
  論文  参考訳（メタデータ） (2024-12-18T04:08:18Z)
• Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
  LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。 既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
  論文  参考訳（メタデータ） (2024-03-26T06:57:23Z)
• Blinded by Generated Contexts: How Language Models Merge Generated and Retrieved Contexts When Knowledge Conflicts? [45.233517779029334]
  応答が生成されたコンテキストと検索されたコンテキストに関連付けられているかどうかを識別する。 実験では、誤った情報を提供する場合でも、生成されたコンテキストを優先する複数のLSMにおいて、重大なバイアスが示される。
  論文  参考訳（メタデータ） (2024-01-22T12:54:04Z)
• See the Unseen: Better Context-Consistent Knowledge-Editing by Noises [73.54237379082795]
  知識編集が大規模言語モデル(LLM)の知識を更新 既存の作業はこの特性を無視し、編集には一般化が欠けている。 実験により、異なる文脈がLLMに与える影響は、同じ知識を思い出す際にガウス的な分布に従うことが判明した。
  論文  参考訳（メタデータ） (2024-01-15T09:09:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。