論文の概要: Towards Evolving Context Parameterization for Large Language Models

• arxiv url: http://arxiv.org/abs/2609.14168v1
• Date: Sat, 12 Sep 2026 21:55:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.716754
• Title: Towards Evolving Context Parameterization for Large Language Models
• Title（参考訳）: 大規模言語モデルにおける文脈パラメータ化の展開に向けて
• Abstract要約: PLUMEは、グローバルな更新表現を構築し、メモリエビデンスを活性化してローカルパラメータビューを形成する、トレーニング不要の手法である。 PLUMEの有効性は, 平均ROUGE-Lリコールでは29.9%, LLM-as-a-Judgeでは54.9%であった。
• 参考スコア（独自算出の注目度）: 13.314849988154707
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Context parameterization enables large language models (LLMs) to internalize contexts into reusable model parameters, avoiding repeated processing across subsequent queries. However, existing methods typically assume static contexts and lack explicit mechanisms for distinguishing validity states under continual updates. To study this real-world scenario, we formalized the Memory Updating with Sequential Evolution (MUSE) task and constructed MUSE-bench to evaluate update incorporation and unaffected-information preservation. The resulting challenge requires preserving the global state while adjusting the contribution of memory evidence. Motivated by this, we proposed PLUME, a training-free method that constructs a global update representation, activates memory evidence to form a local parameter view, and adaptively integrates their predictions during decoding. Comprehensive evaluation on MUSE-bench demonstrated PLUME's effectiveness in sequential evolution settings, yielding relative improvements of 29.9% in average ROUGE-L Recall and 54.9% in LLM-as-a-Judge. Our codes are available at: https://github.com/xiaobingshi-LLM/PLUME.
• Abstract（参考訳）: コンテキストパラメータ化により、大きな言語モデル(LLM)は、コンテキストを再利用可能なモデルパラメータに内部化することが可能になる。 しかし、既存のメソッドは静的コンテキストを前提としており、連続的な更新の下で有効状態を識別する明確なメカニズムが欠如している。 この現実のシナリオを研究するために,MUSEタスクのメモリ更新を形式化し,MUSEベンチを構築し,更新インクルージョンと影響を受けない情報保存を評価した。 結果として生じる課題は、メモリエビデンスのコントリビューションを調整しながら、グローバルな状態を保存することである。 そこで我々は,グローバルな更新表現を構築し,メモリエビデンスを活性化してローカルパラメータビューを作成し,デコード中の予測を適応的に統合する,トレーニング不要なPLUMEを提案する。 MUSE-benchの総合的な評価は、PLUMEが逐次進化において有効であることを示し、平均ROUGE-Lリコールでは29.9%、LCM-as-a-Judgeでは54.9%の相対的な改善が得られた。 私たちのコードは、https://github.com/xiaobingshi-LLM/PLUME.comで利用可能です。

関連論文リスト

• MemWM: Memory-Augmented Text-Based World Model [49.654556986087535]
  本稿ではメモリ拡張テキストベースの世界モデルであるMemWMを紹介する。 MemWMは、世界メモリ、トランジションルール、状態キャッシュ、予測しにくい事実のキュレートされたメモリバンクを使用する。 本研究では, 予測状態のスコア付けを行う構造化状態忠実度 (Structured State Fidelity, SSF) を用いて, 評価を行う。 完全な計画環境では、政策モデルを凍結させ、タスクレベルのスキルを回収し、アクション選択のための段階的な修正ガイダンスを提供する。
  論文  参考訳（メタデータ） (2026-08-07T11:03:32Z)
• MIITA: Memory-Induced Inference-Time Adaptation for Continual Learning with Small Language Models [64.2820121997882]
  MIITAはメモリ駆動型推論時間適応フレームワークである。 教師付きエクスペリエンスをセマンティックアンカーを備えたコンパクトな修正指向プロトタイプとして格納し、セマンティックおよび不確実性ベースのキューを使用して推論時にそれらを検索する。 実験により、MIITAは最終性能を継続的に改善し、固定メモリの予算下での忘れを軽減している。
  論文  参考訳（メタデータ） (2026-05-20T03:03:04Z)
• Improving Sparse Memory Finetuning [6.491055956716639]
  大規模言語モデル(LLM)は通常、トレーニング後に静的になるが、現実のアプリケーションは既存の能力を劣化させることなく、新しい知識への継続的な適応を必要とする。 完全な微調整やパラメータ効率の手法のようなモデル更新の標準的なアプローチは、基本的なトレードオフに直面します。 Sparse Memory Finetuning (SMF)は、明示的なメモリ層内のパラメータの小さなサブセットにアップデートをローカライズすることで、有望な代替手段を提供する。
  論文  参考訳（メタデータ） (2026-04-06T23:16:10Z)
• Adaptive Guidance for Retrieval-Augmented Masked Diffusion Models [60.25003813232697]
  本稿では,Masked Diffusion Models (MDMs) のトレーニング自由適応ガイダンスフレームワークとして,適応検索型Masked Diffusion (ARAM) を提案する。 ARAMは、検索した文脈によって誘導される分布シフトのSNR(Signal-to-Noise Ratio)に従って、雑音発生時の誘導スケールを校正する。 複数の知識集約型QAベンチマークの実験は、ARAMが競争力のあるRAGベースラインよりも全体的なQA性能を改善することを示している。
  論文  参考訳（メタデータ） (2026-03-18T12:54:50Z)
• Can Large Language Models Keep Up? Benchmarking Online Adaptation to Continual Knowledge Streams [78.9560820155271]
  我々は、ストリーミングよりもオンライン適応を評価し、知識を継続的に更新する。 OAKSはOAKS-BABIとOAKS-Novelの2つのデータセットから構成される。 最先端モデルとエージェントメモリシステムはどちらもOAKSにしっかりと適応できない。
  論文  参考訳（メタデータ） (2026-03-08T00:38:39Z)
• Locas: Your Models are Principled Initializers of Locally-Supported Parametric Memories [44.46300411842271]
  Locasは局所的なパラメトリックメモリであり、現代のトランスフォーマーにおいてFFNブロックの設計を共有する。 このような低ランクサイドウェイFFNスタイルの記憶の適切な初期化は、迅速な収束、一般化の改善、破滅的な予防に不可欠である。
  論文  参考訳（メタデータ） (2026-02-04T22:09:40Z)
• LLM-as-RNN: A Recurrent Language Model for Memory Updates and Sequence Prediction [16.71499144106184]
  大規模言語モデルは強いシーケンス予測子であるが、標準推論は不変のコンテキスト履歴に依存している。 提案するLLM-as-RNNは,凍結したLLMを,その隠れ状態を自然言語メモリとして表現することで,再帰予測器に変換する推論専用フレームワークである。 本手法はLlama, Gemma, GPTモデルファミリにおける医療, 気象学, ファイナンスにおける3つの逐次ベンチマークで評価した。
  論文  参考訳（メタデータ） (2026-01-19T19:41:39Z)
• Meta-Policy Reflexion: Reusable Reflective Memory and Rule Admissibility for Resource-Efficient LLM Agent [6.300669721057781]
  メタ・ポリシィ・リフレクション(Meta-Policy Reflexion, MPR)は、LCM生成したリフレクションを構造化された述語型メタ・ポリシィ・メモリ(MPM)に集約するフレームワークである。 MPRはモデルウェイト更新なしで再利用可能な修正知識を外部化し、安全でないアクションや無効なアクションを減らすためにドメイン制約を強制し、言語ベースのリフレクションの適応性を維持する。 供給材料に報告された実証結果は, 反射ベースラインと比較して, 実行精度とロバスト性が一貫した向上を示し, 規則許容性は安定性をさらに向上させる。
  論文  参考訳（メタデータ） (2025-09-04T08:18:39Z)
• Amortized Bayesian Meta-Learning for Low-Rank Adaptation of Large Language Models [7.075648770762989]
  低ランク適応(LoRA)を用いた微調整型大規模言語モデルは、特定のデータセットから情報を組み込むためのコスト効率のよい方法である。 微調整 LLM がいかに一般化するか、すなわち、目に見えないデータセット上でどれだけうまく機能するかは、しばしば不明である。 我々は,大規模モデルへの一般化とスケールを改善するために,LoRA (ABMLL) のためのアモータライズベイズメタラーニングを提案する。
  論文  参考訳（メタデータ） (2025-08-19T21:57:59Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Improving Meta-learning for Low-resource Text Classification and Generation via Memory Imitation [87.98063273826702]
  本稿では,メモリ模倣メタラーニング(MemIML)手法を提案する。 本手法の有効性を証明するために理論的解析を行った。
  論文  参考訳（メタデータ） (2022-03-22T12:41:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。