論文の概要: Infinite-Parameter LLMs: Generating and Adapting Weights from Live Data

• arxiv url: http://arxiv.org/abs/2609.18842v2
• Date: Mon, 21 Sep 2026 16:06:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.03973
• Title: Infinite-Parameter LLMs: Generating and Adapting Weights from Live Data
• Title（参考訳）: 無限パラメータLDM:ライブデータからウェイトの生成と適応
• Abstract要約: コンパクトなハイパーネットワークは、オンラインデータを共有ベースネットワークの低ランク変調に変換するため、静的メモリからではなく、ライブデータからフィードフォワード重みを生成する。 プロンプトアモーティス計算よりも重みでライブデータを表現し、コンテキストウィンドウを解放し、ターン間で更新を永続化し、コンテキスト内での使用よりも一般化することができる。
• 参考スコア（独自算出の注目度）: 26.140420861631153
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Scaling laws hold that language models grow more capable with more parameters and more training data. Mixture-of-Experts (MoE) architectures are a remarkable demonstration of these laws, activating only a fraction of an enormous parameter bank for each token. But this success is built on static pretraining data --- the facts and corrections supplied by users during live interactions are a significant untapped source of potential improvement for a deployed model, but cannot be exploited by conventional architectures whose weights are frozen after training. Instead, this newfound knowledge must be placed in the context (by instruction or retrieval) and re-read on every request, only to be discarded afterwards. We seek instead to learn from live interactions by dynamically updating model weights. Inspired by MoEs, we propose the \textbf{Infinite-Parameter LLM}. A compact hypernetwork turns the online data into low-rank modulations of a shared base network, so feed-forward weights are generated from live data, not read from static memory. Whereas existing weight generators are held fixed after reading the context once, we form a Bayesian belief over the generator's latent state and update it online, such that the effective weights are re-derived as our belief evolves during the session. Although the model's memory footprint is constant, the feasible space of generated weights is thus effectively infinite. Representing live data in the weights rather than the prompt amortises compute, frees the context window, persists updates across turns, and can generalise better than in-context use. Our evaluation protocol applies this methodology to in-context learning and retrieval.
• Abstract（参考訳）: スケーリング法則は、より多くのパラメータとより多くのトレーニングデータで言語モデルがより機能的に成長することを示している。 Mixture-of-Experts (MoE) アーキテクチャはこれらの法則の顕著な実証であり、トークンごとに巨大なパラメータバンクのごく一部を活性化する。 しかし、この成功は静的事前トレーニングデータの上に構築されている -- ライブインタラクション中にユーザから提供される事実と修正は、デプロイされたモデルに対する潜在的な改善の重大な未解決の源であるが、トレーニング後に重みが凍結された従来のアーキテクチャでは利用できない。 代わりに、この新しい知識は(命令や検索によって)コンテキストに置かれ、すべてのリクエストで再読まなければならない。 代わりに、モデルの重みを動的に更新することで、ライブインタラクションから学びたいと考えています。 MoEs に着想を得て, textbf{Infinite-Parameter LLM} を提案する。 コンパクトなハイパーネットワークは、オンラインデータを共有ベースネットワークの低ランク変調に変換するため、フィードフォワード重みは静的メモリから読み取らないライブデータから生成される。 既存のウェイトジェネレータは、一度読んだ後に固定されるが、我々は、ジェネレータの潜伏状態に関するベイズ的信念を形成し、オンラインに更新する。 モデルのメモリフットプリントは一定であるが、生成した重みの実現可能な空間は事実上無限である。 プロンプトアモーティス計算よりも重みでライブデータを表現し、コンテキストウィンドウを解放し、ターン間で更新を永続化し、コンテキスト内での使用よりも一般化することができる。 評価プロトコルは,この手法を文脈内学習と検索に適用する。

関連論文リスト

• Scaling Self-Evolving Agents via Parametric Memory [69.96398842169002]
  既存のメモリ拡張LDMエージェントは、過去の経験をプロンプト空間にのみ保存する。 自己進化型パラメトリックメモリフレームワークである textttTMEM を導入する。 textttTMEMは、様々なモデルスケールで要約ベースのベースラインと検索ベースのベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-06-03T07:18:31Z)
• Learning to Detect Language Model Training Data via Active Reconstruction [65.4791582049743]
  textbfActive Data Reconstruction Attack (ADRA)を紹介する。 ADRAはトレーニングを通じて与えられたテキストを再構築するモデルを誘導する。 我々のアルゴリズムは、事前学習、後訓練、蒸留データの検出において、既存のMIAよりも一貫して優れています。
  論文  参考訳（メタデータ） (2026-02-22T03:20:06Z)
• Non-Interfering Weight Fields: Treating Model Parameters as a Continuously Extensible Function [0.0]
  大規模言語モデルは、すべての学習した知識を1つの固定重みベクトルに格納する。 破滅的な忘れ物として知られるこの制限は、何十年にもわたって原則化された解決策に抵抗してきた。 本稿では,不干渉重みフィールド(Non-Interfering Weight Fields)を提案する。これは固定重みパラダイムを,需要に応じて重み設定を生成する学習関数に置き換えるフレームワークである。
  論文  参考訳（メタデータ） (2026-02-20T21:43:26Z)
• Semantic Soft Bootstrapping: Long Context Reasoning in LLMs without Reinforcement Learning [46.765013720309064]
  大規模言語モデル(LLM)における長期文脈推論は、チェーン・オブ・ソート(CoT)推論による認知能力の向上を実証している。 このようなモデルのトレーニングは通常、数学やプログラミングのような推論に基づく問題において、検証可能な報酬(RLVR)を用いた強化学習によって行われる。 我々は,教師と学生の両方の役割を同一のベース言語モデルで担う自己蒸留技術であるtextbfSemantic Soft Bootstrapping (SSB) を提案する。
  論文  参考訳（メタデータ） (2025-12-04T18:59:18Z)
• Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
  LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。 既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
  論文  参考訳（メタデータ） (2024-03-26T06:57:23Z)
• Online Adaptation of Language Models with a Memory of Amortized Contexts [82.02369596879817]
  MAC(Memory of Amortized Contexts)は、大規模言語モデルのための効率的かつ効果的なオンライン適応フレームワークである。 MACとMACを組み合わせれば,検索の高速化など,一般的な代替手段の性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-03-07T08:34:57Z)
• Don't Memorize; Mimic The Past: Federated Class Incremental Learning Without Episodic Memory [36.4406505365313]
  本稿では,過去のデータの一部を格納するのではなく,生成モデルを用いて過去の分布からサンプルを合成する,連邦化クラスインクリメンタルラーニングのためのフレームワークを提案する。 生成モデルは、クライアントからデータを要求することなく、各タスクの最後にデータフリーのメソッドを使用してサーバ上でトレーニングされる。
  論文  参考訳（メタデータ） (2023-07-02T07:06:45Z)
• Editing Factual Knowledge in Language Models [51.947280241185]
  本稿では,この知識を編集する手法であるKnowledgeEditorを提案する。 knowledgeeditorは計算効率が高いだけでなく、lm事前トレーニングの修正も必要としない。 2つの一般的なアーキテクチャと知識集約型タスクで、KnowledgeEditorの有効性を示します。
  論文  参考訳（メタデータ） (2021-04-16T15:24:42Z)
• How Context Affects Language Models' Factual Predictions [134.29166998377187]
  検索システムからの情報を学習済みの言語モデルと純粋に教師なしの方法で統合する。 この方法で事前学習された言語モデルを拡張することで、性能が劇的に向上し、教師なしにもかかわらず、結果として得られるシステムは、教師なしの機械読解ベースラインと競合する、と報告する。
  論文  参考訳（メタデータ） (2020-05-10T09:28:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。