論文の概要: Infinite-Parameter LLMs: Generating and Adapting Weights from Live Data

• arxiv url: http://arxiv.org/abs/2609.18842v1
• Date: Wed, 16 Sep 2026 15:49:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.874659
• Title: Infinite-Parameter LLMs: Generating and Adapting Weights from Live Data
• Title（参考訳）: 無限パラメータLDM:ライブデータからウェイトの生成と適応
• Abstract要約: アーキテクチャは、それを重みに書き込むことで、ライブインタラクションからどのように学ぶことができるのかを尋ねます。 コンパクトなハイパーネットワークは、実行時に与えられたデータを共有ベースネットワークの低ランク変調に変換する。 実行時に供給される知識と振舞いについては、プロンプトではなく重みに運ぶことが計算において償却される。
• 参考スコア（独自算出の注目度）: 26.140420861631153
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The scaling laws hold that a language model grows more capable with more parameters and more training data, and Mixture-of-Experts (MoE) architectures have ridden these laws to remarkable results, activating only a fraction of an enormous stored parameter bank for each token. That success is built on static pretraining data. A deployed model faces a different world, where much of the data that would make it more useful is not in its training set but in the live interaction it is currently handling, such as the facts a user supplies or the corrections they give. A conventional model cannot learn from this data, because its weights are frozen after training. Instead, the knowledge and behaviour supplied at run time are placed in the prompt, by retrieval or instruction, and re-read on every request only to be discarded once the request ends. We ask how an architecture could learn from live interaction by writing it into its weights. Taking inspiration from MoE, we propose the \textbf{Infinite-Parameter LLM}. A compact hypernetwork turns the data given at run time into a low-rank modulation of a shared base network, so the feed-forward weights are generated from live data rather than stored in a fixed bank. Where prior weight generators read the context once and freeze, we carry a Bayesian belief over the generator's latent code and update it online, so the effective weight is re-derived from that evolving belief as the session proceeds rather than fixed after one read. The stored footprint stays fixed, yet the weights the model can compile are effectively infinite. For the knowledge and behaviour supplied at run time, carrying them in the weights rather than the prompt is amortized in compute, frees the context window, persists across turns, and can generalise better than in-context use. We specify an evaluation protocol that tests exactly this against in-context learning and retrieval.
• Abstract（参考訳）: スケーリング法則は、より多くのパラメータとより多くのトレーニングデータで言語モデルがより機能的に成長し、Mixture-of-Experts(MoE)アーキテクチャはこれらの法則を顕著な結果へと取り除き、トークンごとに巨大なパラメータバンクを活性化するのみである。 この成功は、静的な事前学習データに基づいている。 デプロイされたモデルは、トレーニングセットでではなく、ユーザが提供する事実やそれらが与える修正など、現在処理中のデータである、別の世界に直面します。 従来のモデルは、トレーニング後に体重が凍結されるため、このデータから学べない。 代わりに、実行時に提供された知識と振る舞いは、検索または命令によってプロンプトに置かれ、リクエストが終了すると、すべてのリクエストについて再読み取りが行われる。 アーキテクチャは、それを重みに書き込むことで、ライブインタラクションからどのように学ぶことができるのかを尋ねます。 MoE からインスピレーションを得て,textbf{Infinite-Parameter LLM} を提案する。 コンパクトなハイパーネットワークは、実行時に与えられたデータを共有ベースネットワークの低ランク変調に変換するため、固定バンクに格納されるのではなく、ライブデータからフィードフォワード重みを生成する。 事前の重み生成者がコンテキストを一度読み、凍結する場合、我々はベイズ的信念を生成者の潜伏したコードに対して持ち込み、オンラインで更新するので、有効重みは、セッションが読み終わった後に固定されるのではなく、その進化する信念から再帰される。 保存されたフットプリントは固定されているが、モデルがコンパイルできる重みは事実上無限である。 実行時に供給される知識と振る舞いについては、プロンプトよりも重みを重みとして計算し、コンテキストウィンドウを解放し、ターンをまたいで永続化し、コンテキスト内での使用よりも一般化することができる。 テキスト内学習と検索に対してこれを正確にテストする評価プロトコルを指定する。

関連論文リスト

• Scaling Self-Evolving Agents via Parametric Memory [69.96398842169002]
  既存のメモリ拡張LDMエージェントは、過去の経験をプロンプト空間にのみ保存する。 自己進化型パラメトリックメモリフレームワークである textttTMEM を導入する。 textttTMEMは、様々なモデルスケールで要約ベースのベースラインと検索ベースのベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-06-03T07:18:31Z)
• Learning to Detect Language Model Training Data via Active Reconstruction [65.4791582049743]
  textbfActive Data Reconstruction Attack (ADRA)を紹介する。 ADRAはトレーニングを通じて与えられたテキストを再構築するモデルを誘導する。 我々のアルゴリズムは、事前学習、後訓練、蒸留データの検出において、既存のMIAよりも一貫して優れています。
  論文  参考訳（メタデータ） (2026-02-22T03:20:06Z)
• Non-Interfering Weight Fields: Treating Model Parameters as a Continuously Extensible Function [0.0]
  大規模言語モデルは、すべての学習した知識を1つの固定重みベクトルに格納する。 破滅的な忘れ物として知られるこの制限は、何十年にもわたって原則化された解決策に抵抗してきた。 本稿では,不干渉重みフィールド(Non-Interfering Weight Fields)を提案する。これは固定重みパラダイムを,需要に応じて重み設定を生成する学習関数に置き換えるフレームワークである。
  論文  参考訳（メタデータ） (2026-02-20T21:43:26Z)
• Semantic Soft Bootstrapping: Long Context Reasoning in LLMs without Reinforcement Learning [46.765013720309064]
  大規模言語モデル(LLM)における長期文脈推論は、チェーン・オブ・ソート(CoT)推論による認知能力の向上を実証している。 このようなモデルのトレーニングは通常、数学やプログラミングのような推論に基づく問題において、検証可能な報酬(RLVR)を用いた強化学習によって行われる。 我々は,教師と学生の両方の役割を同一のベース言語モデルで担う自己蒸留技術であるtextbfSemantic Soft Bootstrapping (SSB) を提案する。
  論文  参考訳（メタデータ） (2025-12-04T18:59:18Z)
• Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
  LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。 既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
  論文  参考訳（メタデータ） (2024-03-26T06:57:23Z)
• Online Adaptation of Language Models with a Memory of Amortized Contexts [82.02369596879817]
  MAC(Memory of Amortized Contexts)は、大規模言語モデルのための効率的かつ効果的なオンライン適応フレームワークである。 MACとMACを組み合わせれば,検索の高速化など,一般的な代替手段の性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-03-07T08:34:57Z)
• Don't Memorize; Mimic The Past: Federated Class Incremental Learning Without Episodic Memory [36.4406505365313]
  本稿では,過去のデータの一部を格納するのではなく,生成モデルを用いて過去の分布からサンプルを合成する,連邦化クラスインクリメンタルラーニングのためのフレームワークを提案する。 生成モデルは、クライアントからデータを要求することなく、各タスクの最後にデータフリーのメソッドを使用してサーバ上でトレーニングされる。
  論文  参考訳（メタデータ） (2023-07-02T07:06:45Z)
• Editing Factual Knowledge in Language Models [51.947280241185]
  本稿では,この知識を編集する手法であるKnowledgeEditorを提案する。 knowledgeeditorは計算効率が高いだけでなく、lm事前トレーニングの修正も必要としない。 2つの一般的なアーキテクチャと知識集約型タスクで、KnowledgeEditorの有効性を示します。
  論文  参考訳（メタデータ） (2021-04-16T15:24:42Z)
• How Context Affects Language Models' Factual Predictions [134.29166998377187]
  検索システムからの情報を学習済みの言語モデルと純粋に教師なしの方法で統合する。 この方法で事前学習された言語モデルを拡張することで、性能が劇的に向上し、教師なしにもかかわらず、結果として得られるシステムは、教師なしの機械読解ベースラインと競合する、と報告する。
  論文  参考訳（メタデータ） (2020-05-10T09:28:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。