Fugu-MT 論文翻訳(概要): Continual Learning in Transition

論文の概要: Continual Learning in Transition

arxiv url: http://arxiv.org/abs/2608.06216v2
Date: Wed, 12 Aug 2026 04:11:22 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-13 14:28:20.342682
Title: Continual Learning in Transition
Title（参考訳）: 過渡期における継続的な学習
Abstract要約: 古典的な連続学習は主に、モデルがパラメータ中心のメカニズムを通じて知識を更新および保持することに焦点を当てている。新たなパラダイムは、従来のモデル適応の観点を超えて、CLのスコープを再構築しています。連続学習の3次元的進化を考察する。
参考スコア（独自算出の注目度）: 77.0733079568852
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Classical continual learning (CL) has primarily focused on enabling models to update and retain knowledge through parameter-centric mechanisms, e.g., training strategies, architectural designs, and weight adaptation. However, emerging paradigms are reshaping the scope of CL beyond this traditional model adaptation view. For instance, on-policy learning broadens the space of update mechanisms; test-time training extends CL from the training phase to inference; and external harness components such as memory, skill libraries, and interaction protocols extend the evolutionary boundaries of model capabilities far beyond the static parameter space. Collectively, these developments indicate a transition from parameter-centric learning toward system-level adaptation. To characterize this transition, we examine the evolution of continual learning through three dimensions: When, How, and Where learning occurs. The How dimension encompasses off-policy, on-policy, and beyond-gradient optimization mechanics. The When dimension captures evolution across pre-training, post-training, and inference-time stages. The Where dimension delineates updates occurring within internal parameters versus external structural constraints. Anchored by this tri-axial framework, we systematically survey representative methods, trace the ongoing transition of continual learning, and discuss the key challenges, broader implications, and future directions arising from this paradigm shift.
Abstract（参考訳）: 古典的連続学習(CL)は主に、パラメータ中心のメカニズム、トレーニング戦略、アーキテクチャ設計、重み付けによる知識の更新と保持をモデルが可能にすることに焦点を当てている。しかし、新しいパラダイムは、この伝統的なモデル適応の観点を超えてCLの範囲を変えつつある。例えば、オン政治学習は更新メカニズムの空間を広げ、テストタイムトレーニングはトレーニングフェーズから推論までCLを拡張し、メモリ、スキルライブラリ、インタラクションプロトコルといった外部ハーネスコンポーネントは、静的パラメータ空間を超えたモデル機能の進化的境界を拡張します。これらの発展は、パラメータ中心学習からシステムレベルの適応への移行を示す。この移行を特徴付けるために、我々は3つの次元を通して連続学習の進化を考察する: いつ、どのように、どこで学習が起こるか。 Howディメンションは、オフ・ポリティクス、オン・ポリティクス、およびそれ以上の段階的な最適化メカニズムを包含する。 When次元は、事前トレーニング、後トレーニング、推論時間ステージにわたる進化をキャプチャする。 Whereディメンションは、内部パラメータ内で発生する更新と外部構造的制約を明確にする。この3軸フレームワークを応用し,代表的手法を体系的に調査し,継続学習の推移を辿り,このパラダイムシフトから生じる重要な課題,より広範な含意,今後の方向性について議論する。

関連論文リスト

On the Importance of Gating: Memorization vs. In-Context Learning in State Space Models [50.824624057327725]
State Space Models (SSM) は Transformers の代替品として登場した。我々は、このゲーティング機構がSSMにまず、重み付き「記憶」の解を学習させるという理論と実験を通して示している。一方、ゲーティングは長い列長への一般化を改善するのにしばしば有用である。
論文参考訳（メタデータ） (2026-09-15T02:36:13Z)
Navigating by Old Maps: The Pitfalls of Static Mechanistic Localization in LLM Post-Training [59.49057547517285]
教師付き微調整プロセスを通してトランスフォーマー回路の構造変化を系統的に追跡する。実験結果から,回路はパラメータ更新時に本質的に「自由進化」を示すことが明らかとなった。この研究は、機械的ローカライゼーションにおける「予見」の必要性を浮き彫りにし、将来の研究の枠組みを提案する。
論文参考訳（メタデータ） (2026-05-07T11:59:52Z)
Frame perspectives for process matrices: from coordinate parametrization to spacetime representation [0.0]
プロセス行列形式論における量子プロセスのフレーム視点の実装と変換について検討する。ユニタリ変換は、量子参照フレームを定義するサブシステムでプロセスを拡張することで、異なる方法でも達成可能であることを示す。
論文参考訳（メタデータ） (2026-04-03T08:39:58Z)
Deriving Hyperparameter Scaling Laws via Modern Optimization Theory [55.63126290312615]
線形最小化Oracle(LMO)に基づく手法の最近の一階境界について検討する。近年の文献のバウンダリをプロキシとして扱い、異なるチューニング規則をまたいでそれらを最小化することで、学習率、運動量、バッチサイズに関するクローズドフォームのパワーロースケジュールが得られる。本研究の結果は, 運動量とバッチサイズスケーリングの相互作用に特に注意を払っており, いくつかのスケーリング戦略によって最適性能が達成される可能性が示唆された。
論文参考訳（メタデータ） (2026-03-16T22:21:27Z)
Continual Learning in Large Language Models: Methods, Challenges, and Opportunities [39.68332777229783]
継続学習(CL)は、大きな言語モデル(LLM)が進化する知識やシーケンシャルなタスクに動的に適応できるように、重要なパラダイムとして登場した。本研究は, 連続的事前学習, 連続的微調整, 連続的アライメントの3段階を中心に構成されたLCMに適したCL手法の概要を概説する。
論文参考訳（メタデータ） (2026-03-13T05:01:25Z)
Teleodynamic Learning a new Paradigm For Interpretable AI [0.0]
我々は、学習が固定目的ではない機械学習の新しいパラダイムであるTeleodynamic Learningを紹介した。この枠組みは生物系に触発され、知能を3つの量の複合進化として扱う。本研究では,スペンサー・ブラウンの形式法則を基礎とした遠隔力学学習システムであるDistinction Engine (DE11) のフレームワークをインスタンス化する。
論文参考訳（メタデータ） (2026-03-11T22:43:10Z)
Modular Memory is the Key to Continual Learning Agents [100.09688599754465]
In-Weight Learning(IWL)の強みと、モジュラーメモリの設計を通じて新たに登場したIn-Context Learning(ICL)の機能を組み合わせることが、大規模に継続的適応するための欠片である、と我々は主張する。我々は、ICLを高速適応と知識蓄積に活用するモジュール型メモリ中心アーキテクチャの概念的フレームワークと、モデル機能の安定した更新のためのIWLについて概説する。
論文参考訳（メタデータ） (2026-03-02T11:40:05Z)
Time-Scale Coupling Between States and Parameters in Recurrent Neural Networks [3.924071936547547]
ゲーテッドニューラルネットワーク(RNN)は、適応的な学習速度の振る舞いを暗黙的に誘発する。効果は状態空間の時間スケールとパラメータ空間のダイナミクスの結合から生じる。経験的シミュレーションはこれらの主張を裏付ける。
論文参考訳（メタデータ） (2025-08-16T18:19:34Z)
Network Dynamics-Based Framework for Understanding Deep Neural Networks [8.376259475051974]
本稿では,動的システム理論のレンズを通して学習力学を解析するための理論的枠組みを提案する。ニューラルネットワークの線形性と非線形性の概念をニューロンレベルで2つの基本変換単位を導入することにより再定義する。異なる変換モードは、重みベクトルの組織、異なる情報抽出のモード、質的に異なる学習フェーズの出現において、異なる集団的挙動をもたらす。
論文参考訳（メタデータ） (2025-01-05T04:23:21Z)
Continual Task Learning through Adaptive Policy Self-Composition [54.95680427960524]
CompoFormerは構造ベースの連続トランスフォーマーモデルであり、メタポリシックネットワークを介して、以前のポリシーを適応的に構成する。実験の結果,CompoFormerは従来の継続学習法(CL)よりも優れており,特にタスクシーケンスが長いことが判明した。
論文参考訳（メタデータ） (2024-11-18T08:20:21Z)
GEM: Group Enhanced Model for Learning Dynamical Control Systems [78.56159072162103]
サンプルベースの学習が可能な効果的なダイナミクスモデルを構築します。リー代数ベクトル空間上のダイナミクスの学習は、直接状態遷移モデルを学ぶよりも効果的であることを示す。この研究は、ダイナミクスの学習とリー群の性質の関連性を明らかにし、新たな研究の方向への扉を開く。
論文参考訳（メタデータ） (2021-04-07T01:08:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。