論文の概要: Dynamics of Hidden Learning Structure

• arxiv url: http://arxiv.org/abs/2610.29054v1
• Date: Wed, 21 Oct 2026 01:35:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.175584
• Title: Dynamics of Hidden Learning Structure
• Title（参考訳）: 隠れた学習構造のダイナミクス
• Abstract要約: 隠れた学習構造のダイナミクスを2つの関連する操作を通して研究する。 我々は,AdamWを用いたQwen2.5-32Bにおける保護ヘッド修復と固定容量LoRA更新を実装した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A learner's present predictions do not fully determine how it will learn next. We study the dynamics of hidden learning structure through two related operations. Fiber Regulation Theory (FRT) describes protected repair of existing function and the learning responses left available after repair. Fiber Acquisition Theory (FAT) describes the formation and renewal of trainable structure, distinguishing neutral installation, access to a learning signal, and additional functional directions. The two operations also constrain one another. A repair obligation can force a change in a learning channel, while acquired features can make new protected repairs feasible or reduce the minimum coefficient cost of existing ones. We characterize joint admissibility and response reachability, and give a finite supervised-learning construction in which the two operations together produce a favorable response absent from either operation alone. We implement protected head repair and fixed-capacity LoRA renewal in Qwen2.5-32B with AdamW, under replay and output distillation. Across two training trajectories differing in seed and within-task example order, the coordinated policy achieves higher teacher-forced Exact than either separate policy in all four comparisons. It also has the lowest macro NLL under both learning rules on the second trajectory. The implementations realize structure-conditioned self-regulation within specified information and action constraints: accessible state readouts and arrived evidence guide repairs and structural renewals, and ordinary learning continues from the modified state.
• Abstract（参考訳）: 学習者の現在の予測は、次にどのように学習するかを完全には決定しない。 隠れた学習構造のダイナミクスを2つの関連する操作を通して研究する。 ファイバレギュレーション理論(FRT)は、既存の機能の保護された修復と、修復後の学習応答を記述している。 繊維獲得理論(Fiber Acquisition Theory, FAT)は、トレーニング可能な構造の形成と更新を記述し、中立的なインストールを区別し、学習信号にアクセスし、さらに機能的な方向を示す。 2つの操作は互いに制約します。 補修義務は、学習チャネルの変更を強制することができるが、取得した特徴は、新たに保護された修復を可能にしたり、既存の修復の最小係数コストを低減できる。 両操作を併用した有限教師あり学習構成を,両操作だけでは不十分な良好な応答を得られるように特徴付ける。 我々はAdamWを用いたQwen2.5-32Bにおける保護ヘッド修復と固定容量LoRA更新を再生・出力蒸留により実施した。 2つの訓練軌跡がシードとイントラタスクの順で異なるのに対し、調整された政策は4つの比較においてどちらか別の政策よりも高い教師力のエクササイズを達成する。 また、第二軌道上の両方の学習規則の下では最小のマクロNLLを持つ。 実装は、特定の情報と行動制約の中で構造条件付き自己規制を実現する: アクセス可能な状態読み出しと到着した証拠は、修復と構造更新をガイドし、通常の学習は修正された状態から継続する。

関連論文リスト

• A Dynamical Theory of LoRA in Continual Learning [69.58708346402757]
  本稿では,Low-Rank Adaptation (LoRA) がシーケンシャルタスク間で情報を整理し,逐次MNISTベンチマークで定性的に再現する方法を示す。 この力学図に基づいて、最強のファーストタスク表現を持つ隠れユニットを凍結し、補完部分空間への適応を制限する状態依存マスキング戦略を解析する。
  論文  参考訳（メタデータ） (2026-09-30T09:22:13Z)
• Learn Here, Move Less Elsewhere: Input-Conditioned Plasticity from Retained-Domain Activation Atlases [11.936645965216364]
  ATLASは保持ドメイン表現をタスク適応のための入力依存ルールに変換する。 Qwen3-8Bでは、ATLASは7つのベースライン全てよりも低い平均出力のクルバック・リーブラー分岐を達成する。
  論文  参考訳（メタデータ） (2026-09-28T07:32:33Z)
• Self-Confirming Superposition Traps in Reinforcement Learning [62.71685993550818]
  強化学習はエージェントのポリシーによって選択されたデータに基づいて表現し、その結果のリターンを使って次の選択を導く。 これらのデータに対して表現フィッティングがグローバルに最適である場合でも,このループは低リターンポリシーを維持可能であることを示す。
  論文  参考訳（メタデータ） (2026-09-26T21:56:26Z)
• When Does Continual Learning Require Learning [68.55508958298942]
  継続的学習は単一の能力ではないことを示す。 環境変化の異なるパターンは、根本的に異なる更新動作を必要とする。 それぞれの手法が成功するか、失敗するかを理解することが、より強力な継続的学習システムの設計を導くことを願っている。
  論文  参考訳（メタデータ） (2026-07-08T18:27:40Z)
• Not All Directions Matter: Toward Structured and Task-Aware Low-Rank Adaptation [36.50260265342062]
  低ランク適応(LoRA)はパラメータ効率微調整(PEFT)の基盤となっている 我々は、原則付きデュアルコンポーネント設計により、両方の制限に対処するフレームワークであるStructLoRAを提案する。
  論文  参考訳（メタデータ） (2026-03-15T05:16:50Z)
• Why Do Neural Networks Forget: A Study of Collapse in Continual Learning [1.9345014784026022]
  破滅的な忘れは継続的な学習において大きな問題であり、それを減らすために多くのアプローチが生じる。 最近の研究は、構造崩壊が有効ランクの変化(eRank)によって証明されるように、可塑性の喪失につながることを示唆している。 本研究では,重みとアクティベーションeRankの測定により,忘れと崩壊の相関について検討した。
  論文  参考訳（メタデータ） (2026-03-04T20:19:00Z)
• A Backpropagation-Free Feedback-Hebbian Network for Continual Learning Dynamics [0.0]
  局所的な可塑性で訓練されたコンパクトなフィードバック経路は、再生と連続学習-関連するダイナミクスをサポートすることができることを示す。 その結果,局所的可塑性で訓練されたコンパクトなフィードバック経路は,再生と連続学習-関連するダイナミクスをサポートすることが示唆された。
  論文  参考訳（メタデータ） (2026-01-11T03:25:38Z)
• Understanding Catastrophic Interference: On the Identifibility of Latent Representations [67.05452287233122]
  破滅的な干渉、あるいは破滅的な忘れ(Caastrophic forgetting)は、機械学習の根本的な課題である。 本稿では,破滅的干渉を識別問題として定式化する新しい理論枠組みを提案する。 我々のアプローチは、合成データセットとベンチマークデータセットの両方で理論的保証と実用的なパフォーマンスの改善を提供する。
  論文  参考訳（メタデータ） (2025-09-27T00:53:32Z)
• E2-AEN: End-to-End Incremental Learning with Adaptively Expandable Network [57.87240860624937]
  本稿では,E2-AENという,エンドツーエンドのトレーニング可能な適応拡張可能なネットワークを提案する。 以前のタスクの精度を落とさずに、新しいタスクのための軽量な構造を動的に生成する。 E2-AENはコストを削減し、あらゆるフィードフォワードアーキテクチャをエンドツーエンドで構築できる。
  論文  参考訳（メタデータ） (2022-07-14T09:04:51Z)
• Weakly Supervised Semantic Segmentation via Alternative Self-Dual Teaching [82.71578668091914]
  本稿では,分類とマスク・リファインメント・コンポーネントを統合された深層モデルに組み込む,コンパクトな学習フレームワークを確立する。 本稿では,高品質な知識相互作用を促進するために,新たな自己双対学習(ASDT)機構を提案する。
  論文  参考訳（メタデータ） (2021-12-17T11:56:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。