論文の概要: How Shared Representations Become Specialized: Formation, Maintenance, and Latent Susceptibility

• arxiv url: http://arxiv.org/abs/2610.15830v1
• Date: Sun, 11 Oct 2026 18:32:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 15:47:09.05488
• Title: How Shared Representations Become Specialized: Formation, Maintenance, and Latent Susceptibility
• Title（参考訳）: 共有表現がいかに特殊化されるか : 形成・維持・潜在感受性
• Abstract要約: いくつかの予測が同じ内部表現を使用する場合、あるターゲットに関する情報は、他のターゲットに関する情報よりも容易に回復することができる。 我々は、この特殊化が、最小限の人工学習者をどのように形成し、持続し、そして変化させるかを研究する。
• 参考スコア（独自算出の注目度）: 0.6768558752130311
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When several predictions use the same internal representation, information about some targets can remain easier to recover than information about others. We study how this specialization forms, persists, and changes in minimal artificial learners. With reconstruction errors weighted equally during learning, changing which target is observed precisely selects the favored target and redirects an already specialized learner. Removing current support can reduce a formed bias, whereas state-following update feedback can maintain it. We then compare learners formed through different observation and update conditions but matched on specified reconstruction measurements. Both change under the same brief opposing intervention, yet their responses differ. Resetting Adam largely removes the ten-update difference; exchanging its second moment reverses which route is more susceptible. New interventions show that equalizing the mean second-moment scaling reduces but does not remove the difference: its coordinate-wise pattern also matters. With fresh Adam or calibrated SGD, smaller route differences emerge later, whereas 500 common opposing updates bring the selected allocation endpoints close. A further control produces response differences with identical acquisition and equal mean loss weights but jointly different weight variability and realized sequence. Acquisition-selected formation also extends to a symmetric three-target setting. These interventions distinguish specialization's formation, present support, and time-dependent latent susceptibility.
• Abstract（参考訳）: いくつかの予測が同じ内部表現を使用する場合、あるターゲットに関する情報は、他のターゲットに関する情報よりも容易に回復することができる。 我々は、この特殊化が、最小限の人工学習者をどのように形成し、持続し、そして変化させるかを研究する。 学習中に等しく重み付けされた再構成誤差により、どの目標が観測されたかを正確に選択し、既に特定された学習者をリダイレクトする。 現在のサポートを取り除くことで発生したバイアスを低減できる一方、ステートフォローの更新フィードバックはそれを維持することができる。 次に、異なる観測条件と更新条件によって形成された学習者を比較するが、特定の再構成測定値と一致した。 両者は同じ短時間の介入の下で変化するが、反応は異なる。 リセット アダムは10倍の差を大きく取り除き、第2モーメントを交換すると、どのルートがより影響を受けやすいかが逆転する。 新たな介入は、平均2次モーメントスケーリングの等化が減少するが、その差を除去しないことを示している。 新たなAdamやキャリブレーションされたSGDでは、ルートの差が小さくなり、500の共通更新が選択したアロケーションエンドポイントをクローズする。 更なる制御は、同一の取得と等しい平均損失重みを伴う応答差を生成するが、共同で異なる重み変数と実現シーケンスを生成する。 獲得選択形成は対称な3標的設定にまで拡張される。 これらの介入は、特殊化の形成、現在のサポート、および時間依存的な潜在感受性を区別する。

関連論文リスト

• Learning Dynamics of Continual Learning: A Unified View of Data Attribution, Forgetting, and Plasticity Loss [36.55356475801966]
  現代の言語モデルは、一度訓練されたり凍結されたりするのではなく、生涯にわたって更新される可能性が高い。 これらの課題は、進化する更新-振る舞いの相互作用によって管理されていることを示す。
  論文  参考訳（メタデータ） (2026-09-27T14:38:02Z)
• Self-Confirming Superposition Traps in Reinforcement Learning [62.71685993550818]
  強化学習はエージェントのポリシーによって選択されたデータに基づいて表現し、その結果のリターンを使って次の選択を導く。 これらのデータに対して表現フィッティングがグローバルに最適である場合でも,このループは低リターンポリシーを維持可能であることを示す。
  論文  参考訳（メタデータ） (2026-09-26T21:56:26Z)
• Representation Collapse in Sequential Post-Training of Large Language Models [17.437127662981847]
  逐次後学習が内部表現を低ランク,異方性,均一な特徴空間に徐々に圧縮するかどうかを考察する。 我々は,制御段階順序下での教師付き微調整,選好最適化,安全/拒絶チューニング,数学とコードの特殊化,および長いチェーン・オブ・シンキングを解析した。
  論文  参考訳（メタデータ） (2026-05-28T19:59:17Z)
• Notes on the Reward Representation of Posterior Updates [1.0247773757446124]
  固定確率モデルにおいて, KL-正則化ソフトアップデートがベイズ後部である場合について検討した。 この体制では、行動の変化は、そのチャネルによって実行される証拠によってのみ引き起こされる。 後続のアップデートは、行動を変える相対的な文脈依存のインセンティブ信号を決定するが、絶対的な報酬は決定しない。
  論文  参考訳（メタデータ） (2026-02-02T23:37:39Z)
• Evolving choice hysteresis in reinforcement learning: comparing the adaptive value of positivity bias and gradual perseveration [0.0]
  多くの状況において, 肯定バイアスは進化的安定であり, 漸進的摂動の出現は体系的でなく, 頑健であることを示す。 以上の結果から, 環境特異的な方法で, バイアスが適応し, 進化によって選択できることが示唆された。
  論文  参考訳（メタデータ） (2024-10-25T09:47:31Z)
• Regressor-Segmenter Mutual Prompt Learning for Crowd Counting [70.49246560246736]
  本稿では,アノテーションの差によるバイアスや不正確性を解決するために,相互学習(mPrompt)を提案する。 実験により、mPromptは平均誤差(MAE)を著しく減少させることが示された。
  論文  参考訳（メタデータ） (2023-12-04T07:53:59Z)
• REBAR: Retrieval-Based Reconstruction for Time-series Contrastive Learning [64.08293076551601]
  正の対を識別する学習尺度を新たに提案する。 検索ベースレコンストラクションは2つのシーケンス間の類似度を測定する。 本稿では,REBAR誤差が相互クラスメンバシップの予測因子であることを示す。
  論文  参考訳（メタデータ） (2023-11-01T13:44:45Z)
• New Insights on Reducing Abrupt Representation Change in Online Continual Learning [69.05515249097208]
  我々は、以前に観測されていないクラスが入ってくるデータストリームに現れるときに発生する観測データの表現の変化に焦点を当てる。 Experience Replayを適用すると、新たに追加されたクラスの表現が以前のクラスと大幅に重複することを示します。 本稿では,新しいクラスに対応するために,学習した表現を劇的な適応から保護することで,この問題を緩和する手法を提案する。
  論文  参考訳（メタデータ） (2022-03-08T01:37:00Z)
• DICE: Diversity in Deep Ensembles via Conditional Redundancy Adversarial Estimation [109.11580756757611]
  メンバー間の多様性のおかげで、ディープアンサンブルは単一のネットワークよりもパフォーマンスが良い。 最近のアプローチでは、多様性を高めるための予測を規則化していますが、個々のメンバーのパフォーマンスも大幅に減少します。 DICEと呼ばれる新しいトレーニング基準を導入し、特徴間の素早い相関を減らして多様性を高める。
  論文  参考訳（メタデータ） (2021-01-14T10:53:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。