論文の概要: Behavioral Convergence Without Representational Convergence: Persistent Training-History Dependence in Neural Networks

• arxiv url: http://arxiv.org/abs/2609.37836v1
• Date: Tue, 29 Sep 2026 15:38:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.693503
• Title: Behavioral Convergence Without Representational Convergence: Persistent Training-History Dependence in Neural Networks
• Title（参考訳）: 表現的収束のない行動収束:ニューラルネットワークにおける持続的学習履歴依存性
• Abstract要約: 同じ最終目標に向けてトレーニングされたニューラルネットワークは、以前のトレーニング履歴によって形作られた内部表現を保持しながら、同様の予測性能に達することができる。 この効果は、ペアの畳み込みネットワークが同一の重みから始まり、逆タスクオーダを経験し、同じ共通相対分布を受信する、制御された逐次学習実験を用いて検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks trained toward the same final objective can reach similar predictive performance while retaining internal representations shaped by earlier training history. We study this effect using controlled sequential-training experiments in which paired convolutional networks start from identical weights, experience reversed task orders, and then receive the same deterministic common-relaxation distribution. Across 20 paired MNIST runs, 16 satisfy a predeclared behavioral-matching criterion, yet their matched representations retain a mean history score of 0.139 (95% bootstrap CI: 0.127-0.153) and approximately 3.1% prediction disagreement. Extending common relaxation to 50,000 optimizer updates does not erase the measured difference: across five paired seeds, the representation-history score remains 0.190 (95% bootstrap CI: 0.161-0.219) at the end of the measured horizon while the mean accuracy gap is only 0.18 percentage points. Fresh linear probes show that, with sufficient labeled data, the two histories retain practically equivalent linearly accessible class information. A same-label rotated-MNIST control reproduces the effect: all five paired seeds reach behavioral matching while retaining a mean representation-history score of 0.162. Finally, a matched-learning-rate ReLU-LeakyReLU control reduces the 50,000-update representation residue by 0.040 on average in all five paired seeds, providing directional evidence that activation-mediated plasticity contributes to the persistence of training-history effects. These results provide protocol-scoped evidence that behavioral convergence need not imply representational convergence and that optimization history can leave measurable internal traces after prolonged common training.
• Abstract（参考訳）: 同じ最終目標に向けてトレーニングされたニューラルネットワークは、以前のトレーニング履歴によって形作られた内部表現を保持しながら、同様の予測性能に達することができる。 この効果は、ペアの畳み込みネットワークが同一の重みから始まり、逆タスクオーダを経験し、同じ決定論的共通相対分布を受信する、制御された逐次学習実験を用いて検討する。 20対のMNISTラン16は、事前宣言された行動マッチング基準を満たすが、一致した表現は平均履歴スコア0.139(95%ブートストラップCI:0.127-0.153)と約3.1%の予測不一致を維持している。 5つのペアの種子で表現履歴スコアが0.190(95%ブートストラップCI:0.161-0.219)であり、平均精度ギャップは0.18ポイントである。 新鮮な線形プローブは、十分なラベル付きデータにより、2つの履歴が実質的に等価な線形アクセス可能なクラス情報を保持することを示している。 同ラベル回転MNIST制御は、平均表現履歴スコア0.162を維持しながら、5対の種子すべてが行動整合に達する効果を再現する。 最後に、一致した学習率のReLU-LeakyReLU制御は、5対の種子すべてにおいて平均で50,000の更新された表現残基を0.040減少させ、活性化による可塑性がトレーニング履歴効果の持続性に寄与するという方向性の証拠を与える。 これらの結果は、行動収束が表現収束を暗示する必要はないこと、そして最適化履歴が長期の共通訓練後に測定可能な内部トレースを残すことを証明した。

関連論文リスト

• Intrinsic-Extrinsic Coupling in Learning Dynamics [0.0]
  制約付き学習状態介入の継続条件値を用いて本質的・外生的結合を定式化する。 我々は,地域の許容度,継続条件付き介入値,完全政治性能を区別する。
  論文  参考訳（メタデータ） (2026-09-24T17:30:22Z)
• What Survives on Real Drawings: Active Sampling, Connectome Wiring, and Matched Baselines in Architectural Document Vision [0.0]
  ハエ視覚系のコネクトーム制約されたモデルは、所定の動きによって建築図面上を駆動することができる。 我々は、同じ721光受容体サンプルを見ることができる情報マッチングベースラインと比較する。 クリーンな合成データでは、凍結したモデルが転送されるが、タスクトレーニングに負ける。
  論文  参考訳（メタデータ） (2026-09-21T13:30:30Z)
• How Faithful Is Attribution for Sales Forecasting? A Counterfactual Study [0.0]
  WaveNetスタイルの拡張畳み込みネットワークのような販売予測のための深いモデルは正確だが不透明である。 我々は、Corporacion FavoritaのフルデータセットでトレーニングされたマルチシリーズWaveNet予測層に、ポストホックでアーキテクチャに依存しない非現実的な解釈層を追加します。
  論文  参考訳（メタデータ） (2026-09-04T06:52:15Z)
• Token Budget Saturation and Mechanistic Early Detection of Reasoning Non-Convergence in Chain-of-Thought Models [1.4563514298965277]
  チェーン・オブ・シント推論モデルはバイモーダル収束パターンを示す。 世代は、(収束しない)トークン予算内で終了するか、(収束しない)結論に達することなくそれを排気する AIME 1983-2024では収束世代が90.3%、非収束世代は6.6%であり、全体の収束率は62.0%である。
  論文  参考訳（メタデータ） (2026-07-23T15:37:04Z)
• Collaborative Value Function Estimation Under Model Mismatch: A Federated Temporal Difference Analysis [55.13545823385091]
  フェデレーション強化学習(FedRL)は、エージェント間のデータ交換を防止し、データのプライバシを維持しながら協調学習を可能にする。 現実世界のアプリケーションでは、各エージェントは若干異なる遷移ダイナミクスを経験し、固有のモデルミスマッチを引き起こす。 情報共有の適度なレベルでさえ、環境固有のエラーを著しく軽減することを示す。
  論文  参考訳（メタデータ） (2025-03-21T18:06:28Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Explicit Tradeoffs between Adversarial and Natural Distributional Robustness [48.44639585732391]
  実際、モデルは信頼性を確保するために両方のタイプの堅牢さを享受する必要があります。 本研究では, 対角線と自然分布の強靭性の間には, 明らかなトレードオフが存在することを示す。
  論文  参考訳（メタデータ） (2022-09-15T19:58:01Z)
• Semi-supervised Contrastive Learning with Similarity Co-calibration [72.38187308270135]
  SsCL(Semi-supervised Contrastive Learning)と呼ばれる新しいトレーニング戦略を提案する。 ssclは、自己教師付き学習におけるよく知られたコントラスト損失と、半教師付き学習におけるクロスエントロピー損失を組み合わせる。 SsCLはより差別的な表現を生じさせ,ショット学習に有益であることを示す。
  論文  参考訳（メタデータ） (2021-05-16T09:13:56Z)
• Self-Challenging Improves Cross-Domain Generalization [81.99554996975372]
  畳み込みニューラルネットワーク(CNN)は、ラベルと相関する支配的特徴を活性化することにより、画像分類を行う。 ドメイン外データに対するCNNの一般化を著しく改善する簡単なトレーニングである自己整合表現(RSC)を導入する。 RSCはトレーニングデータ上で活性化される主要な機能に対して反復的に挑戦し、ラベルと相関する残りの機能を有効にするようネットワークに強制する。
  論文  参考訳（メタデータ） (2020-07-05T21:42:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。