論文の概要: When does a network's training history predict its future learning better than its current state? Evidence from a response probe and a forecasting screen

• arxiv url: http://arxiv.org/abs/2610.09621v1
• Date: Wed, 07 Oct 2026 07:59:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.790368
• Title: When does a network's training history predict its future learning better than its current state? Evidence from a response probe and a forecasting screen
• Title（参考訳）: ネットワークのトレーニング履歴は、その将来的学習を現在の状態よりよく予測するだろうか?応答プローブと予測画面からの証拠
• Abstract要約: ネットワークのトレーニング履歴が、現在の状況よりも将来的な学習を予測できるかどうかを問う。 4次元の履歴状態は、現在の状態のモデルでは改善されなかった。 合成回帰1,560回の画面では、同じ疑問がさらに遠くまで投げかけられた。
• 参考スコア（独自算出の注目度）: 4.752695927434714
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Networks that behave alike now can still learn differently when training continues. Work on loss of plasticity and critical periods shows that the path to a state shapes what follows; it does not show whether the path carries information that a measurement of the state itself misses. We ask when the training history of a network predicts its future learning better than its current state. In a main study, small multilayer perceptrons were trained under three history regimes (42 histories), and future learning was measured at four checkpoints by a short probe: a copy of the network trained for 100 updates on a new task. Before the prediction result was read, the protocol checked the probe. It responded monotonically to a function-preserving rescaling of hidden units, repeated measurements agreed (intraclass correlation 0.940, [0.903, 0.997], in the least reliable class, mean of three repeats), and a re-initialisation of units was visible directly after it but not 100 to 200 updates later. A history state of at most four dimensions did not improve on a calibrated model of the current state (gain -21.4%, 90% interval [-91.9, 8.1]; required in advance: 10%). A companion screen on 1,560 synthetic regression runs asked the same question for a target further away, the final error of the run. There, history models forecast better than the current validation error after 12 of up to 240 epochs (compact state 30.3%, [15.8, 39.4], a contextual comparison) and were not distinguishable from it after 48. In both studies the history was informative only while the current state was not yet informative about the target; this reading was formed after the results.
• Abstract（参考訳）: 今や同じように振る舞うネットワークは、トレーニングが継続しても異なる学習ができる。 可塑性と臨界周期の喪失に関する研究は、状態への経路が以下のことを形作っていることを示している。 ネットワークのトレーニング履歴が、現在の状況よりも将来的な学習を予測できるかどうかを問う。 メインスタディでは,3つの歴史体制(42の履歴)の下で小さな多層パーセプトロンをトレーニングし,短期調査により4つのチェックポイントで将来の学習を計測した。 予測結果が読まれる前に、プロトコルがプローブをチェックした。 隠れたユニットの関数保存再スケーリングに対して単調に応答し、繰り返し測定が一致した(最も信頼性の低いクラスでは、0.940, [0.903, 0.997])。 最大4次元の履歴状態は、現在の状態の校正モデルでは改善されなかった(-21.4%、90%間隔 [-91.9, 8.1]、前もって要求される10%)。 合成回帰ラン1,560のコンパニオンスクリーンは、実行の最終エラーであるさらに遠くのターゲットに対して同じ質問をした。 歴史モデルは、最大240のエポック(約30.3%、[15.8, 39.4]、文脈比較)の12回後の現在の検証エラーよりも予測が良く、48回以降は区別できない。 どちらの研究においても、現在の状態が目標についてまだ情報化されていない間だけ、歴史は情報化され、この読みは結果の後に形成された。

関連論文リスト

• Learn Now, Use Next, Trust Later: Prequential Test-Time Learning for LLM Agents [55.440058537827134]
  StepLearnは、永続的な信頼から即時の使用を分離する非パラメトリックフレームワークである。 情報的な遷移を仮説に変え、次のステップを導く。 GPT-5-miniでの平均成功率は59.9%、84.0%、Qwen3.5-35B-A3Bで57.8%、88.1%である。
  論文  参考訳（メタデータ） (2026-09-28T08:06:03Z)
• Continual Learning via Self-Probe Gradients [10.281917231182424]
  事前学習されたモデルを新しいデータに適用することは、以前に学習された振る舞いを壊滅的に忘れてしまう可能性がある。 言語モデルがこの証拠を自己証明によって拡張できることを示す。
  論文  参考訳（メタデータ） (2026-09-26T16:48:20Z)
• Learning Through Retrospection: Improving Trajectory Prediction for Automated Driving with Error Feedback [41.94295877935867]
  自動走行では、周囲の車両の軌道予測がシーンダイナミクスの推論をサポートし、エゴ車両の安全な計画を可能にする。 既存のモデルは、観測された情報に基づいて将来の軌跡を予測するための瞬間的なタスクとして予測を扱う。 提案手法は,推論中の誤差を補正し,再現する手法である。
  論文  参考訳（メタデータ） (2025-04-18T16:35:12Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [93.90047628101155]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 これを解決するために、新しいタスク学習中に過去のタスクからのデータを再生する手法を提案する。 しかし、メモリの制約やデータプライバシーの問題により、実際には期待できない。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• LARA: A Light and Anti-overfitting Retraining Approach for Unsupervised Time Series Anomaly Detection [49.52429991848581]
  深部変分自動エンコーダに基づく時系列異常検出手法(VAE)のための光・反オーバーフィット学習手法(LARA)を提案する。 本研究の目的は,1) 再学習過程を凸問題として定式化し, 過度に収束できること,2) 履歴データを保存せずに活用するルミネートブロックを設計すること,3) 潜在ベクトルと再構成データの微調整を行うと, 線形形成が基底真実と微調整されたブロックとの誤りを最小に調整できることを数学的に証明することである。
  論文  参考訳（メタデータ） (2023-10-09T12:36:16Z)
• EANet: Expert Attention Network for Online Trajectory Prediction [5.600280639034753]
  Expert Attention Networkは、軌道予測のための完全なオンライン学習フレームワークである。 我々は,ネットワーク層の深さの異なる重みを調整し,勾配問題によるモデル更新が遅いことを回避し,専門家の注意を喚起する。 さらに,シナリオ変化に敏感な短期動作トレンドカーネル関数を提案する。
  論文  参考訳（メタデータ） (2023-09-11T07:09:40Z)
• How many Observations are Enough? Knowledge Distillation for Trajectory Forecasting [31.57539055861249]
  現在の最先端モデルは、通常、過去の追跡された場所の「歴史」に頼り、将来の位置の妥当なシーケンスを予測する。 我々は,教師ネットワークから学生ネットワークへの知識伝達を可能にする新しい蒸留戦略を考案した。 適切に定義された教師の監督により、学生ネットワークが最先端のアプローチと相容れないように実行できることが示される。
  論文  参考訳（メタデータ） (2022-03-09T15:05:39Z)
• Reducing Representation Drift in Online Continual Learning [87.71558506591937]
  私たちは、エージェントが制限されたメモリと計算で変化する分布から学ぶ必要があるオンライン連続学習パラダイムを研究します。 この作業では、入ってくるデータストリームに未観測のクラスサンプルが導入されることにより、事前に観測されたデータの表現の変化に焦点を合わせます。
  論文  参考訳（メタデータ） (2021-04-11T15:19:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。