論文の概要: Age of Learning: Temporal Persistence of Prediction Errors as a Learning Signal
- arxiv url: http://arxiv.org/abs/2609.32593v1
- Date: Sat, 26 Sep 2026 13:11:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-07 05:52:37.37619
- Title: Age of Learning: Temporal Persistence of Prediction Errors as a Learning Signal
- Title(参考訳): 学習年齢:学習信号としての予測誤差の時間的持続性
- Abstract要約: Age of Learning (AoL)は、予測エラーの持続時間を測定する学習状態変数である。
AoLはエラーが未解決のまま増加し、正しい予測が達成されたときにリセットされる。
オフラインとストリーミングの両方で、AoLベースのトレーニング戦略を開発します。
- 参考スコア(独自算出の注目度): 9.854446261479556
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Current machine learning algorithms primarily rely on instantaneous signals such as loss, margin, and prediction confidence to characterize model behavior. These signals indicate how difficult a prediction is at the current optimization step, but they do not capture how long the model has remained incorrect. We study this temporal dimension of learning and introduce Age of Learning (AoL), a learning-state variable that measures the persistence of prediction errors over time. AoL increases while an error remains unresolved and resets when a correct prediction is achieved, thereby distinguishing persistent under-learning from transient mistakes. We develop AoL-based training strategies for both offline and streaming settings. In offline learning, sample-level AoL is accumulated over training and aggregated into class-level states that guide adaptive reweighting and resampling. In streaming learning, where full historical access is unavailable, we maintain lightweight class-level AoL states using current and buffered observations. Across long-tailed classification settings, AoL improves or matches standard training baselines, with larger benefits when learning difficulty persists over time. Multi-seed streaming experiments further show reproducible gains under temporally stable imbalance. Analysis of class frequency, loss, and margin shows that AoL is related to conventional difficulty measures but captures additional information about error duration. These results suggest that temporal persistence provides a useful complementary signal for characterizing and controlling learning dynamics in imbalanced and non-stationary environments.
- Abstract(参考訳): 現在の機械学習アルゴリズムは、主にモデルの振る舞いを特徴づけるために損失、マージン、予測信頼などの瞬間的な信号に依存している。
これらの信号は、現在の最適化ステップにおける予測の難しさを示しているが、モデルが正しくない期間を捉えていない。
本稿では,この時間次元の学習について検討し,時間とともに予測エラーの持続性を測定する学習状態変数であるAOL( Age of Learning)を紹介する。
AoLは、エラーが未解決のまま増加し、正しい予測が達成されたときにリセットされるため、過渡的誤りから永続的なアンダーラーニングを区別する。
オフラインとストリーミングの両方で、AoLベースのトレーニング戦略を開発します。
オフライン学習では、サンプルレベルのAoLはトレーニングによって蓄積され、適応的な再重み付けと再サンプリングを導くクラスレベルの状態に集約される。
フルヒストリアクセスが不可能なストリーミング学習では、現在の観測とバッファリングされた観測を使用して、軽量なクラスレベルのAoL状態を維持する。
長い尾の分類設定全体にわたって、AoLは標準のトレーニングベースラインを改善したり、適合させたりすることで、学習困難が時間の経過とともに持続する際の大きなメリットがある。
マルチシードストリーミング実験はさらに、時間的に安定な不均衡の下で再現可能なゲインを示す。
クラス周波数、損失、マージンの分析から、AoLは従来の難易度と関係があるが、エラー時間に関する追加情報を取得する。
これらの結果から,時間的持続性は,不均衡環境や非定常環境における学習力学の特徴付けと制御に有用な補完信号となることが示唆された。
関連論文リスト
- Common-Mode Collapse and Recovery in Direct Feedback Alignment [0.764671395172401]
直接フィードバックアライメントは、出力誤差の固定されたランダムな投影を通して隠れた層を訓練する。
MNISTでは、クラス陰性性は大部分が崩壊するが、読み出し学習は一定の学習速度で遅いままである。
ベースラインの読み出しをクラスにキャリブレーションすることは、崩壊を抑制し、学習を高速化する。
論文 参考訳(メタデータ) (2026-09-25T17:43:40Z) - Beyond Static Costs: Learning-Dynamics Aware Loss Functions for Long-Tailed Classification [1.5703403045941313]
コンピュータビジョンのディープラーニングモデルは、長い尾のデータセットでトレーニングされた場合、重大な課題に直面します。
本稿では,静的なサンプル数から動的学習の進歩に焦点を移す新しい学習-動的認識損失関数を提案する。
提案手法は最先端の再重み付け損失関数を大幅に超え,精度と一般化性の間に最適なトレードオフをもたらす。
論文 参考訳(メタデータ) (2026-07-28T15:10:33Z) - Flow map learning in nonlinear vector autoregressive models: influence of the feature-library structure on the training error [6.481727645328726]
時系列予測は、しばしば非線形および時間遅れの依存関係を学習する必要がある。
時間分解能の関数としてのトレーニング誤差は、特性的(前)漸近的スケーリング法則に従うことを示す。
論文 参考訳(メタデータ) (2026-05-29T15:35:21Z) - Statistical Roughness-Informed Machine Unlearning [3.8218584696400484]
機械学習の目的は、トレーニングされたモデルから指定された忘れ物セットの影響を取り除き、保持されたデータにユーティリティを保存することである。
本研究では,非学習更新を再配置するメカニズムファーストなアンラーニングアルゴリズムSRAGUを提案する。
論文 参考訳(メタデータ) (2026-02-10T00:40:36Z) - Adaptive Learning Guided by Bias-Noise-Alignment Diagnostics [0.7519872646378835]
本稿では,誤り適応進化を明示的にモデル化する診断駆動学習フレームワークを提案する。
これらの診断は、損失または時間差(TD)誤差軌跡の軽量統計からオンラインで計算される。
論文 参考訳(メタデータ) (2025-12-30T19:57:52Z) - Entropy-Guided Token Dropout: Training Autoregressive Language Models with Limited Domain Data [89.96277093034547]
本研究では,エントロピー誘導型トークンドロップアウト方式であるEntroDropを導入する。
本稿では,EntroDropが標準正規化ベースラインを一貫して上回り,拡張型マルチエポックトレーニングを通じて堅牢な性能を維持していることを示す。
論文 参考訳(メタデータ) (2025-12-29T12:35:51Z) - Dynamic Uncertainty Ranking: Enhancing Retrieval-Augmented In-Context Learning for Long-Tail Knowledge in LLMs [50.29035873837]
大規模言語モデル(LLM)は、事前訓練中に多様なドメインから膨大な量の知識を学習することができる。
専門ドメインからの長い尾の知識は、しばしば不足し、表現されていないため、モデルの記憶にはほとんど現れない。
ICLの強化学習に基づく動的不確実性ランキング手法を提案する。
論文 参考訳(メタデータ) (2024-10-31T03:42:17Z) - Near-optimal Offline Reinforcement Learning with Linear Representation:
Leveraging Variance Information with Pessimism [65.46524775457928]
オフライン強化学習は、オフライン/歴史的データを活用して、シーケンシャルな意思決定戦略を最適化しようとしている。
線形モデル表現を用いたオフライン強化学習の統計的限界について検討する。
論文 参考訳(メタデータ) (2022-03-11T09:00:12Z) - Online Continual Learning with Natural Distribution Shifts: An Empirical
Study with Visual Data [101.6195176510611]
オンライン」連続学習は、情報保持とオンライン学習の有効性の両方を評価することができる。
オンライン連続学習では、入力される各小さなデータをまずテストに使用し、次にトレーニングセットに追加し、真にオンラインにします。
本稿では,大規模かつ自然な分布変化を示すオンライン連続視覚学習のための新しいベンチマークを提案する。
論文 参考訳(メタデータ) (2021-08-20T06:17:20Z) - Self-Damaging Contrastive Learning [92.34124578823977]
ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。
本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。
実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
論文 参考訳(メタデータ) (2021-06-06T00:04:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。