論文の概要: Train Smarter, Not Harder: Switching Signal-Guided Training in Active Learning
- arxiv url: http://arxiv.org/abs/2609.06806v1
- Date: Sun, 06 Sep 2026 19:45:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.307941
- Title: Train Smarter, Not Harder: Switching Signal-Guided Training in Active Learning
- Title（参考訳）: 列車はより賢く、より難しくない - アクティブラーニングにおける信号誘導訓練の切り替え
- Abstract要約: モデル軌道が安定すると, 微調整がより安全になるのに対して, 早期ラウンドでは再訓練が最も有用であることを示す。
オンライン安定化信号を監視する適応型トレーニングスケジュールであるHybridALを提案する。
- 参考スコア（独自算出の注目度）: 1.215621649989295
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Training strategy, namely whether to retrain from scratch or fine-tune from the previous checkpoint, is an overlooked decision variable in active learning. We show that this choice has exploitable structure: retraining is most useful in early rounds, when each batch can substantially reshape the labeled distribution, while fine-tuning becomes safer once the model trajectory stabilizes. We propose HybridAL, an adaptive training schedule that monitors an online stabilization signal and switches from retraining to fine-tuning after sustained stabilization. Two complementary signals, spectral exponent change $Δα$ (weight-based) and accuracy change $Δ$Acc (validation-based), span different points on the time-calibration trade-off. Across three encoder backbones and six text-classification tasks (five seeds each), HybridAL keeps endpoint macro-F1 non-inferior to retraining and fine-tuning at a 0.010 margin, saves up to 49% of retraining time, and recovers a substantial fraction of retraining's calibration advantage as measured by negative log-likelihood (NLL). Compared with schedules that switch at a pre-committed round, HybridAL obtains lower NLL at moderate additional cost, showing that trajectory-dependent switching provides a stronger time-calibration trade-off than fixed early switching.
- Abstract（参考訳）: トレーニング戦略、すなわち、以前のチェックポイントからスクラッチからトレーニングするか、ファインチューンからトレーニングするかは、アクティブラーニングにおいて見落とされた決定変数である。
各バッチがラベル付き分布を実質的に再構成できるのに対して、モデル軌道が安定すると、微調整はより安全になる。
オンライン安定化信号を監視する適応型トレーニングスケジュールであるHybridALを提案する。
2つの補完信号、スペクトル指数変化$Δα$(ウェイトベース)と精度変化$Δ$Acc(バリデーションベース)は、時間校正トレードオフの異なる点にまたがる。
3つのエンコーダのバックボーンと6つのテキスト分類タスク(それぞれ5つのシード)にまたがって、HybridalはエンドポイントマクロF1を0.010のマージンで再トレーニングと微調整に非干渉的に保持し、リトレーニング時間の最大49%を節約し、負のログライクリフ(NLL)によって測定されたリトレーニングのキャリブレーションのかなりの割合を回復する。
プリコミットラウンドで切り替えるスケジュールと比較すると、HybridALは低NLLを適度な追加コストで取得し、軌道依存切換は固定された早期切換よりもより強い時間校正トレードオフを提供することを示した。
関連論文リスト
- HarnessBandit: Joint Learnability-Transferability Scheduling for Multi-Harness Agentic Reinforcement Learning [40.61476978001808]
ステップ毎に1つのハーネスを選択するオンラインスケジューラであるHarnessBanditを開発した。
我々は、ClawGymで6つのハーネスでQwen3.5-2Bを訓練し、PinchBenchとClawEvalで評価する。
論文 参考訳（メタデータ） (2026-09-12T06:22:45Z) - From Perturbation Correction to Geometry-Aware Sampling: Sharpness-Guided Equilibrium Sampling for Balanced Flat Minima in Long-Tailed Learning [7.33659299625996]
本稿では,サンプリング分布を最適化のためのアクティブ制御変数として扱うシャープネスガイドサンプリング(SGS)を提案する。
不均衡比が100であるCIFAR-100では、SGS-SAMはFocal-SAMを尾精度で10.85ポイント、総合で3.56ポイント改善している。
ImageNet-LTでは、尾クラスのImbSAMを6.59ポイント、全体的な1.20ポイント改善している。
論文 参考訳（メタデータ） (2026-07-24T05:56:00Z) - Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping [56.14767235650558]
共有トランスブロックを繰り返し適用するLooped Transformerは、可変長の計算タスクに自然に適合するアーキテクチャである。
この差分を、列長とループ数の間の単純なアルゴリズムタスクにおける突発的相関に追従する。
私たちの研究は、"停止する時"は単なる推論時間割当ルールではなく、トレーニング設計の選択として扱われるべきであることを示唆しています。
論文 参考訳（メタデータ） (2026-06-29T08:58:09Z) - REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。
我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
論文 参考訳（メタデータ） (2026-06-17T10:37:23Z) - Gradient-Flow Optimization as Dynamic Random-Effects Inference: Testing and Early Stopping with Applications to Deep Learning [16.158545640309438]
我々は勾配流学習のための統計的推論フレームワークを開発した。
トレーニング時間は、分散が再配置される方法を決定する分散成分パラメータになる。
固定勾配系における深層学習モデルは、理論の現代AIインスタンス化を提供する。
論文 参考訳（メタデータ） (2026-05-27T05:32:24Z) - GAC: Noise-Aware Adaptive Mixing for Hybrid SFT-RL Post-Training [21.974153439592317]
本稿では,2つの学習信号間の勾配差と不一致のオンライン推定から適応混合重みを導出する雑音認識型制御器GACを提案する。
数学、コード、科学、論理学のベンチマークの実験では、GACは強い固定とルールベースのベースラインよりも、ハイブリッドなポストトレーニングを一貫して改善している。
論文 参考訳（メタデータ） (2026-05-25T07:52:29Z) - MARBLE: Multi-Aspect Reward Balance for Diffusion RL [71.6241143519038]
強化学習は、拡散モデルと人間の嗜好を整合させる主要なアプローチとなっている。
既存のプラクティスは、報酬ごとに1つのスペシャリストモデルをトレーニングすることで、複数の報酬を処理します。
我々は,各報酬に対する独立な優位推定器を維持する勾配空間最適化フレームワークMARBLEを提案する。
論文 参考訳（メタデータ） (2026-05-07T16:20:42Z) - Unleashing Implicit Rewards: Prefix-Value Learning for Distribution-Level Optimization [74.91418266859297]
インプシットプロセス報酬モデル(PRM)は、推論プロセスに沿ってきめ細かな報酬信号を提供する。
トレーニングはシーケンスレベルの集約のみを制限しますが、推論はローカルステップの品質を反映するためにトークンレベルのスコアが必要です。
本稿では,予測精度を推定するプレフィックス条件付き値関数を直接学習する新しいインプリシット・プレフィックス・バリュー・リワード・モデル(IPVRM)を提案する。
また,サンプルトークンと高確率候補トークンの両方に対してTDの利点を演算する分散レベルRL(DistRL)を提案する。
論文 参考訳（メタデータ） (2026-04-14T18:19:54Z) - Optimistic Transfer under Task Shift via Bellman Alignment [5.192817801536311]
マルコフ決定過程におけるオンライン転送強化学習(RL)について検討した。
オンラインRLにおける転送の正しい抽象化として,一段階のベルマンアライメントを同定する。
本稿では、継続値を再ターゲットとし、遷移ミスマッチを補償する演算子レベルの補正である、再重み付きターゲティング(RWT)を提案する。
論文 参考訳（メタデータ） (2026-01-29T16:16:24Z) - Reasoning Stabilization Point: A Training-Time Signal for Stable Evidence and Shortcut Reliance [0.0]
我々は、固定されたプローブ集合上の正規化トークン属性におけるエポック・ツー・エポックな変化として説明ドリフトを定義する。
RSPは内部のドリフトダイナミクスから計算され、アウト・オブ・ディストリビューションデータのチューニングは不要である。
論文 参考訳（メタデータ） (2026-01-12T17:48:05Z) - Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2024-03-01T03:27:08Z) - SpacTor-T5: Pre-training T5 Models with Span Corruption and Replaced
Token Detection [49.43407207482008]
SpacTorは、スパン汚職(SC)とトークン置換検出(RTD)を組み合わせたハイブリッド目標からなる新しいトレーニング手順である。
各種NLPタスクにおけるエンコーダ・デコーダアーキテクチャ(T5)による実験では、SpacTor-T5は標準のSCプリトレーニングと同じダウンストリーム性能が得られる。
論文 参考訳（メタデータ） (2024-01-24T00:36:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。