論文の概要: Early Memory Selection for Balanced Adam

• arxiv url: http://arxiv.org/abs/2610.08624v1
• Date: Tue, 06 Oct 2026 16:22:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:30.106734
• Title: Early Memory Selection for Balanced Adam
• Title（参考訳）: 平衡アダムの早期記憶選択
• Abstract要約: 本稿では,Adam における共有メモリパラメータ $==$ を選択する手法を提案する。 局所モデルは、過去の勾配を平均化することによって生じる遅延に対してアダムの正規化方向サンプリング変数のバランスをとる。 11のビジョンと言語ワークロードに対するシードマッチングの振り返り評価は、平均相対的検証ギャップを40.7%削減する。
• 参考スコア（独自算出の注目度）: 1.1145952934885128
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a method for choosing the shared memory parameter $β_1=β_2=β$ in Adam from a short pilot training. The selected $β$ remains fixed during the subsequent full training. A local model of Adam's normalized direction balances sampling variability against the delay introduced by averaging past gradients. This balance gives a cubic memory rule, whose two coefficients are estimated from gradient probes at a few pilot checkpoints. The estimator uses the numerator and denominator jointly, preserving their covariance. With a 200-update pilot and sixteen probe gradients at each of four checkpoints, a seed-matched retrospective evaluation on eleven vision and language workloads reduces mean relative validation gap by 40.7% and worst-quarter mean gap by 44.3% against the grid representative of shared $β=0.95$. The mean gap is also 32.3% lower than that of the best constant $β$ chosen across all eleven workloads.
• Abstract（参考訳）: 本稿では,Adam の共有メモリパラメータ $β_1=β_2=β$ を選択する手法を提案する。 選択された$β$は、その後のフルトレーニング中に固定される。 アダムの正規化方向の局所モデルは、過去の勾配の平均化による遅延に対するサンプリング変数のバランスをとる。 このバランスは、数回のパイロットチェックポイントでの勾配プローブから2つの係数を推定する3乗記憶則を与える。 推定器は、数値演算器と分母を共同で使用し、それらの共分散を保存する。 4つのチェックポイントごとに200アップデートされたパイロットと16のプローブ勾配により、11のビジョンと言語ワークロードに対するシードマッチングされた振り返り評価により、平均相対的検証ギャップが40.7%減少し、シェアされた$β=0.95$のグリッド代表に対して、最悪の4分の1の平均ギャップが44.3%減少する。 また、平均ギャップは、11のワークロードで選択された最高の定数$β$よりも32.3%低い。

関連論文リスト

• Refreshing Less, Selecting Better: Reusing Stale Gradient Features for Efficient Influence-Based Data Selection [10.53324936310131]
  LESSのようなグラディエントベースのデータ選択方法は、その勾配と目標の検証勾配との整合によって各候補をスコアし、新しいチェックポイント毎にサンプルごとの勾配特徴を再計算することでコストを抑える。 そこで本研究では,トップランクの分数$p$候補の勾配特性を再計算するCached Diverse Influence Selection (CDIS)を提案する。 CDISは、ゼロを除いた信頼区間と4.3ポイントの完全再計算、トレーニングラン標準偏差、選択コストの3.4倍の確率でランダム選択よりも12ポイント高いスコアを得る。
  論文  参考訳（メタデータ） (2026-09-26T19:16:59Z)
• Speculative Evaluation of Stochastic LLMs [48.902430583833585]
  投機的評価は、短い一様パイロットと、タスク毎の成功回数のプールを実行する。 HBN-asyncは、部分的なパイロットフィードバックからの継続を投機的に実行し、最終的なアロケーションによって選択されたものを保持する。 1タスクあたり8-64のロールアウト予算では、投機的評価は、Uniformに対する分散を平均12.8%から33.6%削減する。
  論文  参考訳（メタデータ） (2026-09-23T09:20:22Z)
• BRiG-AFA: Bellman Risk-to-Go Learning for Non-Myopic Active Feature Acquisition [8.363536351727978]
  アクティブな機能取得は、予算の下で各テストインスタンスの次を計測する観測されていない機能を要求する。 本稿では,残予算毎に個別の候補条件付きリスク・ツー・ゴー関数を学習する,デプロイ可能な教師付き代替手段であるメソッドを導入する。
  論文  参考訳（メタデータ） (2026-08-03T14:30:44Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• Instance-Optimal Estimation with Multiple LLM Judges on a Budget [84.31744861038106]
  我々は、この問題を*予算付きヘテロスケダティックなマルチジャッジ推定*として定式化する。 K$のプロンプト-レスポンスペア、J$の既知のコストと未知のクエリ-ジャッジ分散が与えられた場合、目標は、$ell_p$-errorを最小化しながら、有界スコアベクトルを推定することである。 EST-IVWEは,予算の低次項までのオラクルIVWEレートと一致していることを示す。
  論文  参考訳（メタデータ） (2026-05-22T08:26:08Z)
• Refresh-Scaling the Memory of Balanced Adam [1.1145952934885128]
  バランスの取れたAdamでは、$は無次元定数として扱われるべきではない。 我々は、Adamがトレーニングの有用な段階で内部統計を更新する回数を計測するリフレッシュカウント$R_= (1-)T_mathrmES$について検討する。
  論文  参考訳（メタデータ） (2026-05-11T07:35:46Z)
• Multi-Dimensional Behavioral Evaluation of Agentic Stock Prediction Systems Using Large Language Model Judges with Closed-Loop Reinforcement Learning Feedback [1.2362187555287152]
  ファイナンスにおける予測評価は、ポイント予測エラーに基づく集計精度測定と予測精度テストに依存している。 本稿では,中間決定プロセス自体を評価することによって,精度試験を補完する行動予測評価手法を提案する。
  論文  参考訳（メタデータ） (2026-05-07T06:31:34Z)
• From Continual Learning to SGD and Back: Better Rates for Continual Linear Models [50.11453013647086]
  以前見られたタスクの損失を、$k$の繰り返しの後、忘れること、すなわち、分析する。 実現可能な最小二乗の設定において、新しい最上界を創出する。 我々は、タスクを繰り返しないランダム化だけで、十分に長いタスクシーケンスで破滅的な事態を防げることを初めて証明した。
  論文  参考訳（メタデータ） (2025-04-06T18:39:45Z)
• Adam$^+$: A Stochastic Method with Adaptive Variance Reduction [56.051001950733315]
  Adamはディープラーニングアプリケーションに広く使われている最適化手法である。 我々はAdam$+$(Adam-plusと発音する)という新しい方法を提案する。 画像分類,言語モデリング,自動音声認識など,さまざまなディープラーニングタスクに関する実証研究により,Adam$+$がAdamを著しく上回ることを示した。
  論文  参考訳（メタデータ） (2020-11-24T09:28:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。