論文の概要: Adaptive Optimizers Can Get a Policy Ranking Wrong: Momentum, Dependent Data, and a Two-Run Remedy

• arxiv url: http://arxiv.org/abs/2611.01216v1
• Date: Sat, 31 Oct 2026 19:38:20 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:31:09.488394
• Title: Adaptive Optimizers Can Get a Policy Ranking Wrong: Momentum, Dependent Data, and a Two-Run Remedy
• Title（参考訳）: アダプティブ・オプティマイザは、モメンタム、依存データ、ツーラン対策という、ポリシーランク付けの誤りを負うことができる
• Abstract要約: 標準推定器である線形時間差分学習(TD)は、相関観測の1つのストリームからの値に適合する。 速度がどれだけ速いかではなく、推定値を変える可能性があることを示す。 ニューヨークでは、タクシーとバッテリーのモデルが実際のデータに調整されているため、一般的な設定では、選択されたルールは変わらないが、閉じたルールを誤って発注し、その価値を誤ったままにしている。
• 参考スコア（独自算出の注目度）: 12.805268849262243
• License:
• Abstract: Operators choosing among decision rules, such as when a battery charges or where an idle taxi goes, rank them by estimated long-run value. A standard estimator, linear temporal-difference (TD) learning, fits values from one stream of correlated observations. Large fits often use an adaptive optimizer, such as adaptive moment estimation (Adam), with fixed averaging rates. We show that these rates can change what is estimated, not just how fast: the same observations drive the updates and the optimizer's step-size scaling, moving the fit away from the intended TD value. The shift differs across rules, so it need not cancel in a comparison, and more data only makes a wrong ranking look more certain. Our remedy refits the same data at a second averaging rate that halves the effective gain, the number to which the leading shift is proportional. Twice the new fit minus the original removes that shift. In New York taxi and battery models calibrated to real data, common optimizer settings leave the selected rule unchanged but order close rules wrongly and misstate its value. Our remedy corrects nearly every wrong ordering, with one extra fit when the shift is moderate and two when it is larger.
• Abstract（参考訳）: バッテリーの充電時やアイドルタクシーの行き先などの決定ルールを選択するオペレータは、見積のロングラン値でランク付けする。 標準推定器である線形時間差分学習(TD)は、相関観測の1つのストリームからの値に適合する。 大きなフィットは、アダプティブモーメント推定(Adam)のようなアダプティブ・オプティマイザを使うことが多い。 同じ観測結果が更新を駆動し、オプティマイザのステップサイズのスケーリングを実行し、意図したTD値から適合度を移動します。 このシフトはルールによって異なるため、比較でキャンセルする必要はない。 我々の治療は、平均的な第2の速度で同じデータに適合し、有効利得、リードシフトが比例する数です。 新しいフィットを2倍にすると、オリジナルはシフトをなくす。 ニューヨークのタクシーやバッテリーモデルでは、一般的なオプティマイザの設定は、選択されたルールをそのままにしておくが、クローズドなルールを誤って発注し、その価値を誤ったままにする。 私たちの治療は、ほとんどすべての間違った順序を修正します。

関連論文リスト

• Trust the Batch, On- or Off-Policy: Adaptive Policy Optimization for RL Post-Training [50.86545293331458]
  強化学習は、教師付き学習よりも構造的に難しい。 本稿では,固定クリッピングを政策比率の正規化された有効サンプルサイズに置き換える,単純かつ効果的なバッチ適応目的を提案する。
  論文  参考訳（メタデータ） (2026-05-12T16:44:47Z)
• Minmax Trend Filtering: Generalizations of Total Variation Denoising via a Local Minmax/Maxmin Formula [4.07926531936425]
  総変分分解法 (TVD) は, 基本偏差・平滑化法である。 本稿では,2つの推定器を生成する局所的なminmax/maxmin式を新たに同定する。 そこで本研究では,TVD/MTF推定器の局所的定義により,ポイントワイド推定誤差の有界化が可能となることを示す。
  論文  参考訳（メタデータ） (2024-10-03T23:15:35Z)
• Nearest Neighbor Sampling for Covariate Shift Adaptation [7.940293148084844]
  重みを推定しない新しい共変量シフト適応法を提案する。 基本的な考え方は、ソースデータセットの$k$-nearestの隣人によってラベル付けされたラベル付けされていないターゲットデータを直接扱うことだ。 実験の結果, 走行時間を大幅に短縮できることがわかった。
  論文  参考訳（メタデータ） (2023-12-15T17:28:09Z)
• Sophia: A Scalable Stochastic Second-order Optimizer for Language Model Pre-training [74.4610961015775]
  ソフィアは異なる次元のヘテロジニアス曲率に適応することを示す。 より単純化された設定で、ソフィアは異なる次元の不均一曲率に適応することを示す。
  論文  参考訳（メタデータ） (2023-05-23T17:59:21Z)
• Calibration Matters: Tackling Maximization Bias in Large-scale Advertising Recommendation Systems [13.055681176782175]
  キャリブレーションの最適化は多くのオンライン広告レコメンデーションシステムに不可欠です その重要性にもかかわらず、キャリブレーション最適化はしばしば「最大化バイアス」と呼ばれる問題に悩まされる。 本稿では,この問題を緩和する分散調整メタアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-19T19:05:15Z)
• VSAC: Efficient and Accurate Estimator for H and F [68.65610177368617]
  VSACはRANSAC型頑健な推定器であり、多くの新奇性がある。 従来のすべてのプロセッサよりも大幅に高速で、CPU上では平均1-2msで動作する。 現在最も正確な2次元幾何学推定器である MAGSAC++ と同等の精度で2桁高速である。
  論文  参考訳（メタデータ） (2021-06-18T17:04:57Z)
• Taking the Counterfactual Online: Efficient and Unbiased Online Evaluation for Ranking [74.46448041224247]
  データロギングのポリシーを最適化する新しいロギング・ポリシ最適化アルゴリズム(LogOpt)を導入する。 LogOptは、ログポリシーに無関係な反ファクト的なアプローチをオンラインアプローチに変換し、アルゴリズムが表示すべきランキングを決定する。 オンライン評価手法として、LogOptは既存のインターリービング方法とは異なり、位置と項目選択バイアスに偏りがないことが証明されている。
  論文  参考訳（メタデータ） (2020-07-24T18:05:58Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)
• DADA: Differentiable Automatic Data Augmentation [58.560309490774976]
  コストを大幅に削減する微分可能自動データ拡張(DADA)を提案する。 CIFAR-10, CIFAR-100, SVHN, ImageNetのデータセットについて広範な実験を行った。 その結果,DADAは最先端技術よりも1桁以上高速であり,精度は極めて高いことがわかった。
  論文  参考訳（メタデータ） (2020-03-08T13:23:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。