論文の概要: Variance-Optimal Control Variates for Learning with Black-box Feedback

• arxiv url: http://arxiv.org/abs/2610.04766v1
• Date: Sat, 03 Oct 2026 21:04:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-11 16:59:25.778951
• Title: Variance-Optimal Control Variates for Learning with Black-box Feedback
• Title（参考訳）: ブラックボックスフィードバックを用いた学習における変数最適制御
• Abstract要約: 正確な作用値関数でさえ、分散-最適から任意に遠ざかることができることを示す。 すると、残差はクロス項のない作用によって正確に証明できる。 我々の補正は、値関数が残す分散を一貫して減らし、全てのタスクにおける学習を改善する。
• 参考スコア（独自算出の注目度）: 7.920409390667292
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern models increasingly learn through black-box oracles such as humans, optimization solvers, and external tools that provide feedback without exposing their internal mechanisms. A common remedy is to learn an (action-)value function as a control variate. In this paper, we first observe that even an exact action-value function can be arbitrarily far from variance-optimal. We show that this gap arises because the value function minimizes the noise in each action's own gradient term, while an action can still affect the rest of the gradient estimator through shared parameters. A simple unbiased correction, at no extra oracle cost, can still reduce its variance by an arbitrarily large factor. Motivated by this, we then prove that the residual variance can be decomposed exactly by actions with no cross terms. This decomposition yields a closed-form variance-minimizing correction for neural-network parameters, which can be computed by a simple projection. Empirically, our correction consistently reduces the variance left by the value function and improves learning across all tasks. The source code for all experiments is available at https://github.com/Zihao-Kevin/black_box_opt.
• Abstract（参考訳）: 現代のモデルは、人間、最適化ソルバ、そして内部メカニズムを公開することなくフィードバックを提供する外部ツールのようなブラックボックスのオラクルを通じて、ますます学習する。 一般的な治療法は、制御変数として(アクション-)値関数を学習することである。 本稿ではまず, 正確な作用値関数であっても, 偏差最適値から任意に遠ざけることを観察する。 このギャップは、値関数が各作用の勾配項のノイズを最小化するのに対して、作用は共有パラメータを通して勾配推定器の残りの部分に影響を与えることが示される。 単純な不偏補正は、余分なオラクルコストを伴わず、任意に大きな因子によってその分散を減少させることができる。 これにより、残差がクロス項のない作用によって正確に分解できることが証明される。 この分解により、単純な射影によって計算できるニューラルネットワークパラメータの閉形式分散最小化補正が得られる。 経験的に、我々の補正は、値関数が残す分散を一貫して減らし、全てのタスクにおける学習を改善する。 すべての実験のソースコードはhttps://github.com/Zihao-Kevin/black_box_opt.comで公開されている。

関連論文リスト

• Coarsening Bias from Variable Discretization in Causal Functionals [0.8880611506199766]
  因果効果関数のクラスは連続変数の条件付き密度に対する積分を必要とする。 離散化は人口レベルの機能を変化させ、無視できない近似バイアスを引き起こす。 そこで本研究では,インバービン条件付き手法で結果の回帰を評価する簡易なバイアス低減関数を提案する。
  論文  参考訳（メタデータ） (2026-02-25T16:32:04Z)
• Statistical Inference for Explainable Boosting Machines [5.01181440341076]
  説明可能なブースティングマシン(EBM)は、各機能の効果を視覚化した一般的な"グラスボックス"モデルである。 本稿では,近年の統計的推論による勾配向上,統計的推論の手法の導出,およびエンドツーエンドの理論的保証について提案する。
  論文  参考訳（メタデータ） (2026-01-26T17:51:09Z)
• Information Hidden in Gradients of Regression with Target Noise [2.8911861322232686]
  勾配だけでヘッセンが明らかになることを示す。 我々はガウス以下の入力の下で非漸近作用素ノルム保証を提供する。
  論文  参考訳（メタデータ） (2026-01-26T14:50:16Z)
• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Evolutionary Retrofitting [42.21143557577615]
  AfterLearnERは、完全に訓練された機械学習モデルに進化的手法を含む、微分不可能な最適化を適用することで構成される。 AfterLearnERの効率は、奥行き検知におけるしきい値に基づく基準、音声合成における単語誤り率、3次元生成逆数ネットワーク(GAN)における画像品質といった、識別不能な信号に対処することによって実証される。 AfterLearnERの利点は、その汎用性(グラデーションは必要ない)、人間の評価、限定的なオーバーフィッティング、理論的な研究、そしてその常に振舞いなど、微分不可能なフィードバックを使用することである。
  論文  参考訳（メタデータ） (2024-10-15T06:59:32Z)
• Lassoed Tree Boosting [53.56229983630983]
  有界断面変動のカドラー関数の大きな非パラメトリック空間において,早期に停止するn-1/4$ L2の収束速度を持つ勾配向上木アルゴリズムを証明した。 我々の収束証明は、ネストしたドンスカー類の経験的損失最小化子による早期停止に関する新しい一般定理に基づいている。
  論文  参考訳（メタデータ） (2022-05-22T00:34:41Z)
• What causes the test error? Going beyond bias-variance via ANOVA [21.359033212191218]
  現代の機械学習手法は、しばしば過度にパラメータ化され、細かいレベルでのデータへの適応を可能にする。 最近の研究は、なぜ過度なパラメータ化が一般化に役立つのかをより深く理解することを目的としている。 本研究では, 差分解析(ANOVA)を用いて, テスト誤差の分散を対称的に分解する手法を提案する。
  論文  参考訳（メタデータ） (2020-10-11T05:21:13Z)
• Rao-Blackwellizing the Straight-Through Gumbel-Softmax Gradient Estimator [93.05919133288161]
  一般的なGumbel-Softmax推定器のストレートスルー変量の分散は、ラオ・ブラックウェル化により減少できることを示す。 これは平均二乗誤差を確実に減少させる。 これは分散の低減、収束の高速化、および2つの教師なし潜在変数モデルの性能向上につながることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-10-09T22:54:38Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)
• Neural Control Variates [71.42768823631918]
  ニューラルネットワークの集合が、積分のよい近似を見つけるという課題に直面していることを示す。 理論的に最適な分散最小化損失関数を導出し、実際に安定したオンライントレーニングを行うための代替の複合損失を提案する。 具体的には、学習した光場近似が高次バウンスに十分な品質であることを示し、誤差補正を省略し、無視可能な可視バイアスのコストでノイズを劇的に低減できることを示した。
  論文  参考訳（メタデータ） (2020-06-02T11:17:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。