論文の概要: The Statistical Benefits of Multiple Responses for Learning from Demonstrations

• arxiv url: http://arxiv.org/abs/2609.33291v1
• Date: Sun, 27 Sep 2026 06:53:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 01:23:22.095888
• Title: The Statistical Benefits of Multiple Responses for Learning from Demonstrations
• Title（参考訳）: デモから学ぶための複数応答の統計的有用性
• Abstract要約: デモが最適であれば、pass@k$は、実演から学ぶ際のサンプルの複雑さを$k$の対数係数で減らすことができる。 この設定では、複数のレスポンスが質的により強力なメリットをもたらすことが分かりました。 堅牢な評価の下では、学習したポリシーがクラス内のすべての報酬に対して同時にデモレーターと競合しなければならない場合、高速な1/varepsilon$Dependencyは持続する。 我々は,対応する体制における上界と下界の整合性を確立し,実証者の品質を前提とせず,上界を達成するための優雅な乗法重み学習者を与える。
• 参考スコア（独自算出の注目度）: 3.572350555986367
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many generative systems return multiple candidate responses and are evaluated according to the best one. Recent work shows that, when demonstrations are optimal, pass@$k$ can reduce the sample complexity of learning from demonstrations by a logarithmic factor in $k$. We ask what happens when the demonstrator is not assumed to be optimal. We find that multiple responses provide a qualitatively stronger benefit in this setting. In a finite reward-class model with no reward feedback, moving from pass@$1$ to any pass@$k$ with $k\ge2$ changes the worst-case dependence on target accuracy from $1/\varepsilon^2$ to $1/\varepsilon$, uniformly over demonstrator quality. Under standard evaluation, where an unknown reward is fixed before training, increasing $k$ provides an additional and distinct benefit: the optimal dependence on a reward class of size $N$ improves from $\log N$ to $\log N/\log k$. We further show that these two effects can be separated. Under robust evaluation, where one learned policy must compete with the demonstrator simultaneously for every reward in the class, the fast $1/\varepsilon$ dependence persists, while the $1/\log k$ improvement can disappear. We establish matching upper and lower bounds in the corresponding regimes and give a greedy multiplicative-weights learner achieving the upper bounds without any assumption on demonstrator quality.
• Abstract（参考訳）: 多くの生成システムは、複数の候補応答を返却し、最良の応答に従って評価される。 最近の研究によると、デモが最適である場合、pass@k$は、デモから学ぶ際のサンプルの複雑さを$k$の対数係数で減らすことができる。 デモが最適でないと仮定されたらどうなるか尋ねる。 この設定では、複数のレスポンスが質的により強力なメリットをもたらすことが分かりました。 報酬フィードバックのない有限報酬クラスモデルでは、pass@$1$から$k\ge2$の任意のpass@k$へ移行すると、ターゲット精度に対する最悪のケース依存は、デーモンストレータの品質を均一に上回る1/\varepsilon^2$から1/\varepsilon$に変化する。 標準的な評価では、トレーニング前に未知の報酬が固定される場合、$k$の増加は、追加で明確なメリットを提供する。 さらに、これらの2つの効果が分離可能であることを示す。 堅牢な評価の下では、学習したポリシーがクラス内のすべての報酬に対して同時にデモレーターと競合しなければならない場合、高速な1/\varepsilon$依存は持続し、高速な1/\log k$改善は消滅する。 我々は,対応する体制における上界と下界の整合性を確立し,実証者の品質を前提とせず,上界を達成するための優雅な乗法重み学習者を与える。

関連論文リスト

• Multiscale Reward Hedging from Correct Demonstrations [1.14219428942199]
  既存の報酬ヘッジ保証は、有限報酬クラスを仮定する。 鍵となるのは、あらゆる精度の尺度で寛容な最適性テストよりも、ひとつの共有投票でヘッジすることです。
  論文  参考訳（メタデータ） (2026-08-07T05:36:22Z)
• The Representation-Rationalizability Tradeoff in Reward Learning [24.1466886968784]
  社会的選択問題としてRLHFを訓練するが、各プロンプトに対して予め列挙された有限な応答を仮定する。 現代のパイプラインは、スカラーヘッドの前に学習した表現$(x,y)$でレスポンスをスコアするので、$はどのレスポンスが区別可能な代替品として扱われるかを決定する。 我々は、$$で構築された報酬の余剰エントロピー損失が、正確に表現項に分解され、よりリッチな$$が縮小し、よりリッチな$$が拡大する集約項に分解されることを示した。
  論文  参考訳（メタデータ） (2026-05-29T19:22:41Z)
• How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
  r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。 まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
  論文  参考訳（メタデータ） (2026-05-23T22:00:38Z)
• Post-Training with Policy Gradients: Optimality and the Base Model Barrier [27.674563695368665]
  結果とプロセス報酬を伴う線形自己回帰モデルの訓練後評価について検討する。 我々は、ポリシー勾配(PG)の変種が、本質的に最小限の報酬クエリ数を持つ1-varepsilon$を実現できることを証明した。
  論文  参考訳（メタデータ） (2026-03-07T00:25:53Z)
• Fast Rates for Bandit PAC Multiclass Classification [73.17969992976501]
  我々は,帯域幅フィードバックを用いたマルチクラスPAC学習について検討し,入力を$K$ラベルの1つに分類し,予測されたラベルが正しいか否かに制限する。 我々の主な貢献は、問題の無知な$(varepsilon,delta)$PACバージョンのための新しい学習アルゴリズムを設計することである。
  論文  参考訳（メタデータ） (2024-06-18T08:54:04Z)
• Top $K$ Ranking for Multi-Armed Bandit with Noisy Evaluations [102.32996053572144]
  我々は,各ラウンドの開始時に,学習者が各アームの真の報酬について,ノイズのない独立した評価を受けるマルチアームバンディット・セッティングを考える。 評価の方法によって異なるアルゴリズムアプローチと理論的保証を導出する。
  論文  参考訳（メタデータ） (2021-12-13T09:48:54Z)
• Reinforcement Learning in Reward-Mixing MDPs [74.41782017817808]
  報酬混合マルコフ決定過程(MDP)におけるエピソード強化学習 cdot S2 A2)$ episodes, where$H$ is time-horizon and $S, A$ are the number of state and actions。 epsilon$-optimal policy after $tildeO(poly(H,epsilon-1) cdot S2 A2)$ episodes, $H$ is time-horizon and $S, A$ are the number of state and actions。
  論文  参考訳（メタデータ） (2021-10-07T18:55:49Z)
• Improving Robustness and Generality of NLP Models Using Disentangled Representations [62.08794500431367]
  スーパービジョンニューラルネットワークはまず入力$x$を単一の表現$z$にマップし、次に出力ラベル$y$にマッピングする。 本研究では,非交叉表現学習の観点から,NLPモデルの堅牢性と汎用性を改善する手法を提案する。 提案した基準でトレーニングしたモデルは、広範囲の教師付き学習タスクにおいて、より堅牢性とドメイン適応性を向上することを示す。
  論文  参考訳（メタデータ） (2020-09-21T02:48:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。