論文の概要: Marginally Correct Tool Caches Can Reverse Group-Normalized Policy Updates

• arxiv url: http://arxiv.org/abs/2609.26866v1
• Date: Tue, 22 Sep 2026 16:15:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.702312
• Title: Marginally Correct Tool Caches Can Reverse Group-Normalized Policy Updates
• Title（参考訳）: 不正に修正されたツールキャッシュは、グループ非正規化ポリシー更新をリバースできる
• Abstract要約: ツール-resultキャッシュはエージェントトレーニングにおける繰り返しの実行を減らすだけでなく、ロールアウトのランダム性も抑制する。 本研究では,各ロールアウトの条件付き報酬分布を独立実行と共有実行が保持する2つの行動モデルについて検討する。 一定の代替に対して、共有された更新は、負ける確率を減らして勝利する確率に従う。
• 参考スコア（独自算出の注目度）: 2.731113456484581
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tool-result caching reduces repeated execution in agent training, but also couples rollout randomness. We study a two-action model in which independent and shared execution preserve every rollout's conditional reward distribution. Despite this marginal agreement, sharing one stochastic result per group can reverse the expected group-normalized policy update. We derive an exact finite-group expression: against a constant alternative, the shared update follows the probability of winning minus the probability of losing, rather than the difference in expected reward. A Bernoulli specialization yields a wrong-direction region and a non-vanishing update-variance floor as group size grows. Centering without group standard-deviation scaling preserves the expected-return direction in this model, using an existing estimator control. Exhaustive finite sums verify 540 configurations and 3,240 estimator evaluations, with a separate ordered-sequence checker. An implementation audit reproduces the sharing path in a pinned, unmodified TVCache stack using 256 scripted rollouts. These results do not measure language-model training performance or refute TVCache's deterministic-output contract. They establish that marginal output validity alone cannot certify a stochastic cache as training-equivalent.
• Abstract（参考訳）: ツール-resultキャッシュはエージェントトレーニングにおける繰り返しの実行を減らすだけでなく、ロールアウトのランダム性も抑制する。 本研究では,各ロールアウトの条件付き報酬分布を独立実行と共有実行が保持する2つの行動モデルについて検討する。 この限界的な合意にもかかわらず、グループごとに1つの確率的な結果を共有することは、期待されるグループ正規化ポリシー更新を覆すことができる。 一定の代替に対して、共有された更新は期待される報酬の差よりも負ける確率を下げる確率に従う。 ベルヌーイの特殊化は、グループのサイズが大きくなるにつれて、間違った方向領域と非消滅的な更新分散フロアをもたらす。 グループ標準偏差スケーリングを伴わない集中は、既存の推定器制御を用いて、このモデルにおける期待-戻り方向を保存する。 排他的有限和は、540の配置と3240の推定器の評価を別の順序列チェッカーで検証する。 実装監査は256のスクリプトロールアウトを使用して、ピン留めされた未修正のTVCacheスタックで共有パスを再生する。 これらの結果は、言語モデルトレーニングのパフォーマンスを測定したり、TVCacheの決定論的出力契約に反論するものではない。 彼らは、限界出力の妥当性だけでは、確率的キャッシュをトレーニング等価として証明できないと断定する。

関連論文リスト

• Between-User Collapse Under Popularity-Biased Feedback: A Centered-Covariance Theorem and Computable Phase Boundary [0.0]
  我々は,人気度の高いBPRトレーニングが,協調フィルタリング埋め込みのユーザ間幾何学にどう影響するかを考察する。 定常アイテムによる人気バイアスのあるフィードバックの下では、$C$は安定した状態に収束する。 次に、その効果の限界について検討する。
  論文  参考訳（メタデータ） (2026-08-03T17:33:25Z)
• Fixed-Horizon Self-Normalized Inference for Adaptive Experiments via Martingale AIPW/DML with Logged Propensities [0.0]
  適応的な割り当ての下では、確率は変化し続けるため、AIPW/DMLインクリメントの予測可能な2次変動はランダムのままである。 本研究では,2次変動によって推定される偏差が,分散安定化を伴わずとも条件的に誤校正されていることを示す。
  論文  参考訳（メタデータ） (2026-02-17T13:12:31Z)
• The Lie of the Average: How Class Incremental Learning Evaluation Deceives You? [48.83567710215299]
  クラスインクリメンタルラーニング(CIL)では、モデルが学習済みのクラスを忘れずに、新しいクラスを継続的に学習する必要がある。 我々は、ロバストなCIL評価プロトコルは、性能分布全体を正確に特徴付け、推定するべきであると論じる。 我々は,タスク間類似度を用いて,極端なクラスシーケンスを適応的に識別し,サンプリングする評価プロトコルEDGEを提案する。
  論文  参考訳（メタデータ） (2025-09-26T17:00:15Z)
• Regression Discontinuity Design with Distribution-Valued Outcomes [0.0]
  本稿では,Regression Discontinuity Design (RDD)について紹介する。 標準のRDDフレームワークを、結果がスカラーではなく分散であるような設定に拡張する。 次に,提案手法を適用して,アメリカ合衆国における州内所得分布に対する州知事統制の効果について検討する。
  論文  参考訳（メタデータ） (2025-04-04T23:12:35Z)
• Relaxed Quantile Regression: Prediction Intervals for Asymmetric Noise [51.87307904567702]
  量子レグレッション(Quantile regression)は、出力の分布における量子の実験的推定を通じてそのような間隔を得るための主要なアプローチである。 本稿では、この任意の制約を除去する量子回帰に基づく区間構成の直接的な代替として、Relaxed Quantile Regression (RQR)を提案する。 これにより、柔軟性が向上し、望ましい品質が向上することが実証された。
  論文  参考訳（メタデータ） (2024-06-05T13:36:38Z)
• Distributional Reinforcement Learning with Dual Expectile-Quantile Regression [51.87411935256015]
  分布RLに対する量子レグレッションアプローチは、任意の戻り分布を柔軟かつ効果的に学習する方法を提供する。 我々は,分布推定が消失することを示し,推定分布が急速に平均に崩壊することを実証的に観察した。 我々は,$L$の学習効率に感化され,効率のよい学習方法として,返却分布の期待値と量子値を共同で学習することを提案する。
  論文  参考訳（メタデータ） (2023-05-26T12:30:05Z)
• Will My Robot Achieve My Goals? Predicting the Probability that an MDP Policy Reaches a User-Specified Behavior Target [56.99669411766284]
  自律的なシステムがタスクを実行する場合、ユーザの目標を達成する確率のキャリブレーションされた見積もりを維持する必要がある。 本稿では,ユーザの目標が目標間隔として指定される設定について検討する。 我々は、共形予測を反転させて確率推定を計算する。
  論文  参考訳（メタデータ） (2022-11-29T18:41:20Z)
• Bayes in Wonderland! Predictive supervised classification inference hits unpredictability [1.8814209805277506]
  デ・フィネッティ型の交換性の下でsBpcとmBpcの収束を示す。 また、分割交換可能なシーケンスを生じる生成モデルのパラメータ推定も行う。
  論文  参考訳（メタデータ） (2021-12-03T12:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。