論文の概要: When Do Surrogate Updates Improve Decisions? A Local Theory of Trajectory-Wise Transfer

• arxiv url: http://arxiv.org/abs/2608.01130v1
• Date: Sun, 02 Aug 2026 10:12:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.090975
• Title: When Do Surrogate Updates Improve Decisions? A Local Theory of Trajectory-Wise Transfer
• Title（参考訳）: サーロゲート更新はいつ意思決定を改善するか? 軌道幅移動の局所理論
• Abstract要約: トラジェクトリトレーニングの一段階が、人口のサロゲート損失と意思決定リスクの両方を減らし、移行が繰り返し更新に沿ってどのように蓄積されるのかを問う。 制御されたグリッドワールドとLLMポストトレーニング実験は、我々の予測と一致した結果をもたらす。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A broad range of models face the mismatch where they are updated through trajectory losses but are evaluated by downstream task reward. Here, a trajectory is a training instance that induces a surrogate loss whose reduction might not track the model's decision utility update. Theoretically, we ask when one step of trajectory training reduces both population surrogate loss and decision risk, and how transfer accumulates along repeated updates. To formalize this, we first fix a checkpoint and a restricted update space, and define the reductions in population surrogate risk and decision risk induced by a trajectory as its learnability and decision utility, respectively. On this basis, our theory yields four main results. First, a one-step transfer bound separates their discrepancy into first-order gradient misalignment after nonnegative calibration and second-order curvature; and a pathwise extension accumulates the same terms over repeated updates. Second, when the accessible surrogate gradient is nonzero, universal first-order transfer over every accessible direction holds exactly when the accessible surrogate and decision gradients are positively collinear. Third, the calibration gap bounds the decision regret of learnability-based trajectory selection, while a candidate-difference refinement tightens this guarantee by retaining only directions that affect pairwise rankings. Finally, we establish an approximation--calibration trade-off across nested update spaces. Controlled gridworld and LLM post-training experiments yield results consistent with our predictions.
• Abstract（参考訳）: 幅広いモデルが、軌道損失によって更新されるミスマッチに直面しているが、下流のタスク報酬によって評価される。 ここでは、トラジェクトリ(trajectory)は、モデルの決定ユーティリティ更新を追跡しない可能性のあるサロゲート損失を誘導するトレーニングインスタンスである。 理論的には、軌道学習の一段階が、人口代理損失と意思決定リスクの両方を減らし、繰り返し更新に沿って転送がどのように蓄積するかを問う。 これを形式化するために、まずチェックポイントと制限された更新スペースを固定し、軌道によって引き起こされるリスクと決定リスクの低減を、それぞれ学習可能性と決定ユーティリティとして定義する。 この理論に基づいて、我々の理論は4つの主要な結果をもたらす。 第一に、1段階の転送境界は、非負のキャリブレーションと2階の曲率の後、その相違を1階の勾配の不整合に分離し、パスワイズ拡張は繰り返し更新する上で同じ用語を蓄積する。 第二に、アクセス可能なサロゲート勾配がゼロでないとき、すべてのアクセス可能な方向への普遍的な1次移動は、アクセス可能なサロゲートと決定勾配が正にコリニアであるときに正確に成立する。 第3に、キャリブレーションギャップは、学習可能性に基づく軌道選択の決定の後悔に縛られ、一方、候補差分補正は、ペアのランクに影響を及ぼす方向のみを保持することによって、この保証を締め付ける。 最後に、ネストした更新スペース間の近似-校正トレードオフを確立する。 制御されたグリッドワールドとLLMポストトレーニング実験は、我々の予測と一致した結果をもたらす。

関連論文リスト

• Right Direction, Wrong Step: Geometric Analysis of Finite-Step Failure in Looped Transformers [40.43356191604634]
  Looped Transformerは、反復的な遅延推論のために共有レイヤを再利用することで、テスト時間のスケーリングにパラメータ効率のよいルートを提供する。 追加のイテレーションは、参照応答のサポートを減らし、更新の方向が局所的に非ヘルペスであるか、その完全な変位が過度に動きすぎるかがはっきりしないままにすることができる。 我々は、モデル自身の更新方向に沿って、このサポートを測定する参照ユーティリティを分析して、この区別について検討する。
  論文  参考訳（メタデータ） (2026-09-15T05:42:02Z)
• One Step, One Lead: Mitigating Higher-Order Interference in Multi-Domain Reinforcement Learning via Cross-Step Control [62.82372407840088]
  同点領域勾配は、連続的な更新が出力空間で部分的に逆転する場合においても、ほぼ一定であることを示す。 トークンレベルのリバウンドリスクをランク付けするために,各イテレーションでフォーカスドメインを指定するOSOLを提案する。 OSOLは0.4822のドメイン-マクロ平均に達し、最強の比較ベースラインよりも5.7%向上した。
  論文  参考訳（メタデータ） (2026-09-06T08:32:59Z)
• Decision-Focused Learning via Tangent-Space Projection of Prediction Error [32.655683009031804]
  決定焦点学習(DFL)は、下流の意思決定品質を改善するために予測器を訓練する。 局所的に安定な活性制約を持つ標準正則性の下では、後悔勾配は閉形式幾何学的特徴を持つことを示す。 そこで本研究では, 線形系を減らし, 残差勾配を計算するPEARを提案する。
  論文  参考訳（メタデータ） (2026-05-02T10:10:16Z)
• Accelerating trajectory optimization with Sobolev-trained diffusion policies [12.684196947818103]
  軌道最適化(TO)ソルバは、既知の系力学を利用して局所最適軌道を計算する。 欠点は、各新しい問題インスタンスが独立して解決されることです。 効率性を改善するために、学習されたポリシーによって生成された最初の推測でTOをウォームスタートする自然なアプローチがある。
  論文  参考訳（メタデータ） (2026-04-21T03:00:52Z)
• Geometric-Disentangelment Unlearning [106.99160454669902]
  忘れたサンプルへの勾配は しばしば 保持された知識を傷つける 本稿では,GU(Geometric-disment Unlearning)を提案する。 本手法はプラグ・アンド・プレイであり,既存の勾配に基づくアンラーニング手法と併用することで副作用を軽減できる。
  論文  参考訳（メタデータ） (2025-11-21T09:58:25Z)
• ResAD: Normalized Residual Trajectory Modeling for End-to-End Autonomous Driving [64.42138266293202]
  ResADは正規化された残留軌道モデリングフレームワークである。 学習タスクを再編成し、慣性参照からの残留偏差を予測する。 NAVSIMベンチマークでは、ResADはバニラ拡散ポリシーを用いて最先端のPDMS 88.6を達成している。
  論文  参考訳（メタデータ） (2025-10-09T17:59:36Z)
• Decision from Suboptimal Classifiers: Excess Risk Pre- and Post-Calibration [52.70324949884702]
  バッチ二分決定における近似的後続確率を用いた余剰リスクの定量化を行う。 我々は、再校正のみが後悔のほとんどに対処する体制と、後悔が集団的損失に支配される体制を識別する。 NLP実験では、これらの量によって、より高度なポストトレーニングの期待値が運用コストに値するかどうかが分かる。
  論文  参考訳（メタデータ） (2025-03-23T10:52:36Z)
• To transfer or not transfer: Unified transferability metric and analysis [13.274835852615576]
  トランスファーラーニングにおいて、トランスファービリティは、任意のトランスファータスクの有効性を評価することを目的とした最も基本的な問題の1つである。 転送可能性推定のための新しい解析的アプローチと計量、ワッサーシュタイン距離に基づく関節推定を提案する。 我々は、非対称で理解し易く、計算し易いターゲットリスク境界を提案することによって、ターゲット転送リスクを近似する。
  論文  参考訳（メタデータ） (2023-05-12T19:52:11Z)
• Transferability Estimation Based On Principal Gradient Expectation [68.97403769157117]
  クロスタスク転送性は、自己整合性を維持しながら転送結果と互換性がある。 既存の転送可能性メトリクスは、ソースとターゲットタスクを会話することで、特定のモデルに基づいて推定される。 本稿では,タスク間の転送可能性を評価するための簡易かつ効果的な手法であるPGEを提案する。
  論文  参考訳（メタデータ） (2022-11-29T15:33:02Z)
• Correcting Momentum in Temporal Difference Learning [95.62766731469671]
  時間差(TD)学習のモーメントは2倍に不安定になる勾配を蓄積すると主張している。 この現象が存在することを示し、その上で運動量に対する一階補正項を提案する。 この研究の重要な洞察は、深いRL法は、常に監督された設定から直接テクニックをインポートすることで最適ではないということである。
  論文  参考訳（メタデータ） (2021-06-07T20:41:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。