論文の概要: Learning after Execution with Action-Specific Credit

• arxiv url: http://arxiv.org/abs/2610.14573v1
• Date: Sat, 10 Oct 2026 04:45:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.079491
• Title: Learning after Execution with Action-Specific Credit
• Title（参考訳）: Action-Specific Creditによる実行後の学習
• Abstract要約: 実行後の学習は、同じポリシーに対する追加の学習インタラクションをサポートする中間状態として実行結果を使用する。 945の保留例では、実行後の学習が単一呼び出し推論の下で共有ポリシーを強化する。 これらの結果から, 実行可能タスクには, 終末報酬以外の有用な学習構造が含まれていることが示唆された。
• 参考スコア（独自算出の注目度）: 13.14978091830652
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Execution is often used as terminal feedback: it scores a generated program, but the resulting state is not used for another learning action. Learning after execution instead uses the execution result as an intermediate state that supports an additional learning interaction for the same policy. This creates a credit-assignment problem because the two actions share the same final objective but play different roles in the trajectory. Accordingly, action-specific credit assigns the initial action credit from the final trajectory outcome and the corrective action credit for improvement over the intermediate state. Image-to-TikZ serves as an executable visual testbed for this setting. On 945 held-out examples, learning after execution strengthens the shared policy under single-call inference and also produces a post-execution corrective capability. Single-call render success reaches 92.70\%, compared with 88.25\% for continued single-stage GRPO after the same number of additional training iterations. This corrective capability is not reproduced by continued single-stage training and depends on the intermediate state. Alternative credit definitions also induce different group-relative preferences over the same trajectories. Together, these results suggest that executable tasks contain useful learning structure beyond a terminal reward. Code is available at https://github.com/tianyufengcn/Learning-after-Execution.
• Abstract（参考訳）: 実行はしばしば端末からのフィードバックとして使用され、生成されたプログラムをスコアするが、結果の状態は他の学習行動には使用されない。 実行後の学習は、実行結果を同じポリシーに対する追加の学習インタラクションをサポートする中間状態として使用する。 これは、2つのアクションが同じ最終目標を共有するが、軌道で異なる役割を演じるため、クレジット割り当ての問題を引き起こす。 これにより、動作特異的クレジットは、最終軌道結果から初期行動クレジットと、中間状態よりも改善するための補正行動クレジットとを割り当てる。 Image-to-TikZはこの設定のために実行可能なビジュアルテストベッドとして機能する。 945の保留例では、実行後の学習は単一呼び出し推論の下で共有ポリシーを強化し、実行後の修正能力も生み出す。 シングルコールレンダリングの成功率は92.70\%に達し、継続したシングルステージGRPOでは88.25\%となった。 この補正能力は、継続した単段階トレーニングでは再現されず、中間状態に依存する。 代替クレジット定義は、同じ軌道上の異なるグループ相対的嗜好も引き起こす。 これらの結果から, 実行可能タスクには, 終末報酬以外の有用な学習構造が含まれていることが示唆された。 コードはhttps://github.com/tianyufengcn/Learning-after-Executionで公開されている。

関連論文リスト

• Beyond Actions: Learning Future Operation Targets for Vision-Language-Action Models [56.97744308982891]
  本稿では,将来的な物理的効果を政策の主要な予測対象とするアクション-フューチャー結合効果学習(AFCE)を紹介する。 AFCEは50.97%$で、それぞれ$_0.5$、UVTを11.82ポイント、UVTを15.21ポイント改善している。
  論文  参考訳（メタデータ） (2026-10-09T08:29:46Z)
• PRICE the Action Chunks: Physical Relational Credit Assignment for Embodied Reinforcement Learning [13.723588585738831]
  アウトカムベースの強化学習は、すべてのアクションチャンクに同じ軌道レベルの利点を割り当てる。 軌道上の物理的関係は、具体化されたRLにおいてアクション・チャンク・クレジットを提供することができる。 LIBERO、RoboTwin 2.0、および実際のロボットの実験では、結果ベースラインよりもタスクの成功が向上した。
  論文  参考訳（メタデータ） (2026-09-30T03:37:31Z)
• Learning What to Skip: Counterfactual Credit Assignment for Efficient Multi-Agent LLM Workflows [49.15875332210974]
  すべてのコンポーネントを実行することは、計算を無駄にしたり、正しい中間回答を上書きすることができる。 我々は、制御されたスキップ介入からアクション固有の安全モデルを学ぶ「Skip to Skip」について紹介する。 早期スキップが拒否されると、コントローラは実行を継続し、後続のコンポーネントを再考することができる。
  論文  参考訳（メタデータ） (2026-09-25T03:02:57Z)
• ProCredit: From Outcome Rewards to Progress Credit in Agentic Reinforcement Learning [23.000026656063625]
  長い水平のエージェントタスクは、エージェントが一連のツールコールを通して環境を変更する必要がある。 標準レシピは最後に1つの結果の報酬を割り当て、同じタスクのためにサンプリングされた軌跡を比較する。 提案するProCreditは、この検証された進捗を信用化します。
  論文  参考訳（メタデータ） (2026-09-23T08:26:30Z)
• ActionPiece: Rethinking Action Tokenization for Autoregressive Vision-Language-Action Models [40.14720118215973]
  アクショントークンーは自己回帰視覚アクション(VLA)モデルにおいて中心的な役割を果たす。 トークン化が再建後の局所的物理的距離ランキングをどれだけよく保存するかを測定するために,身体的ランクの整合性(PRC)を導入する。 本稿では,表現学習と量子化の連携による身体行動関係の保存を行うActionPieceを提案する。
  論文  参考訳（メタデータ） (2026-09-16T11:19:54Z)
• Phase-and-First-Arrival VLM Feedback for Sparse-Reward Reinforcement Learning in Surgical Manipulation [18.513281440175113]
  スパース・リワード強化学習では、終末報酬は同じ結果にそのような試みが崩壊する。 記録されたエピソードごとの1つのVLMクエリは、最も視覚的に検証されたタスクフェーズを識別する。 5つのシミュレートされたタスクにおいて,提案手法は平均75.2%に到達し,コントラスト言語-画像事前学習に基づく報酬は52.1%となった。
  論文  参考訳（メタデータ） (2026-09-07T08:29:59Z)
• Why Does Action Chunking Improve Behavioral Cloning Performance in Robotic Control? [78.81308700607651]
  アクションチャンキングは単一のアクションではなく、複数のアクションを予測し、実行する。 非マルコフ表現率の増大と、マルコフポリシーと比較して複合誤差の低減による作用チャンキングの利点が示された。 本稿では,アンサンブルを明示的にインスタンス化することで,アクションチャンキングのメリットを増幅するポリシークラスを提案する。
  論文  参考訳（メタデータ） (2026-08-03T17:32:45Z)
• Bidirectional Decoding: Improving Action Chunking via Guided Test-Time Sampling [51.38330727868982]
  動作チャンキングが学習者と実証者の間の分岐にどのように影響するかを示す。 動作チャンキングをクローズドループ適応でブリッジするテスト時間推論アルゴリズムである双方向デコーディング(BID)を提案する。 提案手法は、7つのシミュレーションベンチマークと2つの実世界のタスクにまたがって、最先端の2つの生成ポリシーの性能を向上させる。
  論文  参考訳（メタデータ） (2024-08-30T15:39:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。