論文の概要: Tracking the Moving Frontier: Long-Short Term Advantage Estimator

• arxiv url: http://arxiv.org/abs/2609.06671v1
• Date: Sun, 06 Sep 2026 15:24:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.293893
• Title: Tracking the Moving Frontier: Long-Short Term Advantage Estimator
• Title（参考訳）: 移動フロンティアの追跡:長期的アドバンテージ推定器
• Abstract要約: グループベースRLVR法は,各プロンプトに対して複数のトラジェクトリを繰り返しサンプリングすることで,利点を推定する。 本稿では,長短項アドバンテージ推定法 (LSTAE) を提案する。
• 参考スコア（独自算出の注目度）: 36.12497337219274
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Group-based RLVR methods estimate advantages by repeatedly sampling multiple trajectories for each prompt, making long-horizon agent training expensive and discarding useful experience accumulated across iterations. We ask whether historical experience can replace these repeated within-iteration comparisons without directly optimizing on stale trajectories. We introduce Long-Short Term Advantage Estimator (LSTAE), a single-stream RL algorithm that uses history for advantage estimation while updating the policy only with the current rollout. LSTAE maintains a persistent tracker for each task anchor. At the trajectory level (long term), a drift-aware historical baseline tracks the anchor's moving success frontier and measures the relative contribution of each new trajectory. At the step level (short term), a recent state-experience buffer exploits recurrent states to estimate localized action advantages. This two-timescale design converts accumulated experience into multi-granular credit signals, requiring only one rollout per anchor. Across agentic and mathematical reasoning benchmarks, LSTAE matches or improves upon strong group-based baselines while substantially reducing rollout cost.
• Abstract（参考訳）: グループベースRLVR法は,各プロンプトに対して複数のトラジェクトリを繰り返しサンプリングし,長期エージェントのトレーニングを高価にし,反復的に蓄積した有用な経験を捨てることで,利点を推定する。 我々は、古い軌跡を直接最適化することなく、これらの繰り返しの内的比較を置き換えることができるかどうかを問う。 単一ストリームRLアルゴリズムであるLong-Short Term Advantage Estimator (LSTAE)を導入する。 LSTAEは各タスクアンカーに対して永続的なトラッカーを保持する。 軌道レベル(長期)では、ドリフトを意識した歴史ベースラインがアンカーの移動成功フロンティアを追跡し、新しい軌道の相対的な寄与を測定する。 ステップレベル(短期)では、最近の状態経験バッファがリカレントステートを利用して局所化されたアクションの利点を推定する。 この2時間スケールの設計は、蓄積した経験を複数のグラニュラークレジット信号に変換し、アンカー1台につき1回だけロールアウトする。 エージェントおよび数学的推論ベンチマーク全体にわたって、LSTAEはロールアウトコストを大幅に削減しつつ、強力なグループベースのベースラインにマッチまたは改善する。

関連論文リスト

• Process Reward Informed Tree Rollout for Effective Multi-Turn RL [58.392997761968566]
  長期のエージェントタスクでは、均一なロールアウト戦略は、非形式的なデッドエンドの試みに予算を無駄にする可能性がある。 本稿では,マルチターンエージェントRLの品質を意識したロールアウトフレームワークであるProcess-Scorer Guided Adaptive Tree Rollout (PATR)を提案する。 PATRはタスクに適したプロセスフィードバックを使用して部分的軌跡をスコアし、将来性のある状態から選択的に分岐し、共有プレフィックスを再利用し、無駄なサンプリングを減らすために経路を保守的に停止する。
  論文  参考訳（メタデータ） (2026-07-17T04:16:58Z)
• Efficient Spatio-Temporal Grounding with Multimodal Large Models via Second-Level Tracking and RL Verification [11.171207895220578]
  長いビデオの時間的接地には、正確な時間的局所化と、自然言語クエリで条件付けられた頑健なオブジェクト追跡が必要である。 本稿では,フレームレベルから第2レベルのトラッキングへ移行し,シーケンス長を低減しつつ連続性を保ちながら秒間アノテーションを実行する実用的なパイプラインを提案する。
  論文  参考訳（メタデータ） (2026-06-27T17:42:32Z)
• Flow-Corrected Thompson Sampling for Non-Stationary Contextual Bandits [3.2848713528308817]
  報酬モデルが時間とともにドリフトする非定常線形文脈帯域について検討する。 本研究では,過去の報酬を現在まで輸送することで,経験を再利用するベイズ的手法であるフロー補正トンプソンサンプリング(fcTS)を提案する。
  論文  参考訳（メタデータ） (2026-06-22T20:52:19Z)
• AMARIS: A Memory-Augmented Rubric Improvement System for Rubric-Based Reinforcement Learning [25.32049139462467]
  既存の適応ルーブリックメソッドは、現在のバッチやインスタンスレベルの比較のようなローカルエビデンスから基準を更新する。 AMARIS(AMemory-Augmented Improvement System)を導入する。 AMARISはロールアウト分析、ステップレベルサマリー、ルーブリック更新レコードを永続的な評価メモリに格納し、更新に関連のある最近の履歴を検索する。
  論文  参考訳（メタデータ） (2026-05-18T16:06:27Z)
• WAY: Estimation of Vessel Destination in Worldwide AIS Trajectory [13.6566226711564]
  自動識別システム(AIS)は、データ駆動海洋監視を可能にするが、信頼性の問題や不規則な間隔に悩まされている。 本研究では,長いポート・ツー・ポートトラジェクトリをネスト配列構造として再キャストする差別化手法を提案する。 本稿では,これらの改良された軌跡を長期的目的地推定のために処理するためのディープラーニングアーキテクチャWAYを紹介する。
  論文  参考訳（メタデータ） (2025-12-15T10:55:20Z)
• CoPRIS: Efficient and Stable Reinforcement Learning via Concurrency-Controlled Partial Rollout with Importance Sampling [11.252930904797]
  重要サンプリングを用いた並列制御部分ロールアウト(CoPRIS)を提案する。 CoPRISは、一定数の同時ロールアウトを維持し、十分なサンプルが収集されたら早期終了し、その後のロールアウトで未完成のトラジェクトリを再利用することで、長いテールの非効率を緩和する。 実験の結果、CoPRISは同期RLシステムに匹敵する性能を維持しながら、最大1.94倍高速なトレーニングを実現している。
  論文  参考訳（メタデータ） (2025-11-05T11:39:32Z)
• Lookahead Tree-Based Rollouts for Enhanced Trajectory-Level Exploration in Reinforcement Learning with Verifiable Rewards [48.321707628011005]
  Lookahead Tree-Based Rollouts (LATR) は、軌道レベルの多様性を明確に促進するために設計された新しいロールアウト戦略である。 LATRはポリシー学習を平均で131%加速し、最終パス@1パフォーマンスを4.2%向上させる。
  論文  参考訳（メタデータ） (2025-10-28T11:12:02Z)
• DELTAv2: Accelerating Dense 3D Tracking [79.63990337419514]
  本稿では,ビデオ中の高密度3次元点追跡を高速化するための新しいアルゴリズムを提案する。 極小点の小さな部分集合で追跡を開始し、トラックされた軌道の集合を段階的に拡大する粗大な戦略を導入する。 新たに追加されたトラジェクトリは学習可能なモジュールを使用しており、トラッキングネットワークとともにエンドツーエンドでトレーニングされている。
  論文  参考訳（メタデータ） (2025-08-02T03:15:47Z)
• Consensus-Adaptive RANSAC [104.87576373187426]
  本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。 注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
  論文  参考訳（メタデータ） (2023-07-26T08:25:46Z)
• Improving the Efficiency of Off-Policy Reinforcement Learning by Accounting for Past Decisions [20.531576904743282]
  オフ政治推定バイアスは、決定ごとに補正される。 Tree BackupやRetraceといったオフポリティクスアルゴリズムはこのメカニズムに依存している。 任意の過去のトレースを許可するマルチステップ演算子を提案する。
  論文  参考訳（メタデータ） (2021-12-23T00:07:28Z)
• Learning to Sample with Local and Global Contexts in Experience Replay Buffer [135.94190624087355]
  遷移の相対的重要性を計算できる学習に基づく新しいサンプリング手法を提案する。 本研究の枠組みは, 様々な非政治強化学習手法の性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-07-14T21:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。