論文の概要: ProActor: Timing-Aware Reinforcement Learning for Proactive Task Scheduling Agents

• arxiv url: http://arxiv.org/abs/2605.24900v1
• Date: Sun, 24 May 2026 06:56:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:18.498208
• Title: ProActor: Timing-Aware Reinforcement Learning for Proactive Task Scheduling Agents
• Title（参考訳）: ProActor: アクティブタスクスケジューリングエージェントのためのタイミング認識強化学習
• Authors: Lei Ding, Bin He, Chenguang Wang, Yang Liu,
• Abstract要約: ProActorは対話型タスクスケジューリングのための統合フレームワークである。 我々は,要求適応型推論クラスタとDDPベースのトレーニングを組み合わせた適応型フレームワークART-Fを開発した。 新たにアノテートされた2つのデータセットの実験では、プロアクティブタイミングが大幅に改善された。
• 参考スコア（独自算出の注目度）: 11.592581904260493
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Proactive task-oriented agents must autonomously anticipate user needs, identify actionable opportunities, and trigger software actions at appropriate moments - fundamentally shifting from reactive systems that await explicit instructions. However, existing approaches lack generalizable end-to-end solutions for measuring and optimizing such anticipatory behaviors. This paper introduces ProActor, a unified framework for conversational task scheduling that integrates: (1) a domain-agnostic automated annotation methodology that enables scalable proactiveness reinforcement learning (RL) by generating full opportunity time windows instead of rigid point labels, (2) systematic proactiveness metrics capturing both timing quality and reference action alignment, and (3) RL optimization using GRPO with various reward designs. Our insight is that RULER-based rewards with proactiveness rubrics are crucial for improving timing quality, and that proactiveness optimization enabled by stage-aware composite rewards is key to balancing timing quality and reference action alignment. Timing-aware RL requires extensive exploration, demanding efficient infrastructure. We develop ART-F, an adaptive framework combining request-adaptive inference clusters with DDP-based training on single-node multi-GPU systems, enabling LoRA training of 4-bit Qwen2.5-14B-ProActor-Q4 with 4-8x speedups. Experiments on two newly auto-annotated datasets demonstrate significant improvements in proactive timing while maintaining action consistency comparable to state-of-the-art (SOTA) baselines. Ablations validate the effectiveness of distinct composite reward variations.
• Abstract（参考訳）: アクティブなタスク指向エージェントは、ユーザニーズを自律的に予測し、実行可能な機会を特定し、適切なタイミングでソフトウェアアクションをトリガーする必要があります。 しかし、既存のアプローチではそのような予測行動の測定と最適化のための一般化可能なエンドツーエンドのソリューションが欠如している。 本稿では,(1)厳格な点ラベルの代わりにフル機会時間ウィンドウを生成することにより,スケーラブルな積極性強化学習(RL)を可能にするドメインに依存しない自動アノテーション手法であるProActor,(2)タイミング品質と参照アクションアライメントの両方を計測する系統的積極性指標,(3)GRPOを用いた様々な報酬設計によるRL最適化を提案する。 我々の知見は、RULERをベースとしたプロアクティブ性ルーブリックを用いた報酬は、タイミング品質向上に不可欠であり、ステージアウェア複合報酬によって実現されるプロアクティブ性最適化は、タイミング品質と参照アクションアライメントのバランスをとる上で重要であるということである。 タイミング対応のRLは広範な探索を必要とし、効率的なインフラを必要としている。 我々は,要求適応型推論クラスタと単一ノードマルチGPUシステム上でのDDPベースのトレーニングを組み合わせた適応型フレームワークART-Fを開発し,4ビットQwen2.5-14B-ProActor-Q4と4-8倍の高速化を実現した。 新たにアノテートされた2つのデータセットの実験では、プロアクティブタイミングが大幅に改善され、ステート・オブ・ザ・アート(SOTA)ベースラインに匹敵するアクション一貫性が維持された。 アブレーションは、異なる複合報酬のバリエーションの有効性を検証する。

関連論文リスト

• Team-Based Self-Play With Dual Adaptive Weighting for Fine-Tuning LLMs [24.816746511570244]
  Team-based Self-Play with dual Adaptive Weighting (TPAW)は、完全に自己監督された設定でのアライメントを改善するために設計された新しいセルフプレイアルゴリズムである。 TPAWは、人間の監督を必要とせず、反復的に調整する。
  論文  参考訳（メタデータ） (2026-05-11T03:17:31Z)
• Contextual Rollout Bandits for Reinforcement Learning with Verifiable Rewards [69.74686029941881]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論能力を改善するための効果的なパラダイムである。 トレーニングを通して高価値ロールアウトを適応的に選択する統合型ニューラルネットワークスケジューリングフレームワークを提案する。 6つの数学的推論ベンチマークの実験では、複数のRLVR最適化手法で性能と訓練効率が一貫した向上を示した。
  論文  参考訳（メタデータ） (2026-02-09T10:51:58Z)
• AceGRPO: Adaptive Curriculum Enhanced Group Relative Policy Optimization for Autonomous Machine Learning Engineering [52.67783579040657]
  AceGRPOは、エージェントの学習フロンティアにおけるタスクを優先順位付けして学習効率を最大化する機械学習システムである。 我々のトレーニングされたAce-30Bモデルは、MLE-Bench-Lite上で100%有効な応募率を実現し、プロプライエタリなフロンティアモデルの性能にアプローチし、より大きなオープンソースベースラインを上回ります。
  論文  参考訳（メタデータ） (2026-02-08T10:55:03Z)
• ProRAG: Process-Supervised Reinforcement Learning for Retrieval-Augmented Generation [54.071574153853994]
  ProRAGは、学習段階の監視をオンライン最適化ループに統合するために設計されたプロセス教師付き強化学習フレームワークである。 本フレームワークは,(1)構造化推論形式でモデルを初期化するための監視されたポリシーワームアップ,(2)中間推論品質を定量化するためのMCTSベースのプロセスリワードモデル(PRM)の構築,(3)細粒度プロセスの好みに合わせてポリシーを調整するためのPRM誘導推論リファインメント,(4)プロセススーパービジョン強化学習と2つのグラニュラリティー・アドバンテージ・メカニズムの4段階から構成される。
  論文  参考訳（メタデータ） (2026-01-29T16:04:59Z)
• RISER: Orchestrating Latent Reasoning Skills for Adaptive Activation Steering [62.63376387138257]
  本稿では,アクティベーション空間における大規模言語モデル(LLM)推論を適応的に制御するプラグイン・アンド・プレイ介入フレームワークを提案する。 RISERは再利用可能な推論ベクトルのライブラリを構築し、軽量ルータを使用して各入力に対して動的に構成する。 ルーターは、タスクレベルの報酬の下で強化学習を通じて最適化され、緊急かつ構成的な方法で潜在する認知的プリミティブを活性化する。
  論文  参考訳（メタデータ） (2026-01-14T08:04:33Z)
• A Unified Multi-Task Learning Framework for Generative Auto-Bidding with Validation-Aligned Optimization [51.27959658504722]
  マルチタスク学習は、これらのタスクを共有表現を通じて共同でトレーニングするための、原則化されたフレームワークを提供する。 既存のマルチタスク最適化戦略は、主にトレーニングダイナミクスによって導かれ、不安定な入札環境ではよく一般化される。 本稿では,タスク毎のトレーニング勾配と保留有効度勾配のアライメントに基づいてタスク重みを適応的に割り当てる,バリデーション適応型マルチタスク最適化(VAMO)を提案する。
  論文  参考訳（メタデータ） (2025-10-09T03:59:51Z)
• Encouraging Good Processes Without the Need for Good Answers: Reinforcement Learning for LLM Agent Planning [6.314485350935057]
  Reinforcement Learning with Tool-use Rewardsは、トレーニングプロセスを分離して、計画モジュールの集中的で単目的的な最適化を可能にする新しいフレームワークである。 実験の結果, RLTRは, エンド・ツー・エンドのベースラインに比べて, 計画性能が8%-12%向上していることがわかった。 この拡張計画能力は、結果として、全体のエージェントシステムの最終的な応答品質が5%-6%向上したことを意味する。
  論文  参考訳（メタデータ） (2025-08-27T06:19:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。