論文の概要: Let it Cook: Learning to Wait in Sequential Decision Making

• arxiv url: http://arxiv.org/abs/2608.11511v1
• Date: Tue, 11 Aug 2026 23:55:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.404331
• Title: Let it Cook: Learning to Wait in Sequential Decision Making
• Title（参考訳）: Let it Cook: シーケンシャルな意思決定で待つことを学ぶ
• Abstract要約: 待ち時間を決定する“待機ポリシー”をトレーニングします。 これは、一連の時間ステップに対する故意の一時停止を表す、待機アクションにコミットするために、センシングを強制することを含む。 提案手法は,待機行動の学習に成功し,事前学習したポリシーを適切なタイミングで待つことができることを示す。
• 参考スコア（独自算出の注目度）: 24.339087248443423
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In sequential decision making, an agent typically observes its environment and acts at every timestep. However, such active participation may not always be necessary; tasks such as brewing coffee include periods that are served equally well by letting the environment evolve without constant monitoring and control. During such periods, the agent could simply wait to conserve its resources, or redirect its attention to another task. We capitalize on these opportunities by training a "waiting policy" that decides where and how long to wait. This involves forgoing sensing to commit to a wait action, representing a deliberate pause for a set number of timesteps. We formalize "learning to wait" as minimizing the frequency of sensing and decision making without sacrificing task performance (e.g., the total amount of time to complete a task). To train a waiting policy, we propose an approach that employs reinforcement learning with lexicographically ordered objectives. In experiments across 4 discrete-state household tasks and 3 continuous-state environments, we show that our approach successfully learns waiting behaviors, and can adapt pre-trained policies to wait where appropriate. While different tasks permit different amounts of waiting without sacrificing task performance, our approach consistently finds solutions with significant waiting, sometimes waiting for over 50 percent of the task duration.
• Abstract（参考訳）: シーケンシャルな意思決定では、エージェントはその環境を観察し、各タイミングで行動する。 しかし、このような活動的な参加は必ずしも必要ではなく、コーヒーを醸造するなどのタスクには、常に監視や制御をすることなく環境を進化させることによって同様に機能する期間が含まれる。 このような期間、エージェントは単にリソースの保存を待つか、別のタスクに注意を向けるだけでよい。 我々は、いつ、どのくらい待つかを決める「待機方針」を訓練することで、これらの機会に乗じる。 これは、一連の時間ステップに対する故意の一時停止を表す、待機アクションにコミットするために、センシングを強制することを含む。 タスク性能を犠牲にすることなく、検知と意思決定の頻度を最小化すること(例えば、タスクを完了するまでの総時間)として「待機の学習」を形式化する。 待ち行列をトレーニングするために,語彙的に順序づけられた目的を持つ強化学習を用いたアプローチを提案する。 4つの個別の家庭作業と3つの連続的な環境に関する実験において、我々のアプローチは待機行動の学習に成功し、適切なタイミングで事前訓練されたポリシーを適用することができることを示した。 異なるタスクはタスクのパフォーマンスを犠牲にすることなく、異なる待ち時間を可能にするが、我々のアプローチは、タスクの50%以上を待たずに、大きな待ち時間を持つソリューションを一貫して見つけ出す。

関連論文リスト

• SentinelBench: A Benchmark for Long-Running Monitoring Agents [20.69666656998877]
  SentinelBenchは、時間進化モニタリングタスクのためのオープンソースのベンチマークである。 メール、カレンダー、ファイナンス、プロフェッショナルネットワーキング、エンターテイメントなど10の合成ウェブ環境に100のタスクがある。 タスク完了、反応時間、リソース使用量を計測し、応答性とコストのトレードオフを明らかにする。
  論文  参考訳（メタデータ） (2026-06-03T18:32:00Z)
• Continual Deep Reinforcement Learning with Task-Agnostic Policy Distillation [0.0]
  TAPD(Task-Agnostic Policy Distillation)フレームワークが導入されている。 本稿では,継続学習の問題に対処する。 タスク非依存の蒸留知識を利用することで、下流タスクをより効率的に解決することができる。
  論文  参考訳（メタデータ） (2024-11-25T16:18:39Z)
• Adaptive Manipulation using Behavior Trees [12.061325774210392]
  本稿では,適応的行動木,スケーラブルで一般化可能な行動木の設計について述べる。 ロボットは、タスク実行中に視覚的観察と非視覚的観察の両方から素早く適応し、学習することができる。 当社のアプローチは、業界で一般的に見られるさまざまなタスクでテストしています。
  論文  参考訳（メタデータ） (2024-06-20T18:01:36Z)
• Active Instruction Tuning: Improving Cross-Task Generalization by Training on Prompt Sensitive Tasks [101.40633115037983]
  インストラクションチューニング(IT)は,大規模言語モデル(LLM)を命令付き多種多様なタスクで訓練することにより,印象的なゼロショット一般化を実現する。 ITモデルの性能と一般化性を改善するために、新しいタスクをどのように選択するかは、未解決の問題である。 本稿では,情報的タスクを識別する新しいフレームワークである即時不確実性に基づくアクティブな指導チューニングを提案し,選択したタスク上でモデルをアクティブにチューニングする。
  論文  参考訳（メタデータ） (2023-11-01T04:40:05Z)
• Continual Robot Learning using Self-Supervised Task Inference [19.635428830237842]
  新しいタスクを継続的に学習するための自己教師型タスク推論手法を提案する。 我々は、行動マッチング型自己教師型学習目標を用いて、新しいタスク推論ネットワーク(TINet)を訓練する。 マルチタスクポリシはTINet上に構築され、タスクよりもパフォーマンスを最適化するために強化学習でトレーニングされている。
  論文  参考訳（メタデータ） (2023-09-10T09:32:35Z)
• Multitask Learning with No Regret: from Improved Confidence Bounds to Active Learning [79.07658065326592]
  推定タスクの不確実性の定量化は、オンラインやアクティブな学習など、多くの下流アプリケーションにとって重要な課題である。 タスク間の類似性やタスクの特徴を学習者に提供できない場合、課題設定において新しいマルチタスク信頼区間を提供する。 本稿では,このパラメータを事前に知らないまま,このような改善された後悔を実現する新しいオンライン学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-08-03T13:08:09Z)
• A Definition of Continual Reinforcement Learning [69.56273766737527]
  強化学習問題の標準的な見方では、エージェントの目標は、長期的な報酬を最大化するポリシーを効率的に識別することである。 継続的強化学習とは、最高のエージェントが決して学習をやめない状態を指す。 エージェントの分析とカタログ化のための新しい数学的言語を通じて「学習をやめることはない」エージェントの概念を定式化する。
  論文  参考訳（メタデータ） (2023-07-20T17:28:01Z)
• Behavior Self-Organization Supports Task Inference for Continual Robot Learning [18.071689266826212]
  本稿では,ロボット制御タスクの連続学習に対する新しいアプローチを提案する。 本手法は, 漸進的に自己組織化された行動によって, 行動埋め込みの教師なし学習を行う。 従来の手法とは異なり,本手法ではタスク分布の仮定は行わず,タスクを推論するタスク探索も必要としない。
  論文  参考訳（メタデータ） (2021-07-09T16:37:27Z)
• Automatic Curriculum Learning through Value Disagreement [95.19299356298876]
  新しい未解決タスクを継続的に解決することが、多様な行動を学ぶための鍵です。 エージェントが複数の目標を達成する必要があるマルチタスク領域では、トレーニング目標の選択はサンプル効率に大きな影響を与える可能性がある。 そこで我々は,エージェントが解決すべき目標のための自動カリキュラムを作成することを提案する。 提案手法は,13のマルチゴールロボットタスクと5つのナビゲーションタスクにまたがって評価し,現在の最先端手法よりも高い性能を示す。
  論文  参考訳（メタデータ） (2020-06-17T03:58:25Z)
• Planning to Explore via Self-Supervised World Models [120.31359262226758]
  Plan2Exploreは自己監督型強化学習エージェントである。 我々は、自己監督型探索と、新しいタスクへの迅速な適応に対する新しいアプローチを提案する。 Plan2Exploreは、訓練の監督やタスク固有の相互作用がなければ、自己監督型の探査方法よりも優れている。
  論文  参考訳（メタデータ） (2020-05-12T17:59:45Z)
• Hierarchical Reinforcement Learning as a Model of Human Task Interleaving [60.95424607008241]
  我々は、強化学習によって駆動される監督制御の階層モデルを開発する。 このモデルは、タスクインターリービングの既知の経験的効果を再現する。 その結果、階層的RLがタスクインターリービングのもっともらしいモデルとして支持された。
  論文  参考訳（メタデータ） (2020-01-04T17:53:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。