論文の概要: DeLoop: Repeated Actions as Self-Supervision for Long-Horizon Agents

• arxiv url: http://arxiv.org/abs/2610.19376v1
• Date: Wed, 14 Oct 2026 01:23:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.881876
• Title: DeLoop: Repeated Actions as Self-Supervision for Long-Horizon Agents
• Title（参考訳）: DeLoop: ロングホライゾンエージェントのセルフスーパービジョンとして繰り返しアクション
• Abstract要約: 長いタスクを実行する言語モデルエージェントは、しばしば既に行っている作業を再実行します。 ループを減らす自己教師型トレーニング手法であるDeLoopを提案する。 圧縮中のCodeGymでは、ループを含むQwen3-8Bタスクのシェアを57.3%から6.1%に削減している。
• 参考スコア（独自算出の注目度）: 8.305221405641474
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language-model agents that run long tasks often redo work they have already done: they re-issue a tool call they made earlier and get back exactly the same observation, a step that adds no new information. We identify this failure as a loop. Loops appear natively in Qwen, Llama, and Gemini agents and become far more common once the agent's history is compressed to fit its context window. To reduce these loops, we propose DeLoop, a self-supervised training method. DeLoop builds on a simple observation: the agent's own rollout can provide the supervision needed to learn from its loops. We use a looping action as a negative example and the first later non-looping action in the same rollout as a positive example. DeLoop learns from these pairs through direct preference optimization and does not require task rewards, gold answers, or LLM judges. On CodeGym under compression, DeLoop reduces the share of Qwen3-8B tasks containing loops from 57.3% to 6.1%. It also uses about one third as many steps per task, with similar task success. On Qwen3-32B, DeLoop reduces loops and steps while raising task success from 37.7% to 44.8%.
• Abstract（参考訳）: 長いタスクを実行する言語モデルエージェントは、すでに行っている作業を再実行します。 この失敗をループと認識します。 ループはQwen、Llama、Geminiのエージェントでネイティブに表示され、エージェントの履歴が圧縮されてコンテキストウィンドウに適合すると、はるかに一般的になる。 これらのループを減らすために,自己教師付きトレーニング手法であるDeLoopを提案する。 DeLoopは単純な観察に基づいて構築されている。エージェント自身のロールアウトは、ループから学ぶのに必要な監視を提供することができる。 ループ動作を負の例とし、最初のループ動作を正の例と同じロールアウトで行う。 DeLoopはこれらのペアから直接の選好最適化を通じて学び、タスク報酬、金の回答、LLMの判断を必要としない。 圧縮中のCodeGymでは、ループを含むQwen3-8Bタスクのシェアを57.3%から6.1%に削減している。 また、タスク毎に約3分の1のステップを使用し、同様のタスクが成功している。 Qwen3-32Bでは、DeLoopはループとステップを減らし、タスクの成功率は37.7%から44.8%に向上した。

関連論文リスト

• Graph-Reweighted Behavior Cloning with Human Interventions for Precise Robotic Manipulation [51.011712435458925]
  ロングホライゾンの精密な操作は、学習後の視覚-言語-アクションモデルのための混合品質データを生成する。 主要な課題は、不完全な軌道を均一にクローンしたり破棄したりするのではなく、どのアクションチャンクが実際にタスクを前進させるかを特定することである。 本稿では,タスク条件付き目標到達性グラフを構築するオフライン反復学習フレームワークGR-BCを提案する。
  論文  参考訳（メタデータ） (2026-10-14T17:09:36Z)
• LoopWAM: Closed-Loop Generalist Policy Improvement from Deployment Rollouts [56.21252928632393]
  専門家によるデモのスケーリングだけでは、一般的なロボットポリシーがデプロイメントから改善されることはない。 この完全品質スペクトルから直接学習する閉ループワールドアクションモデルである textbfLoopWAM を導入する。 音源依存ノイズサンプリングは行動学習と行動条件付き世界モデリングを統合する。 ビデオトークンとアクショントークンは並列denoisingを通じて相互作用し、学習結果がアクション生成を直接通知する。
  論文  参考訳（メタデータ） (2026-10-13T17:59:56Z)
• RESETTLE: Robotic Recovery through Disagreement-Triggered Retrieval and Efficient Corrective Control [92.47481295713227]
  本稿では,凍結ロボットポリシーのアクション・エグゼクティブ・インタフェースにおいて,効率的なリカバリのためのモデルに依存しないフレームワークであるRESETTLEを紹介する。 適応されたV-JEPAエンコーダを使用して、同じタスクのデモ参照を取得する。 LIBERO-Plus、Meta-World、RoboCasaでは最大8.70%、6.28%、絶対的な成功率6.83%に達する。
  論文  参考訳（メタデータ） (2026-10-08T15:49:03Z)
• RecurTrace: Adaptive Latent Reasoning with Loop-Time Memory [25.81050020222202]
  Loop Memory Attentionでは、ループ時間軸に沿った以前のイテレーションから、ループされた各レイヤが自身の状態に参加することができる。 RecurTraceは平均2.0ループで56.9%の精度を達成し、一致した計算で2.2ポイントの最良の固定ループ深さを超えた。
  論文  参考訳（メタデータ） (2026-09-03T05:29:24Z)
• Act More, Decide Less: Skill-Guided Adaptive Action Chunking for Long-Horizon LLM Agents [50.85250898062218]
  大規模言語モデル(LLM)エージェントは、通常、ReActスタイルのプロトコルに従う。 自然な方法は、エージェントが可変長のアクションチャンクを出力することです。 しかし、こうした政策を標準的な強化学習で素直に訓練することは失敗する。
  論文  参考訳（メタデータ） (2026-09-02T03:17:11Z)
• Good to Go: The LOOP Skill Engine That Hits 99% Success and Slashes Token Usage by 99% via One-Shot Recording and Deterministic Replay [14.181844060152367]
  99%の成功率と99%のトークン削減を実現するシステムである LOOP SKILL ENGINE を提案する。 決定論的実行計画は、時間依存変数と結果依存変数をパラメータ化しながら、タスクの機能的意図をキャプチャする。 周期的エージェントタスクのベンチマークが5分から24時間に及ぶ間、Loop Skill Engineは毎月のトークン消費を93.3%--99.98%削減し、実行遅延を8.7倍削減し、出力非決定性を排除している。
  論文  参考訳（メタデータ） (2026-05-14T01:05:35Z)
• When Agents Disagree With Themselves: Measuring Behavioral Consistency in LLM-Based Agents [0.0]
  ReActスタイルのエージェントは、同じ入力でも平均10回の実行毎に2.0--4.2の異なるアクションシーケンスを生成する。 一貫性のある動作を持つタスクは80-92%の精度を達成するが、一貫性のないタスクは25-60%しか達成しない。 この結果から,実行中の動作の整合性を監視することにより,早期のエラー検出とエージェント信頼性の向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2026-02-12T06:15:14Z)
• Runaway is Ashamed, But Helpful: On the Early-Exit Behavior of Large Language Model-based Agents in Embodied Environments [54.67512489842682]
  大規模言語モデル(LLM)は、複雑な実施環境において、強力な計画と意思決定能力を示す。 LLMをベースとしたエージェントの早期退避行動を探究する第一歩を踏み出す。
  論文  参考訳（メタデータ） (2025-05-23T08:23:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。