論文の概要: Actor, Judge, or Teacher? Understanding Decision Models in Long-Horizon Agents
- arxiv url: http://arxiv.org/abs/2611.17167v1
- Date: Thu, 12 Nov 2026 17:42:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.574569
- Title: Actor, Judge, or Teacher? Understanding Decision Models in Long-Horizon Agents
- Title(参考訳): 俳優、裁判官、教師 : ロングホライゾンエージェントの意思決定モデルを理解する
- Abstract要約: 決定モデルは、入力された出力で質問に答えるため、あるモデルはエージェントのアクションを選択したり、既に取られたアクションを評価したり、強化学習でポリシーを教えるためにすべてのアクションをスコア付けすることができる。
先行研究は、主に俳優として研究し、彼らがどのように振る舞うかによってその有用性を判断している。
悪い振る舞いをする決定モデルが、まだうまく学べるかどうかを問う。
教師として、JEVはGRPOに対するQwen2.5-1.5Bポリシーを72.8%から82.9%に引き上げ、WebShopでは56.8%から71.4%に引き上げている。
- 参考スコア(独自算出の注目度): 48.3019061372089
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Decision models answer a question with a typed output, such as a choice among options with a probability for each, so one model can choose an agent's actions, evaluate actions already taken, or score every action to teach a policy with reinforcement learning. Prior work has studied them mainly as actors, judging their usefulness by how well they act. We ask whether a decision model that acts poorly can still teach well. We compare three decision models and three general LLMs as actors and judges on ALFWorld, and use JEV as a teacher on ALFWorld and WebShop. As actors, all six models are pulled away from a subgoal that must come first by an easier one. As judges that see the whole trajectory, the same models credit the steps toward that subgoal, and asking whether each action helped, rather than whether the task will succeed, separates useful from useless actions. As a teacher, JEV raises a Qwen2.5-1.5B policy over GRPO from 72.8% to 82.9% success on ALFWorld and from 56.8% to 71.4% on WebShop. These results suggest that a poor actor can still teach well, because judging an action after the episode ends reveals the consequences that acting must anticipate. Code is available at https://github.com/ZJU-REAL/decision-agents.
- Abstract(参考訳): 決定モデルは、それぞれに確率のある選択肢の選択のような型付きアウトプットで質問に答えるので、あるモデルはエージェントのアクションを選択したり、既に取られたアクションを評価したり、強化学習でポリシーを教えるためのすべてのアクションをスコア付けすることができる。
先行研究は、主に俳優として研究し、彼らがどのように振る舞うかによってその有用性を判断している。
悪い振る舞いをする決定モデルが、まだうまく学べるかどうかを問う。
3つの意思決定モデルと3つの LLM を ALFWorld の俳優および審査員として比較し,JEV を ALFWorld と WebShop の教師として利用する。
アクターとして、6つのモデルはすべて、より簡単でなければならないサブゴールから取り除かれます。
全体軌道を判断する判断として、同じモデルは、そのサブゴールに向けたステップを信用し、タスクが成功するかどうかではなく、それぞれのアクションが役に立つかどうかを問う。
教師として、JEVはGRPOに対するQwen2.5-1.5Bポリシーを72.8%から82.9%に引き上げ、WebShopでは56.8%から71.4%に引き上げている。
これらの結果は、エピソード終了後の行動を判断すると、演技が期待する結果が明らかになるため、貧しい俳優がいまだによく教えることができることを示唆している。
コードはhttps://github.com/ZJU-REAL/decision-agentsで入手できる。
関連論文リスト
- Learning to Act with World Models by Valuing What Comes Next [6.860782772782439]
端末の報酬は、エージェントにそのステップについてほとんど教えてくれません。
実際のトランジションに基づいてトレーニングされた世界モデルは、それぞれのアクションの変化を予測することができるが、予測された観察はそれ自体が成功の可能性が高くなるかどうかを示すものではない。
PPOの批評家はこの判断を、現在の政策の成功確率を見積もることによって下すが、エージェントが到達した州に限られる。
WM-PPOは2つをエレガントに結合します。
論文 参考訳(メタデータ) (2026-11-09T10:59:19Z) - JevAgentHarness: Benchmarking, Deploying and Training Decision Models That Share Control with LLMs [67.3059941230326]
大規模言語モデル(LLM)エージェントは、ソフトウェアを修正し、コンピュータを操作し、顧客にサービスを提供するが、そのハーネス、そしてそれらを実行するプログラムは、すべてのステップで大きなLLMを呼び出す。
ハーネスがこれらの決定を、ほとんど成功しない決定モデルに委譲する方法を問う。
AgentDecisionBenchは独立した質問から決定モデルをテストし、公開ベンチマークとDecisionGym環境上で実行中のエージェントを制御する。
次に、JevAgentHarnessを設計します。これは、エージェント自身の軌道上の各選択のしきい値に適合し、LLMがその下にあることを判断します。
論文 参考訳(メタデータ) (2026-10-15T07:27:08Z) - Sherpa: Teaching LLMs to Teach Adaptively [60.9784720634019]
大規模言語モデル(LLM)は、ますます有能な問題解決者になりつつあるが、問題を解くことは、それを教えることと同じではない。
異なる学習嗜好に基づいてLLMを用いて学生の古型をインスタンス化する強化学習フレームワークであるSherpaを紹介する。
シェルパで教育を受けた教師のLLMは、すべての古型に対して平均20.5ポイントの成績を指導した。
論文 参考訳(メタデータ) (2026-10-06T17:58:18Z) - First Make It Playable, Then Make It Good: Staged Interaction Learning for Small Dialogue-Game Agents [5.066450251002448]
対話ゲームインタラクションのための言語モデルQwen-GuidePlay-2Bを提案する。
我々は, A) Playpenのゲームトラジェクトリのみで成功したSFT, b) ターンレベルSFT, c) 教師誘導SFTの3ステップを用いてQwen3.5-2Bを微調整する。
その結果,全軌道の模倣は遊びやすさに寄与し,ターンレベルおよび教師指導の訓練は意思決定を改善し,総合的な得点を高めることが示唆された。
論文 参考訳(メタデータ) (2026-08-27T19:58:06Z) - OPOD: On-Policy Omni Distillation [55.440058537827134]
プール化されたマルチモーダルデータ上で単一のモデルをトレーニングすることは、個々のモダリティに特化したモデルにマッチしないことが多い。
本報告では,オムニ蒸留法(Omni Distillation,OPD)について述べる。
OPDは各スケールで最高のスコアを獲得し、70.8、51.7、46.2に達した。
論文 参考訳(メタデータ) (2026-07-23T04:55:04Z) - SportD: Can VLMs Physically Strategize? [3.6356011518439684]
SportDは、2022年のFIFAワールドカップにおける478の判定結果からなるベンチマークである。
それぞれのモデル選択は、攻撃チームの得点率を最も高めるアクションを推定する所有価値モデルに対して評価される。
3つのフロンティアVLMで、最多は31.4%のイベントで、プロの選手は38.9%だった。
論文 参考訳(メタデータ) (2026-07-16T06:30:26Z) - SuperCorrect: Advancing Small LLM Reasoning with Thought Template Distillation and Self-Correction [89.56181323849512]
SuperCorrectは、大きな教師モデルを使用して、より小さな学生モデルの推論と反映の両方を監督し、修正する新しい2段階のフレームワークである。
第1段階では、教師モデルから階層的な高レベルかつ詳細な思考テンプレートを抽出し、よりきめ細かい推論思考を導き出す学生モデルを指導する。
第2段階では、学生モデルの自己補正能力を高めるために、クロスモデル協調直接選好最適化(DPO)を導入する。
論文 参考訳(メタデータ) (2024-10-11T17:25:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。