論文の概要: Iron: Intent-Aligned and Retrospective Dual Learning Framework for Enhancing Generalist Virtual Agents

• arxiv url: http://arxiv.org/abs/2608.27866v1
• Date: Fri, 28 Aug 2026 03:15:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.189004
• Title: Iron: Intent-Aligned and Retrospective Dual Learning Framework for Enhancing Generalist Virtual Agents
• Title（参考訳）: Iron:ジェネラリスト仮想エージェントの強化のための直感的でふりかえりのデュアルラーニングフレームワーク
• Abstract要約: 我々は、GUIエージェントをトレーニングするための意図に沿ったフレームワークであるIronを紹介します。 鉄は、低レベルアクションと高レベルインテントの微粒なアライメントを達成するために、段階的にサイクル一貫性の報酬を用いる。 鉄を訓練したジェネリストエージェントは、クロス環境およびクロスデバイスタスクのパフォーマンスを一貫して改善することを示した。
• 参考スコア（独自算出の注目度）: 31.811763840603614
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Achieving virtual agents capable of automating tasks across diverse digital environments remains a pivotal challenge in Embodied AI. While Multimodal Large Language Models (MLLMs) offer enhanced visual perception and reasoning, their agentic deployment faces three challenges: costly data annotation, imprecise action-intent alignment, and inefficient exploration from discarded failed trajectories. To address these, we introduce Iron, an intent-aligned, self-improved, and annotation-efficient framework for training GUI agents. Iron employs a novel dual learning strategy that utilizes a stepwise cycle-consistent (SCC) reward to achieve fine-grained alignment between low-level actions and high-level intents, thereby improving instruction grounding and intent understanding. Concurrently, Iron introduces a hindsight reproduction mechanism to repurpose failed trajectories for training, improving both learning efficiency and task diversity. Extensive experiments demonstrate that Iron-trained generalist agents consistently improve performance on cross-environment and cross-device tasks, outperforming models trained with three times more data. Iron also achieves a substantial 25.06% relative improvement on unseen web tasks, with further gains observed on inherently complex tasks, demonstrating the feasibility of building more capable virtual agents.
• Abstract（参考訳）: 多様なデジタル環境におけるタスクを自動化できる仮想エージェントの獲得は、Embodied AIにおける重要な課題である。 MLLM(Multimodal Large Language Models)は、視覚的知覚と推論の強化を提供するが、エージェントデプロイメントは、コストのかかるデータアノテーション、不正確なアクションインテントアライメント、破棄された軌道からの非効率な探索の3つの課題に直面している。 これらの問題に対処するために、GUIエージェントをトレーニングするための意図的、自己改善的でアノテーション効率のよいフレームワークであるIronを紹介します。 鉄は、段階的にサイクル一貫性(SCC)の報酬を利用して、低レベルのアクションと高レベルのインテントの微粒なアライメントを実現し、命令基底とインテント理解を改善した、新しいデュアルラーニング戦略を採用している。 同時にIronは、学習効率とタスク多様性の両方を改善するために失敗した軌道を再利用する、後向きの再生機構を導入している。 鉄で訓練されたジェネリストエージェントは、クロス環境およびクロスデバイスタスクのパフォーマンスを一貫して改善し、3倍のデータでトレーニングされたモデルより優れた性能を発揮する。 アイアンはまた、未確認のウェブタスクに対して、相当な25.06%の相対的な改善を達成し、本質的に複雑なタスクでさらに利益を上げ、より有能な仮想エージェントを構築する可能性を示している。

関連論文リスト

• Generalize and Guide: Decomposing Rewards for Few-Shot Inverse Reinforcement Learning [4.847786820784619]
  逆強化学習(IRL)は、実演から学ぶための強力なフレームワークを提供する。 マルチタスク識別器の近性誘導IRL(MPG)について紹介する。 MPGは,(1)関係タスク間で共有構造を伝達し,新たなタスクにおける専門家の行動を識別する一般化可能な識別器,(2)状態が専門家の行動からどの程度逸脱しているかを計測し,探索中に補正ガイダンスを提供する近接関数,の2つの相補的報酬成分を学習する。
  論文  参考訳（メタデータ） (2026-07-20T09:51:02Z)
• Stage-Transition Dense Reward Modeling for Reinforcement Learning [22.634812963829194]
  長距離ロボット操作のための強化学習は、しばしばスパースと遅延報酬によって制限される。 この研究は、未構造化のエキスパートビデオから論理的に根拠の深い報酬に変換し、RLエージェントをゼロから訓練するための視覚的な報酬学習フレームワークであるStage-Transition Dense Reward (STDR)を提案する。 STDRは、オンライントレーニング中に2つの補完的な学習信号を提供する: (i)目標指向の報酬を提供する段階遷移フィードバック、(ii)各段階の完了に向けた詳細なガイダンスを提供する段階内進捗フィードバック。
  論文  参考訳（メタデータ） (2026-06-30T09:07:19Z)
• SENTINEL: Failure-Driven Reinforcement Learning for Training Tool-Using Language Model Agents [52.758563996979596]
  言語モデルエージェントは、マルチターンツールの使用によって現実的なタスクを解決するのにますます効果的である。 SENTINELは障害駆動型強化学習フレームワークで,障害のロールアウトを目標とするトレーニングタスクに変換する。 Tau2-Bench Retail with Qwen3-4B-Thinking-2507では、SENTINELはPass1を66.4から74.9に改善し、Passkメトリクス全体にわたる一般的な合成タスクにおいてRLを上回っている。
  論文  参考訳（メタデータ） (2026-06-11T05:06:50Z)
• ProgVLA: Progress-Aware Robot Manipulation Skill Learning [13.001629637153583]
  本稿では,厳密な計算およびメモリ予算下でのロボット操作のための,コンパクトな視覚言語アクション(VLA)モデルであるProgVLAを提案する。 2段階のPerceiver再サンプリングスキームを持つマルチモーダルエンコーダは、可変長の視覚、言語、固有受容ストリームを、制御可能なコンテキストトークンの固定セットに圧縮する。 前進ヘッドの補助セットは、オフラインの強化学習目標を用いて訓練され、正規化された残地目標に対する批判を共同で学習する。
  論文  参考訳（メタデータ） (2026-05-27T09:44:46Z)
• CORE: Code-based Inverse Self-Training Framework with Graph Expansion for Virtual Agents [69.88668127604875]
  グラフ拡張を用いたコードベースの逆自己学習フレームワークであるCOREを提案する。 COREは模倣と探索を橋渡しし、行動の多様性を促進する新しいトレーニングフレームワークを提供する。 WebとAndroidプラットフォームの実験では、COREは全体的なパフォーマンスと一般化の両方を著しく改善している。
  論文  参考訳（メタデータ） (2026-01-05T15:24:05Z)
• Agentic Jigsaw Interaction Learning for Enhancing Visual Perception and Reasoning in Vision-Language Models [63.69856480318313]
  AGILEは、対話的なプロセスとしてジグソー解決を定式化し、モデルが環境に徐々に関与できるようにする。 我々は AGILE がジグソータスクの性能を大幅に向上させることを示す。 また、9つの一般的な視覚タスクに対して強力な一般化を示し、平均3.1%の改善を実現した。
  論文  参考訳（メタデータ） (2025-10-01T17:58:05Z)
• Subtask-Aware Visual Reward Learning from Segmented Demonstrations [97.80917991633248]
  本稿では,新しい報酬学習フレームワークであるReward Learning from Demonstration with Demonstrationsを紹介する。 我々は,映像セグメントとそれに対応するサブタスクに条件付けされた高密度報酬関数を訓練し,地道報酬信号との整合性を確保する。 実験の結果,REDSはメタワールドにおける複雑なロボット操作タスクのベースライン手法よりも優れていた。
  論文  参考訳（メタデータ） (2025-02-28T01:25:37Z)
• MENTOR: Mixture-of-Experts Network with Task-Oriented Perturbation for Visual Reinforcement Learning [17.437573206368494]
  視覚深部強化学習(RL)は、ロボットが非構造化タスクの視覚入力からスキルを習得することを可能にする。 本稿では,RLエージェントのアーキテクチャと最適化の両方を改善する手法であるMENTORを提案する。 MenTORは3つのシミュレーションベンチマークで最先端の手法を上回り、挑戦的な3つの現実世界のロボット操作タスクで平均83%の成功率を達成した。
  論文  参考訳（メタデータ） (2024-10-19T04:31:54Z)
• Affordance-Guided Reinforcement Learning via Visual Prompting [51.361977466993345]
  Keypoint-based Affordance Guidance for Improvements (KAGI) は、視覚言語モデル(VLM)によって形成される報酬を自律的なRLに活用する手法である。 自然言語記述によって指定された多様な実世界の操作タスクにおいて、KAGIは自律的なRLのサンプル効率を改善し、30Kのオンライン微調整ステップでタスク完了を成功させる。
  論文  参考訳（メタデータ） (2024-07-14T21:41:29Z)
• RILe: Reinforced Imitation Learning [60.63173816209543]
  RILe(Reinforced Learning)は、模倣学習と逆強化学習の強みを組み合わせて、高密度報酬関数を効率的に学習するフレームワークである。 本フレームワークは, 直接模倣が複雑な動作を再現できないような高次元タスクにおいて, 高い性能のポリシーを生成する。
  論文  参考訳（メタデータ） (2024-06-12T17:56:31Z)
• Latent Policies for Adversarial Imitation Learning [21.105328282702885]
  本稿では,専門家によるデモンストレーションからロボットの移動と操作の学習について考察する。 GAIL(Generative Adversarial mimicion Learning)は、エージェント遷移と専門家を区別する判別器を訓練し、次に、識別器出力によって定義された報酬を使用してエージェントのポリシー生成を最適化する。 この研究の重要な洞察は、適切な潜在タスク空間で模倣学習を行うことで、高次元問題に挑戦してもトレーニングプロセスを安定させるということである。
  論文  参考訳（メタデータ） (2022-06-22T18:06:26Z)
• Bridging the Imitation Gap by Adaptive Insubordination [88.35564081175642]
  教官が特権情報にアクセスして意思決定を行う場合、この情報は模倣学習中に疎外されることを示す。 本稿では,このギャップに対処するため,適応的不規則化(ADVISOR)を提案する。 ADVISORは、トレーニング中の模倣と報酬に基づく強化学習損失を動的に重み付け、模倣と探索をオンザフライで切り替えることを可能にする。
  論文  参考訳（メタデータ） (2020-07-23T17:59:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。