論文の概要: Trace2World: Reconstructing App Worlds from Real Interaction Traces for Scalable GUI Agent Training
- arxiv url: http://arxiv.org/abs/2610.30792v1
- Date: Thu, 22 Oct 2026 06:10:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.233842
- Title: Trace2World: Reconstructing App Worlds from Real Interaction Traces for Scalable GUI Agent Training
- Title（参考訳）: Trace2World: スケーラブルなGUIエージェントトレーニングのためのリアルインタラクショントレースからアプリワールドを再構築
- Abstract要約: 我々は,グローバルな行動再構成と実装を分離したtextbfTrace2Worldを紹介した。
トレースを共有ソースリンクアプリモデルに再構成し、実行環境をコンパイルする。
1,570のトレースから、Trace2Worldは50の環境を構築している。10のアプリに200のアプリケーションで91.1%がエンドツーエンドに再生されているのに対して、最強のタスクローカルベースラインは59.8%である。
- 参考スコア（独自算出の注目度）: 16.749141698122347
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Scaling GUI reinforcement learning requires environments that preserve real-app behavior. Yet coupling behavior inference with coding can turn partial traces into runnable mocks with incorrect state transitions. We introduce \textbf{Trace2World}, which separates global behavior reconstruction from implementation. It reconciles traces into a shared, source-linked app model, then compiles an executable environment. Independent replay of source workflows localizes mismatches for bounded implementation repair. Validated worlds then support learner-adaptive task and environment augmentation within source-supported behavior. From 1,570 traces, Trace2World constructs 50 environments. On 200 workflows across ten apps, 91.1% are reproduced end to end, versus 59.8% for the strongest matched task-local baseline. Source-grounded validation retains 94.0% of simulated training gains on real devices, versus 54.7% under self-validation. Learner guidance raises benchmark success from 56.9% to 61.1%. Training in Trace2World further improves the model by 20.2 points on our benchmark, 5.4--16.2 points across four external GUI benchmarks, and 16.3 points on 100 real-device tasks. Reliable reconstruction separates what behavior source evidence supports from whether the implementation preserves it.
- Abstract（参考訳）: GUI強化学習のスケーリングには、実際のアプリケーションの動作を保存する環境が必要である。
しかし、コーディングとの結合行動推論は、部分的なトレースを不正な状態遷移を伴う実行可能なモックに変換することができる。
我々は,グローバルな行動再構成と実装を分離した \textbf{Trace2World} を紹介する。
トレースを共有ソースリンクされたアプリケーションモデルに再構成し、実行環境をコンパイルする。
ソースワークフローの独立したリプレイは、バウンド実装の修正のミスマッチをローカライズする。
検証された世界は、ソースサポートされた行動の中で学習者適応的なタスクと環境拡張をサポートする。
1,570のトレースから、Trace2Worldは50の環境を構築する。
10のアプリケーションにまたがる200のワークフローでは、91.1%がエンドツーエンドに再生され、59.8%が最強のタスクローカルベースラインである。
ソース・グラウンドド・バリデーションは実機での模擬トレーニングの94.0%を保っているが、自己検証では54.7%である。
学習指導はベンチマークの成功を56.9%から61.1%に引き上げる。
Trace2Worldのトレーニングでは、ベンチマークで20.2ポイント、外部GUIベンチマークで5.4-16.2ポイント、100個の実デバイスタスクで16.3ポイント、モデルをさらに改善しています。
信頼性の高い再構築は、その実装がそれを保存するかどうかから、どのような行動源エビデンスをサポートするかを分離する。
関連論文リスト
- FrontierRefactor: Benchmarking Multi-Scale Performance-Oriented Codebase Refactoring [34.41458860449248]
既存のベンチマークは、ランタイムレグレッションを見下ろしながら機能的正確性を評価する。
コンパイルスケールは、観測可能な契約の範囲によって管理されていることを観察する。
私たちはFrontierRefactorを紹介します。これは4つのスケールにまたがる60のエンジニアリングタスクのベンチマークです。
論文 参考訳（メタデータ） (2026-10-19T05:47:51Z) - RecreationWorld: Scalable and Verifiable Environments for Hybrid Computer-Use Agents [53.51359930826217]
真のデジタルワークには、端から端まで積み重ねるのではなく、両方をインターリーブする必要があります。
インターフェースを探索し、ソフトウェアを実装し、それらのアーティファクトを実行し、視覚的に検証するタイミングを自律的に決定するハイブリッドCUAについて研究する。
レクリエーションを中心に構築された5プラットフォームフレームワークであるRecreationWorldを紹介します。
論文 参考訳（メタデータ） (2026-09-18T17:00:56Z) - ProgramDistill: From Interactive Web Apps to Verifiable Reference-Guided SWE Tasks [60.600151982455195]
ProgramDistillは、完全に機能する参照アプリケーションとのインタラクションによって発見された機能について、コーディングエージェントを評価するベンチマークである。
私たちのパイプラインであるマイニングクラフトパッチは、26のアプリケーションにまたがる1,975のリプレイ検証された振る舞いを発見し、人間の介入なしに4,063のタスクを構築します。
論文 参考訳（メタデータ） (2026-09-16T15:19:05Z) - Trace: A Taxonomy-Guided Environment for Multidomain Visual Reasoning [1.7767466724342065]
トレースは、マルチドメインの視覚的推論のための分類誘導環境である。
共有セマンティックステートは、レンダリングされた画像、プロンプト、型付き回答、検証状態、再生可能なインスタンストレースを決定する。
論文 参考訳（メタデータ） (2026-07-22T06:17:57Z) - Xiaomi-GUI-0 Technical Report [39.05385476532886]
Xiaomi-GUI-0は、実際のモバイル環境向けのネイティブなマルチモーダルGUIエージェントである。
教師付き微調整、ステップレベルの強化学習、エージェントによる強化学習という3段階のパイプラインを通じて訓練される。
RealMobileで72.0%、AndroidWorldで78.9%を達成し、実際のタスクにおける実行安定性と異常状態認識を大幅に改善した。
論文 参考訳（メタデータ） (2026-06-30T09:36:35Z) - PhoneBuddy: Training Open Models for Agentic Phone Use [104.23243994660936]
PhoneBuddyは、エージェント電話用のトレーニングレシピとオープンモデルラインである。
実際のGUI使用構造からモックアプリを再構築する、実アプリケーション環境とモックアプリ環境であるPhoneWorldを組み合わせる。
PhoneBuddyはまず、両方の環境で収集されたトラジェクトリから、共有された教師付き微調整ステージを構築し、その後、実アプリケーションRLと混合RLを比較した。
論文 参考訳（メタデータ） (2026-06-22T08:57:54Z) - ACCORD: Action-Conditioned Contextual Grounding for Language Agents [69.73525608707764]
ACCORD(Action-Conditioned Contextual Grounding)は、適応的なグラウンドのためのエージェントフレームワークである。
現状のエージェントは、しばしばそうすることができないことを示す。それらは、観察された特定の情報よりもむしろ仮定から行動し、収集した可能性のある情報を見落とし、既に返された証拠を組み込むことに失敗する。
論文 参考訳（メタデータ） (2026-06-15T09:05:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。