論文の概要: MintAct: A Unified Visual Agent for Digital Environments
- arxiv url: http://arxiv.org/abs/2609.22083v1
- Date: Fri, 18 Sep 2026 17:59:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-21 18:40:17.245656
- Title: MintAct: A Unified Visual Agent for Digital Environments
- Title(参考訳): MintAct: デジタル環境のための統一ビジュアルエージェント
- Abstract要約: MintActは、2B、4B、8Bスケールでトレーニングされた、UIグラウンディング、モバイル、デスクトップ、Webにわたるマルチステップナビゲーション、ビジュアルツールの使用を統一するビジョン言語モデルのファミリーである。
- 参考スコア(独自算出の注目度): 23.898901775355544
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present MintAct, a family of vision-language models that unifies UI grounding, multi-step navigation across mobile, desktop, and web, and visual tool use, trained at 2B, 4B, and 8B scales. Through careful design of our environments, data, and training recipes, MintAct models match the performance of per-domain specialists across all of these capabilities. To enable this, we develop a scalable environment and reinforcement learning (RL) infrastructure. On the environment side, we host hundreds of concurrent instances across heterogeneous per-domain backends, serving both trajectory data collection and online RL. To enable efficient and scalable RL training, an asynchronous framework keeps explicit control over the cross-domain training distribution and remains stable under noisy environment feedback and off-policy drift. Experimental results show that MintAct achieves state-of-the-art performance (48.9 on OSWorld-Verified) across a wide range of benchmarks at comparable model sizes.
- Abstract(参考訳): MintActは、2B、4B、8Bスケールでトレーニングされた、UIグラウンディング、モバイル、デスクトップ、Webにわたるマルチステップナビゲーション、ビジュアルツールの使用を統一するビジョン言語モデルのファミリーである。
私たちの環境、データ、トレーニングのレシピを慎重に設計することで、MintActモデルはこれらのすべての機能にわたってドメインごとのスペシャリストのパフォーマンスと一致します。
これを実現するため,スケーラブルな環境と強化学習(RL)インフラを構築した。
環境面では、さまざまなドメイン毎のバックエンドに数百の同時インスタンスをホストし、トラジェクトリデータ収集とオンラインRLの両方を提供しています。
効率的でスケーラブルなRLトレーニングを実現するために、非同期フレームワークは、クロスドメインのトレーニングディストリビューションを明示的にコントロールし、ノイズの多い環境フィードバックと非政治的なドリフトの下で安定している。
実験の結果、MintActはOSWorld-Verifiedの48.9の最先端性能を、同等のモデルサイズで幅広いベンチマークで達成していることがわかった。
関連論文リスト
- Weblica: Scalable and Reproducible Training Environments for Visual Web Agents [5.132610127852326]
Weblicaは再現可能でスケーラブルなWeb環境を構築するためのフレームワークである。
さまざまな環境やタスクにRLトレーニングを拡大しています。
私たちのベストモデルであるWeblica-8Bは、複数のWebナビゲーションベンチマークで同じサイズのオープンウェイトベースラインを上回っています。
論文 参考訳(メタデータ) (2026-05-07T17:17:10Z) - Masked Diffusion Language Models are Strong and Steerable Text-Based World Models for Agentic RL [0.8546394944138487]
我々は、テキストベースの世界モデリングを、初期状態に分解可能な遷移力学問題として定式化する。
我々は、9つのオープンソース環境と12のフロンティアモデルファミリーにまたがる239,403の基底状態行動軌跡をキュレートする。
我々は,決定論的状態チェックを備えたGRPOトレーニングフレームワークを導入し,3つのOOD環境上でゼロショット転送処理を行う。
論文 参考訳(メタデータ) (2026-05-07T00:40:32Z) - Agent World Model: Infinity Synthetic Environments for Agentic Reinforcement Learning [62.499592503950026]
大規模言語モデル(LLM)は、ツールや環境とのマルチターンインタラクションを必要とする複雑なタスクを実行するために、自律エージェントに権限を与えている。
完全合成環境生成パイプラインであるエージェント・ワールド・モデル(AWM)を提案する。
私たちは、エージェントがリッチなツールセットと対話できる、毎日のシナリオをカバーする1,000の環境にスケールします。
論文 参考訳(メタデータ) (2026-02-10T18:55:41Z) - Parameter-Efficient Domain Adaption for CSI Crowd-Counting via Self-Supervised Learning with Adapter Modules [11.651086215885735]
WiFi Channel State Information(CSI)を使用したデバイスフリーのクラウドカウントは、新しい世代のプライバシ保護用IoT(Internet of Things)アプリケーションを可能にする重要な技術である。
本稿では,CSI-ResNet-Aアーキテクチャを中心とした新しい2段階フレームワークを提案する。
このモデルは、自己教師付きコントラスト学習を通じてドメイン不変表現を学習し、軽量なAdapterモジュールを活用して高効率な微調整を行う。
私たちのフレームワークは、98.8%の精度で、最先端のパブリックWiARベンチマークを新たに設定しています。
論文 参考訳(メタデータ) (2026-01-05T15:27:04Z) - Exploration-Driven Generative Interactive Environments [53.05314852577144]
我々は、低コストで自動収集されたインタラクションデータに多くの仮想環境を使用することに重点を置いている。
仮想環境におけるランダムエージェントのみを用いたトレーニングフレームワークを提案する。
我々のエージェントは環境固有の報酬に完全に依存しているため、新しい環境に容易に適応できる。
論文 参考訳(メタデータ) (2025-04-03T12:01:41Z) - HarmonyDream: Task Harmonization Inside World Models [93.07314830304193]
モデルベース強化学習(MBRL)は、サンプル効率の学習を約束する。
本稿では,タスク調和性を維持するために損失係数を自動的に調整する,シンプルで効果的なアプローチであるHarmonyDreamを提案する。
論文 参考訳(メタデータ) (2023-09-30T11:38:13Z) - Supernet Training for Federated Image Classification under System
Heterogeneity [15.2292571922932]
本研究では,2つのシナリオ,すなわちフェデレーション・オブ・スーパーネット・トレーニング(FedSup)を考えるための新しい枠組みを提案する。
フェデレートラーニング(FL)のモデルアグリゲーション段階でのパラメータの平均化は、スーパーネットトレーニングにおけるウェイトシェアリングとどのように似ているかに着想を得ている。
本フレームワークでは,通信コストの削減とトレーニングオーバーヘッドの低減のために,放送段階のクライアントにサブモデルを送信することで,効率的なアルゴリズム(E-FedSup)を提案する。
論文 参考訳(メタデータ) (2022-06-03T02:21:01Z) - Multitask Adaptation by Retrospective Exploration with Learned World
Models [77.34726150561087]
本稿では,タスク非依存ストレージから取得したMBRLエージェントのトレーニングサンプルを提供するRAMaというメタ学習型アドレッシングモデルを提案する。
このモデルは、期待されるエージェントのパフォーマンスを最大化するために、ストレージから事前のタスクを解く有望な軌道を選択することで訓練される。
論文 参考訳(メタデータ) (2021-10-25T20:02:57Z) - Scenic4RL: Programmatic Modeling and Generation of Reinforcement
Learning Environments [89.04823188871906]
リアルタイム戦略(RTS)環境では,多様な現実シナリオの生成が難しい。
既存のシミュレータのほとんどは環境をランダムに生成することに頼っている。
我々は、研究者を支援するために、既存の形式シナリオ仕様言語であるSCENICを採用する利点を紹介する。
論文 参考訳(メタデータ) (2021-06-18T21:49:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。