Fugu-MT 論文翻訳(概要): Focused Omni-Modal GUI Agents

論文の概要: Focused Omni-Modal GUI Agents

arxiv url: http://arxiv.org/abs/2610.26203v1
Date: Mon, 19 Oct 2026 11:30:48 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-23 19:06:02.730598
Title: Focused Omni-Modal GUI Agents
Title（参考訳）: 集中型Omni-Modal GUIエージェント
Abstract要約: FocusGUIは、ステップ固有の決定参照に対してマルチモーダルチャネルを優先する軽量アダプタである。すべての入力を一様に処理する代わりに、最も関係のある証拠を圧縮してコンパクトな潜伏剤にする。行動監督から単独で訓練し、モダリティ関連ラベルもバックボーンの微調整も必要としない。
参考スコア（独自算出の注目度）: 20.005156160089744
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Graphical User Interface (GUI) agents increasingly act over streaming omni-modal observations spanning screenshots, audio, video, interaction history, and device states. However, exposing this complete context uniformly at every step ignores that relevance is transient and sparse: the signal determining one action can become clutter at the next. Because executed actions feed back into the context, these errors compound into Sequential Distraction, driving the agent into irreversible trajectory drift. We formulate the underlying requirement as Focused Perception: a representation that is step-adaptive, action-sufficient, and non-intrusive. We realize this in FocusGUI, a lightweight adapter that dynamically prioritizes multimodal channels against a step-specific decision reference. Instead of uniformly processing all inputs, it compresses the most relevant evidence into a compact latent and subtly injects it into the frozen decoder's embeddings, guiding the model's attention without altering its native parameter space. FocusGUI trains from action supervision alone, requiring neither modality-relevance labels nor backbone fine-tuning. Across four omni-modal backbones, it raises overall Type Match by +33.2 and Exact Match by 3.0 times over the frozen backbone on average, and Type Match by +30.1 over the strongest existing enhancement method.
Abstract（参考訳）: グラフィカルユーザインタフェース(GUI)エージェントは、スクリーンショット、オーディオ、ビデオ、インタラクション履歴、デバイス状態にまたがるストリーミングオムニモーダルな観察に対して、ますます振る舞うようになる。しかし、全てのステップでこの完全なコンテキストを均一に露呈することは、関連性は過渡的でスパースであることを無視している。実行されたアクションがコンテキストにフィードバックするので、これらのエラーはシークエンシャル・ディストラクション(Sequential Distraction)に複雑になり、エージェントを不可逆な軌道ドリフトへと駆り立てる。 Focused Perception: ステップ適応的で、アクション十分で、非侵襲的な表現。ステップ固有の決定基準に対してマルチモーダルチャネルを動的に優先順位付けする軽量アダプタであるFocusGUIでこれを実現する。すべての入力を均一に処理する代わりに、最も関係のある証拠をコンパクトな潜伏剤に圧縮し、凍結デコーダの埋め込みに微妙に注入し、ネイティブパラメータ空間を変更することなくモデルの注意を誘導する。 FocusGUIはアクションの監督から単独でトレーニングし、モダリティ関連ラベルもバックボーンの微調整も必要としない。 4つのOmniモードのバックボーンで、全タイプマッチを+33.2、エクサクトマッチを平均3.0倍、タイプマッチを+30.1倍に引き上げる。

関連論文リスト

Agent-Computer Observation Interfaces Enable Dynamic Computer Use [0.33451037881913753]
SWEエージェントは、ソフトウェアエージェントの未探索軸としてアクションインターフェースを確立した。我々は,コンピュータ利用(CU)エージェントにおける観察インタフェースの類似事例を作成する。
論文参考訳（メタデータ） (2026-06-28T15:59:31Z)
MultiAct: Text-to-Motion Generation from Composite Text via Tailored Attention Guidance [54.131431576597514]
MultiActは、合成テキスト-モーション合成のための未ペアの推論時間フレームワークである。提案手法は,未表現のプロンプト成分に付随するクロスアテンションスコアを適応的に増幅することにより,意味的崩壊に対処する。
論文参考訳（メタデータ） (2026-05-29T07:14:48Z)
Not All Modalities Are Equal: Instruction-Aware Gating for Multimodal Videos [70.78278988781882]
ビデオ,音声,深度マップ,その他のモダリティ入力間で命令認識融合を行う,UniMVUという統合マルチモーダルビデオ理解フレームワークを提案する。解析の結果,ゲーティング機構は人間と解釈可能なモダリティの関連性に一致し,アブレーションは内部モダリティとモダリティレベルのゲーティングの寄与を示すことがわかった。
論文参考訳（メタデータ） (2026-05-25T18:02:20Z)
MiniCPM-o 4.5: Towards Real-Time Full-Duplex Omni-Modal Interaction [76.4461698685681]
Mini-o 4.5は、人間レベルのリアルタイムストリーミングインタラクションに向けた最新の取り組みです。 Omni-CPMは、オムニモードの知覚と出力を共有時間軸に沿って整列する統合ストリーミングフレームワークである。合計9Bパラメータで、Mini-o 4.5は視力計算能力においてGemini 2.5 Flashにアプローチし、最先端のオープンな計算性能を提供する。
論文参考訳（メタデータ） (2026-04-30T04:05:43Z)
OmniGUI: Benchmarking GUI Agents in Omni-Modal Smartphone Environments [5.613789567241434]
我々はOmniGUIを紹介した。OmniGUIは、Omniモードのスマートフォン環境でGUIエージェントを評価するために設計された最初のステップレベルベンチマークである。データセットには、29のアプリケーションにわたる709のエキスパートデモエピソード(2,579のアクションステップ)が含まれている。我々の経験的評価は、現在のモデルは視覚的に静的なタスクに能力を示すが、その動作予測性能は同期時間と聴覚信号を必要とする環境において著しく低下することを示している。
論文参考訳（メタデータ） (2026-04-03T08:57:06Z)
Precise Action-to-Video Generation Through Visual Action Prompts [62.951609704196485]
アクション駆動のビデオ生成は、精度と一般性のトレードオフに直面している。エージェント中心のアクション信号は、クロスドメイン転送可能性のコストで精度を提供する。私たちはアクションをドメインに依存しない表現として正確に視覚的なプロンプトに"レンダリング"します。
論文参考訳（メタデータ） (2025-08-18T17:12:28Z)
RAVEN: Query-Guided Representation Alignment for Question Answering over Audio, Video, Embedded Sensors, and Natural Language [1.5599296461516985]
RAVENは、クエリ条件のクロスモーダルゲーティングモジュールであるQuARTをコアとする統一QAアーキテクチャである。 RAVENは、単調な事前トレーニング、クエリ整合融合、不一致指向の微調整を含む3段階のパイプラインを通じてトレーニングされる。実験の結果、RAVENは最先端のマルチモーダル言語モデルと比較して14.5%と8.0%の精度で向上した。
論文参考訳（メタデータ） (2025-05-21T14:33:36Z)
Bi-directional Adapter for Multi-modal Tracking [67.01179868400229]
汎用の双方向アダプタを用いたマルチモーダル視覚プロンプト追跡モデルを提案する。我々は、モーダリティ固有の情報をあるモーダリティから別のモーダリティへ転送するための、シンプルだが効果的なライト・フィーチャー・アダプタを開発した。本モデルでは,完全微調整法と素早い学習法の両方と比較して,追跡性能が優れている。
論文参考訳（メタデータ） (2023-12-17T05:27:31Z)
LocATe: End-to-end Localization of Actions in 3D with Transformers [91.28982770522329]
LocATeは、3Dシーケンスでアクションを共同でローカライズし認識するエンドツーエンドのアプローチである。画像やパッチの特徴を入力として考えるトランスフォーマーベースのオブジェクト検出や分類モデルとは異なり、LocATeのトランスフォーマーモデルはシーケンス内のアクション間の長期的な相関をキャプチャすることができる。 BABEL-TAL-20 (BT20) という新しい,挑戦的で,より現実的なベンチマークデータセットを導入する。
論文参考訳（メタデータ） (2022-03-21T03:35:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。