論文の概要: BiGrounder: Bidirectional Training Unlocks the Potential of GUI Grounding
- arxiv url: http://arxiv.org/abs/2611.07765v1
- Date: Thu, 05 Nov 2026 10:05:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.650509
- Title: BiGrounder: Bidirectional Training Unlocks the Potential of GUI Grounding
- Title（参考訳）: BiGrounder:GUIグラウンディングの可能性を解き放つ双方向トレーニング
- Abstract要約: モデル自己強化を可能にする双方向報酬パラダイムを提案する。
SFTでは、双方向トレーニングがモデルに装備され、ターゲット座標からアクション記述を生成する。
RLの間、モデルは意味的に一貫した命令のバリエーションをポリシーでサンプリングし、それぞれのバリエーションをターゲットに戻す。
- 参考スコア（独自算出の注目度）: 24.076378852956264
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graphical User Interface (GUI) grounding aims to map natural language instructions to precise operational coordinates, serving as a critical task for autonomous agent interaction. Current approaches formalize GUI grounding as predicting action-coordinate pairs from instructions, with end-to-end training supervised solely by final coordinates. Training datasets typically provide only a small number of descriptions per target coordinate, whereas real-world scenarios involve a much larger set of varied descriptions for the same target, which limits robustness to linguistic variation. While recent GUI grounding paradigms have begun employing reinforcement learning to enhance localization accuracy, models with limited exploratory capability before reinforcement yield constrained improvements even with identical training data during the reinforcement phase. To overcome these limitations, we propose a bidirectional reward paradigm that enables model self-reinforcement. During SFT, bidirectional training equips the model to generate action descriptions from target coordinates. During RL, the model samples semantically consistent instruction variations on-policy and grounds each variation back to its target. A cycle-consistency gate couples semantic quality to grounding success, turning the model's own instruction policy into a source of continually refreshed reinforcement trajectories. Our 4B-parameter model achieves competitive accuracy across five grounding benchmarks in our evaluation, indicating the effectiveness of the proposed training paradigm. https://github.com/Spell-shi/BiGrounder
- Abstract（参考訳）: グラフィカルユーザインタフェース(GUI)の基盤は、自然言語命令を正確な操作座標にマッピングすることを目的としており、自律エージェントインタラクションの重要なタスクとして機能している。
現在のアプローチでは、GUIグラウンディングを命令からのアクション調整ペアの予測として形式化し、最終座標のみによってエンドツーエンドのトレーニングを監督している。
訓練データセットは通常、ターゲット座標ごとに少数の記述しか提供しないが、現実のシナリオでは、同じターゲットに対してより広い範囲のさまざまな記述が伴うため、言語的変動に頑健さが制限される。
近年のGUI接地パラダイムは、局所化精度を高めるために強化学習を採用し始めているが、強化収量前の探索能力に制限のあるモデルは、補強期間中に同一の訓練データであっても改善を制限した。
これらの制約を克服するために、モデル自己強化を可能にする双方向報酬パラダイムを提案する。
SFTでは、双方向トレーニングがモデルに装備され、ターゲット座標からアクション記述を生成する。
RLの間、モデルは意味的に一貫した命令のバリエーションをポリシーでサンプリングし、それぞれのバリエーションをターゲットに戻す。
サイクル整合性ゲートはセマンティックな品質と成功の基盤を結合し、モデル自身の命令ポリシーを継続的に更新された強化軌道の源となる。
我々の4Bパラメータモデルは,提案したトレーニングパラダイムの有効性を示す評価において,5つのグラウンドベンチマーク間での競合精度を実現する。
https://github.com/Spell-shi/BiGrounder
関連論文リスト
- Unifying Policy Learning and State Prediction through Spatial Language Modeling [52.172884936392535]
本研究では,シーンの輪郭,目標,行動目標,将来の状態を個別座標と意味トークンの共通語彙で表現する空間言語モデリングを提案する。
タスク固有の文法はこれらの要素を空間配列に整理し、1つの自己回帰変換器が行動生成と行動条件付き状態予測を学習できるようにする。
ランダム・プレイ・トランジション・プレトレーニングを駆使してモデルをスクラッチからトレーニングし、その後、専門家によるデモンストレーションで共同動作と状態トレーニングを行う。
論文 参考訳（メタデータ） (2026-10-08T15:43:08Z) - ConfAL-WM: Confidence-Guided Active Learning for Action-Conditioned World Models [33.57978728341114]
本稿では,ポストトレーニング後の実世界モデルのための信頼度誘導型アクティブラーニングフレームワークConfAL-WMを提案する。
EVACに基づいて構築され、UNetデコーダの特徴を探索し、潜伏空間における密度の高い信頼マップを予測するために軽量な信頼度を付加する。
これらのマップはタスク、フレーム、パッチレベルスコアに集約され、効率的なデータ選択とローカライズされたトレーニング強化の両方を可能にします。
論文 参考訳（メタデータ） (2026-08-26T09:29:08Z) - GIFT: Guided Fine-Tuning and Transfer for Enhancing Instruction-Tuned Language Models [47.12048554977284]
GIFT(Guided Fine-Tuning and Transfer)は、命令モデルからタスク適応へのガイダンスを組み込んだフレームワークである。
G GIFTは、命令チューニングモデルから得られた信頼信号を用いて、事前訓練ベースモデルの低ランクアダプタを微調整する。
数式および知識集約型ベンチマークを用いて,複数のモデルファミリおよびスケールでGIFTを評価する。
論文 参考訳（メタデータ） (2026-05-02T05:27:59Z) - Detect Anything via Next Point Prediction [51.55967987350882]
Rex-Omniは最先端の物体認識性能を実現する3BスケールのMLLMである。
COCOやLVISのようなベンチマークでは、Rex-Omniは回帰ベースのモデルに匹敵するパフォーマンスを得る。
論文 参考訳（メタデータ） (2025-10-14T17:59:54Z) - Without Paired Labeled Data: End-to-End Self-Supervised Learning for Drone-view Geo-Localization [20.603433987118837]
ドローンビュージオローカライゼーション(DVGL)は、GPSタグ付き衛星画像を取得することで、ドローンの正確なローカライゼーションを実現することを目的としている。
既存の手法は、教師あり学習のために、厳密にペアリングされたドローン衛星画像に大きく依存している。
浅いバックボーンネットワークを用いたエンドツーエンドの自己教師付き学習手法を提案する。
論文 参考訳（メタデータ） (2025-02-17T02:53:08Z) - Model-Based Reinforcement Learning with Multi-Task Offline Pretraining [59.82457030180094]
本稿では,オフラインデータから新しいタスクへ,潜在的に有用なダイナミックスや動作デモを伝達するモデルベースRL法を提案する。
主な考え方は、世界モデルを行動学習のシミュレーターとしてだけでなく、タスクの関連性を測定するツールとして使うことである。
本稿では,Meta-WorldとDeepMind Control Suiteの最先端手法と比較して,我々のアプローチの利点を実証する。
論文 参考訳（メタデータ） (2023-06-06T02:24:41Z) - Focus on Your Target: A Dual Teacher-Student Framework for
Domain-adaptive Semantic Segmentation [210.46684938698485]
意味的セグメンテーションのための教師なしドメイン適応(UDA)について検討する。
対象領域からのトレーニングサンプルの割合を減少・増加させることで,「学習能力」が強化・弱まることがわかった。
本稿では,DTS(Double teacher-student)フレームワークを提案し,双方向学習戦略を取り入れた。
論文 参考訳（メタデータ） (2023-03-16T05:04:10Z) - USER: Unified Semantic Enhancement with Momentum Contrast for Image-Text
Retrieval [115.28586222748478]
Image-Text Retrieval (ITR) は、与えられたクエリに意味のあるターゲットインスタンスを、他のモダリティから検索することを目的としている。
既存のアプローチは通常、2つの大きな制限に悩まされる。
論文 参考訳（メタデータ） (2023-01-17T12:42:58Z) - Unsupervised Continual Semantic Adaptation through Neural Rendering [32.099350613956716]
セマンティックセグメンテーションの課題に対する連続的マルチシーン適応について検討する。
本稿では,セグメンテーションモデルの予測を融合させることで,シーン毎にセマンティック・NeRFネットワークを訓練する。
我々は,Voxelベースのベースラインと最先端の教師なしドメイン適応手法の両方より優れているScanNetに対するアプローチを評価した。
論文 参考訳（メタデータ） (2022-11-25T09:31:41Z) - Unifying Language Learning Paradigms [96.35981503087567]
データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。
本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。
また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
論文 参考訳（メタデータ） (2022-05-10T19:32:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。