論文の概要: ViSMoE: Visual-Aware Sparse Mixture-of-Experts for Embodied Referring Expression Grounding

• arxiv url: http://arxiv.org/abs/2608.21878v1
• Date: Sat, 22 Aug 2026 09:43:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 18:24:36.93285
• Title: ViSMoE: Visual-Aware Sparse Mixture-of-Experts for Embodied Referring Expression Grounding
• Title（参考訳）: ViSMoE: 身体的参照表現のグラウンド化のためのビジュアル・アウェア・スパース・ミックス-オブ・エクスプロイト
• Abstract要約: Embodied Referring Expression Groundingは、エージェントが実際の環境でナビゲートできるようにするタスクである。 具体化エージェントの視覚的ルーティングポリシーを組み込んだスパースミクチャー・オブ・エクササイズを具備したViSMoEを提案する。
• 参考スコア（独自算出の注目度）: 24.39309961528087
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Embodied Referring Expression Grounding is the task of enabling an agent to navigate in real environments and to localize a remote object based on natural language instructions. In this scenario, the agent needs to select one view for navigation at each step and identify a specific object among all candidate objects at the destination. However, most of the previous approaches fail to distinguish between views and objects, instead processing them using the vanilla vision encoder, which results in ambiguous representations of both views and objects. To address the above issues, we propose ViSMoE, which equips sparse Mixture-of-Experts with a visual-aware routing policy for the embodied agent. This framework processes different types of visual information specifically, resulting in discriminative visual representations for both views and objects. Experimental results on REVERIE and SOON datasets demonstrate that ViSMoE outperforms the previous state-of-the-art methods, showing the superiority of our proposed method.
• Abstract（参考訳）: Embodied Referring Expression Groundingは、エージェントが実際の環境でナビゲートし、自然言語命令に基づいてリモートオブジェクトをローカライズできるようにするタスクである。 このシナリオでは、エージェントは各ステップでナビゲーションのための1つのビューを選択し、目的地のすべての候補オブジェクトの中で特定のオブジェクトを特定する必要がある。 しかし、以前のアプローチのほとんどはビューとオブジェクトを区別せず、代わりにバニラビジョンエンコーダを使用してそれらを処理し、ビューとオブジェクトのあいまいな表現をもたらす。 上記の問題に対処するため, 具体化エージェントのための視覚対応ルーティングポリシーを組み込んだ, スパースミクチャー・オブ・エグゼクティブを実装したViSMoEを提案する。 このフレームワークは、異なるタイプの視覚情報を具体的に処理し、ビューとオブジェクトの両方に対して識別的な視覚表現をもたらす。 REVERIEとSOONデータセットによる実験結果から,ViSMoEは従来の最先端手法よりも優れており,提案手法の優位性を示している。

関連論文リスト

• Steerable Visual Representations [72.39044430620977]
  我々は、グローバルでローカルな機能を自然言語で操れるステアブルなビジュアル表現を紹介した。 また,本手法は,異常検出とパーソナライズされた対象の識別に専用アプローチを適合させ,性能を向上する。
  論文  参考訳（メタデータ） (2026-04-02T17:59:49Z)
• VCA: Vision-Click-Action Framework for Precise Manipulation of Segmented Objects in Target Ambiguous Environments [2.566571621858397]
  テキストコマンドを直接クリックベースの視覚インタラクションに置き換えるフレームワークであるVision-Click-Action(VCA)を提案する。 VCAは解釈エラーを低減し、認知負荷を低減し、実世界のロボット操作のための言語駆動インタフェースに代わる実用的でスケーラブルな代替手段を提供する。
  論文  参考訳（メタデータ） (2026-02-27T01:23:35Z)
• Bring My Cup! Personalizing Vision-Language-Action Models with Visual Attentive Prompting [15.173629384871013]
  Visual Attentive Prompting (VAP) は、凍結したビジョン・ランゲージ・アクションモデルに選択的注意を払って装備する、トレーニング不要の知覚アダプタである。 VAPは、成功率と正しいオブジェクト操作の両方において、一般的なポリシーとトークン学習ベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2025-12-23T03:13:39Z)
• A Multimodal Depth-Aware Method For Embodied Reference Understanding [56.30142869506262]
  Embodied Reference Understandingでは、言語命令とポインティングキューの両方に基づいて、視覚的なシーンで対象のオブジェクトを識別する必要がある。 本稿では,データ拡張,深度マップのモダリティ,深度認識決定モジュールを共同で活用する新しいERUフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-09T14:32:21Z)
• Teaching VLMs to Localize Specific Objects from In-context Examples [56.797110842152]
  現在、視覚言語モデル(VLM)には、状況を考慮した特定の物体をシーン内でローカライズする学習という、基本的な認知能力がないことが分かっています。 この研究は、VLMのパーソナライズされた数ショットのローカライゼーションを探索し、ベンチマークした初めてのものである。
  論文  参考訳（メタデータ） (2024-11-20T13:34:22Z)
• Position-Aware Contrastive Alignment for Referring Image Segmentation [65.16214741785633]
  マルチモーダル特徴のアライメントを強化するために,位置認識型コントラストアライメントネットワーク(PCAN)を提案する。 1)自然言語記述に関連するすべてのオブジェクトの位置情報を提供する位置認識モジュール(PAM)と,2)マルチモーダルアライメントを強化するコントラスト言語理解モジュール(CLUM)の2つのモジュールで構成されている。
  論文  参考訳（メタデータ） (2022-12-27T09:13:19Z)
• Bear the Query in Mind: Visual Grounding with Query-conditioned Convolution [26.523051615516742]
  本稿では,クエリ情報を畳み込みカーネルの生成に組み込むことで,クエリ対応の視覚的特徴を抽出するクエリ条件付き畳み込みモジュール(QCM)を提案する。 提案手法は,3つの一般的な視覚的グラウンドデータセットに対して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-06-18T04:26:39Z)
• Multi-modal Transformers Excel at Class-agnostic Object Detection [105.10403103027306]
  既存の手法では、人間の理解可能な意味論によって支配されるトップダウンの監視信号が欠落していると論じる。 マルチスケール特徴処理と変形可能な自己アテンションを用いた効率よく柔軟なMViTアーキテクチャを開発した。 多様なアプリケーションにおけるMViT提案の重要性を示す。
  論文  参考訳（メタデータ） (2021-11-22T18:59:29Z)
• Learning to Ground Visual Objects for Visual Dialog [26.21407651331964]
  視覚対話のための視覚オブジェクトを学習する新しい手法を提案する。 視覚的対象に対する後続分布は、文脈(歴史と疑問)と答えの両方から推測される。 文脈のみから推定される事前分布を用いて後部分布を近似し、回答なしに適切な視覚オブジェクトをグラウンド化できるようにする。
  論文  参考訳（メタデータ） (2021-09-13T14:48:44Z)
• Object-and-Action Aware Model for Visual Language Navigation [70.33142095637515]
  VLN(Vision-and-Language Navigation)は、比較的一般的な自然言語命令をロボットエージェントアクションに変換する必要があるという点で特徴的である。 本稿では、これらの2種類の自然言語に基づく命令を別々に処理するオブジェクト・アンド・アクション・アウェア・モデル(OAAM)を提案する。 これにより、各プロセスは、オブジェクト中心/アクション中心の命令を、自身の視覚的知覚/行動指向に柔軟に一致させることができる。
  論文  参考訳（メタデータ） (2020-07-29T06:32:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。