論文の概要: STARE: Scene Text-Aware multimodal Retrieval for Everyday objects

• arxiv url: http://arxiv.org/abs/2611.06089v1
• Date: Wed, 04 Nov 2026 07:32:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:58.014382
• Title: STARE: Scene Text-Aware multimodal Retrieval for Everyday objects
• Title（参考訳）: STARE: 日々のオブジェクトに対するシーンテキスト対応マルチモーダル検索
• Abstract要約: 本研究では,視覚的特徴やシーンテキストを参照する自由形式の指示に基づいて,日常的な物体を検索・搬送するサービスロボットに焦点を当てた。 自由形式の指示に応答して視覚的およびテキスト的手がかりを利用するScene Text-Aware multimodal Retrieval for Everyday objects (STARE)を提案する。 我々は,2つの新しいベンチマークであるGoGetItとTextCaps-testを用いてSTAREを評価する。
• 参考スコア（独自算出の注目度）: 1.835790216861274
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this study, we focus on service robots that retrieve and transport everyday objects based on free-form instructions that may refer to visual features and scene text. This is challenging because it requires a multimodal understanding of the visual features and spatial relationships of objects, as well as scene text embedded in the environment. To address this, we propose Scene Text-Aware multimodal Retrieval for Everyday objects (STARE), which leverages visual and textual cues in response to free-form instructions. STARE introduces Crosslingual Visual Prompt to enhance scene text interpretation, and models the complex relationships between named entities in the instructions and their corresponding objects. We evaluate STARE using two novel benchmarks, GoGetIt and TextCaps-test, both of which consist of real-world indoor/outdoor images and instructions involving object manipulation and navigation. The results show that STARE outperforms all baseline methods on standard multimodal retrieval metrics. Furthermore, in physical experiments conducted under a zero-shot transfer setting, STARE achieves an overall success rate of 80%. Our project page and code are provided in the Supplementary Materials.
• Abstract（参考訳）: 本研究では,視覚的特徴やシーンテキストを参照する自由形式の指示に基づいて,日常的な物体を検索・搬送するサービスロボットに着目した。 これは、環境に埋め込まれたシーンテキストだけでなく、オブジェクトの視覚的特徴や空間的関係のマルチモーダルな理解を必要とするためである。 そこで本稿では,Scene Text-Aware multimodal Retrieval for Everyday objects (STARE)を提案する。 STAREは、シーンテキストの解釈を強化するためにクロスリンガル・ビジュアル・プロンプトを導入し、命令とそれに対応するオブジェクトの命名されたエンティティ間の複雑な関係をモデル化する。 我々は,2つの新しいベンチマークであるGoGetItとTextCaps-testを用いてSTAREを評価する。 その結果,STAREは標準マルチモーダル検索指標のベースライン手法よりも優れていた。 さらに、ゼロショット転送設定下での物理実験では、STAREは全体の成功率80%を達成する。 プロジェクトページとコードは、サプリメント・マテリアルに提供されている。

関連論文リスト

• Exploiting Textual Semantics for Robust Cross-View Object Correspondence [19.125129049375975]
  クロスビューオブジェクト対応(CVOC)は、検索ビデオと検索ビデオの同じターゲットの関連を確立することを目的としている。 我々は、その視覚的手がかりに加えて、オブジェクトのリッチテキストセマンティックスを利用するフレームワークTeSCoを紹介する。 Ego-Exo4D と HANDAL-X に関する広範な実験において、TeSCo は最先端の結果を示し、他のモデルよりも優れていた。
  論文  参考訳（メタデータ） (2026-11-02T01:04:24Z)
• VLLMs Provide Better Context for Emotion Understanding Through Common Sense Reasoning [66.23296689828152]
  我々は、視覚・言語モデルの機能を活用し、文脈内感情分類を強化する。 まず、VLLMに対して、視覚的文脈に関連して、被験者の明らかな感情を自然言語で記述するように促す。 第二に、記述は視覚入力とともに、トランスフォーマーベースのアーキテクチャのトレーニングに使用される。
  論文  参考訳（メタデータ） (2024-04-10T15:09:15Z)
• Text-driven Affordance Learning from Egocentric Vision [6.699930460835963]
  ロボットのためのテキスト駆動型アベイランス学習手法を提案する。 我々は,テキストの指示に従って,自我中心の視点から接触点を学習し,軌道を操作することを目的としている。 われわれのアプローチは、現実のシナリオにおける空き学習の新しい標準として、複数の空き時間を扱う。
  論文  参考訳（メタデータ） (2024-04-03T07:23:03Z)
• ConTextual: Evaluating Context-Sensitive Text-Rich Visual Reasoning in Large Multimodal Models [92.60282074937305]
  テキストリッチな画像に対して文脈に敏感な推論を必要とする人為的な命令を特徴とする新しいデータセットであるConTextualを紹介した。 そこで本研究では,14の基盤モデルの性能評価実験を行い,人為的な性能基準を確立する。 GPT-4Vとヒトのパフォーマンスの30.8%の有意な性能差を観察した。
  論文  参考訳（メタデータ） (2024-01-24T09:07:11Z)
• LLM Blueprint: Enabling Text-to-Image Generation with Complex and Detailed Prompts [60.54912319612113]
  拡散に基づく生成モデルは、テキストと画像の生成が著しく進歩するが、長く複雑なテキストプロンプトを処理する際には困難に直面する。 本稿では,Large Language Models (LLM) を利用してテキストプロンプトから重要なコンポーネントを抽出する手法を提案する。 複数のオブジェクトを特徴とする複雑なプロンプトの評価は,ベースライン拡散モデルと比較して,リコールの大幅な改善を示す。
  論文  参考訳（メタデータ） (2023-10-16T17:57:37Z)
• TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
  Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。 TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。 分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
  論文  参考訳（メタデータ） (2023-06-06T03:37:41Z)
• StacMR: Scene-Text Aware Cross-Modal Retrieval [19.54677614738065]
  クロスモーダル検索モデルは、視覚シーンのより豊かな理解の恩恵を受けている。 現在のモデルは重要な側面を見下ろす:画像に現れるテキストは、検索のための重要な情報を含む可能性があります。 画像にシーン-テキストインスタンスを含むクロスモーダル検索の探索を可能にする新しいデータセットを提案する。
  論文  参考訳（メタデータ） (2020-12-08T10:04:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。