論文の概要: Beyond Black Boxes: Visual Grounding for Text Embeddings

• arxiv url: http://arxiv.org/abs/2610.18047v1
• Date: Tue, 13 Oct 2026 09:37:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.578544
• Title: Beyond Black Boxes: Visual Grounding for Text Embeddings
• Title（参考訳）: ブラックボックスを超えて:テキスト埋め込みのためのビジュアルグラウンド
• Abstract要約: テキスト表現を視覚的トポグラフィースケッチに変換するスケッチベースビジュアルグラウンドディングフレームワークを提案する。 テキスト検索におけるこれらのスケッチの有用性を検討するため,MS-COCOデータセットを用いて評価を行った。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In this paper, our goal is to represent text embeddings as sketches for three main reasons. First, to visualize text representation and to explore their potential their potential for AI explainability. Second, to investigate the potential benefits of the sketch-based representation for information retrieval. Third, to explore their potential for reasoning, drawing inspiration from the concept of mental imagery. We propose a sketch-based visual grounding framework that transforms text representations into visual topographic sketches. Our approach aims to emphasis the semantics content encoded in the text embeddings through the corresponding sketch. Evaluations are conducted on the MS-COCO dataset to examine the utility of these sketches for text retrieval. The comparative study of SBERT and Sketch-based method reveals that SBERT retains an advantage in strict top-1 retrieval accuracy while achieving comparable performance to the sketch-based method in top-5 retrieval. A cascaded approach combining SBERT and the sketch-based method outperforms SBERT alone, suggesting that the Sketch-based representation could offer significant potential for information retrieval if trained directly on text.
• Abstract（参考訳）: 本稿では,3つの主な理由から,テキスト埋め込みをスケッチとして表現することを目的とする。 まず、テキスト表現を視覚化し、AI説明可能性の可能性を探る。 第2に,情報検索におけるスケッチベース表現の潜在的なメリットについて検討する。 第三に、彼らの推論の可能性を探るため、精神イメージの概念からインスピレーションを得た。 テキスト表現を視覚的トポグラフィースケッチに変換するスケッチベースビジュアルグラウンドディングフレームワークを提案する。 本手法は,テキスト埋め込みにエンコードされたセマンティックスを,対応するスケッチを通じて強調することを目的としている。 テキスト検索におけるこれらのスケッチの有用性を検討するため,MS-COCOデータセットを用いて評価を行った。 SBERTとSketch-based法の比較研究により、SBERTは、ストレートなトップ1検索精度を保ちながら、トップ5検索におけるスケッチベース法に匹敵する性能を保っていることが明らかとなった。 SBERTとスケッチベースの手法を組み合わせたケースドアプローチは、SBERTを単独で上回り、Sketchベースの表現は、テキスト上で直接訓練すれば、情報検索に有意義な可能性を示唆している。

関連論文リスト

• You'll Never Walk Alone: A Sketch and Text Duet for Fine-Grained Image Retrieval [120.49126407479717]
  事前学習したCLIPモデルを用いて,スケッチとテキストを効果的に組み合わせた新しい構成性フレームワークを提案する。 我々のシステムは、合成画像検索、ドメイン転送、きめ細かい生成における新しい応用にまで拡張する。
  論文  参考訳（メタデータ） (2024-03-12T00:27:18Z)
• Advancing Visual Grounding with Scene Knowledge: Benchmark and Method [74.72663425217522]
  ビジュアルグラウンドディング(VG)は、視覚と言語の間にきめ細かいアライメントを確立することを目的としている。 既存のVGデータセットの多くは、単純な記述テキストを使って構築されている。 我々は、アンダーラインScene underline-guided underlineVisual underlineGroundingの新たなベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-07-21T13:06:02Z)
• Text-guided Image Restoration and Semantic Enhancement for Text-to-Image Person Retrieval [12.057465578064345]
  テキスト・ツー・イメージ・パーソナリティ検索(TIPR)の目的は、与えられたテキスト記述に従って特定の人物画像を取得することである。 本稿では,人物画像と対応するテキスト間のきめ細かいインタラクションとアライメントを構築するための新しいTIPRフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-18T08:23:46Z)
• A Sketch Is Worth a Thousand Words: Image Retrieval with Text and Sketch [63.12810494378133]
  テキスト記述とスケッチを入力として,画像検索のためのエンドツーエンドのトレーニング可能なモデルを提案する。 テキストに加え、入力スケッチ(下図)を使用することで、従来のテキストベースの画像検索と比較して、検索リコールが大幅に増加することを実証的に実証した。
  論文  参考訳（メタデータ） (2022-08-05T18:43:37Z)
• I Know What You Draw: Learning Grasp Detection Conditioned on a Few Freehand Sketches [74.63313641583602]
  そこで本研究では,スケッチ画像に関連のある潜在的な把握構成を生成する手法を提案する。 私たちのモデルは、現実世界のアプリケーションで簡単に実装できるエンドツーエンドで訓練され、テストされています。
  論文  参考訳（メタデータ） (2022-05-09T04:23:36Z)
• Language Matters: A Weakly Supervised Pre-training Approach for Scene Text Detection and Spotting [69.77701325270047]
  本稿では,シーンテキストを効果的に表現できる弱教師付き事前学習手法を提案する。 本ネットワークは,画像エンコーダと文字認識型テキストエンコーダから構成され,視覚的特徴とテキスト的特徴を抽出する。 実験により、事前訓練されたモデルは、重みを他のテキスト検出やスポッティングネットワークに転送しながら、Fスコアを+2.5%、+4.8%改善することが示された。
  論文  参考訳（メタデータ） (2022-03-08T08:10:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。