論文の概要: Generative Embedding Benchmark: How Much Information Survives in a Dense Embedding?
- arxiv url: http://arxiv.org/abs/2608.06972v1
- Date: Fri, 07 Aug 2026 08:46:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-10 16:21:25.422865
- Title: Generative Embedding Benchmark: How Much Information Survives in a Dense Embedding?
- Title（参考訳）: ジェネレーティブ・エンベディングベンチマーク: デンス・エンベディングでどれだけの情報が生き残るか?
- Abstract要約: GEB(Generative Embedding Benchmark)について紹介する。
GEBは生成情報を測定する:埋め込みから回復可能な回答関連コンテンツ。
視覚のみおよび視覚のみの関節モードにおける7つの公開埋め込みモデルの評価を行った。
- 参考スコア（独自算出の注目度）: 18.50037284090112
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Embeddings have emerged as a standard representational interface linking foundation models with downstream systems. Most embedding benchmarks assess representations through discriminative tasks or geometric criteria centered on separability in embedding space. However, strong performance on such evaluations does not establish whether content compressed into an embedding remains accessible to a downstream generator. To address this gap, we introduce the Generative Embedding Benchmark (GEB), in which a decoder answers questions using only a frozen embedding and question text, without access to the original image or intermediate visual features. Answer quality under this readout measures generative information: the answer-relevant content recoverable from an embedding. GEB includes a curated visual-question-answering dataset with a 1,800-item development split and a held-out 900-item test split covering natural images, scene text, and visual documents. Using a common decoder and training recipe, we evaluate seven public embedding models in visual-only and vision-language joint modes. On the test set, visual-only scores range from 28.25 to 33.21; with image-question joint encoding, all five VLM-based embedding models score higher, and the best reaches 65.56. Matched embeddings also outperform text-only inputs, zero embeddings, and shuffled embeddings. Natural-image information is much easier to recover than scene text or visual-document information, while a Qwen3-VL-2B reference with access to the original image reaches 84.30. Together, these results show that generative readout exposes information bottlenecks that separability-based evaluation does not capture.
- Abstract（参考訳）: 埋め込みは、基礎モデルを下流システムにリンクする標準的な表現インターフェイスとして登場した。
ほとんどの埋め込みベンチマークは、埋め込み空間の分離性を中心とした識別的タスクや幾何学的基準を通じて表現を評価する。
しかし、そのような評価において強い性能は、埋め込みに圧縮されたコンテンツが下流ジェネレータにアクセス可能であるかどうかを定めていない。
このギャップに対処するために、生成埋め込みベンチマーク(GEB)を導入し、デコーダは元の画像や中間的な視覚的特徴にアクセスせずに、凍結埋め込みと質問文のみを使用して質問に答える。
本読出時の回答品質は、埋め込みから回復可能な回答関連コンテンツである生成情報を測定する。
GEBには1,800itemの開発分割と、自然画像、シーンテキスト、ビジュアルドキュメントをカバーする900itemのテスト分割を備えた、キュレートされたビジュアルクエリー回答データセットが含まれている。
共通デコーダとトレーニングレシピを用いて,視覚のみのジョイントモードと視覚のみのジョイントモードにおける7つの公開埋め込みモデルを評価する。
テストセットでは、視覚のみのスコアは28.25から33.21の範囲で、画像検索のジョイントエンコーディングにより、5つのVLMベースの埋め込みモデルが上位に上がり、最高のスコアは65.56に達した。
マッチした埋め込みはまた、テキストのみの入力、ゼロ埋め込み、シャッフル埋め込みよりも優れている。
自然画像情報はシーンテキストや視覚文書情報よりも回復しやすく、Qwen3-VL-2Bを参照して元の画像にアクセスすると84.30に達する。
これらの結果は、生成的読み出しは、分離性に基づく評価が捉えない情報のボトルネックを露呈することを示している。
関連論文リスト
- MonkeyOCRv2: A Visual-Text Foundation Model for Document AI [71.06391669976786]
MonkeyOCRv2は、ドキュメントAIのためのビジュアルテキスト事前トレーニングモデルである。
MonkeyDoc v2は17言語にまたがる1億1300万のイメージからなる、最大規模のドキュメントイメージ事前トレーニングコーパスである。
論文 参考訳（メタデータ） (2026-07-13T13:43:39Z) - Detect Before You Leap: Mirage Detection in Vision-Language Models [2.6212127510234797]
視覚言語モデル(VLM)は、必要な視覚的証拠が欠落している、空白である、あるいは疑問に無関係である場合でも、自信ある視覚的答えを生み出すことができる。
プレリリースミラージュ検出について検討し、画像探索ペアが与えられた場合、VLMが応答するかどうかを判定する。
本稿では,CLIP ViT-H/14ビジョンエンコーダのレイヤ間でパッチトケン表現を探索するモデル非依存手法であるテクストコンディション・レイヤワイド・インテリアアライメント(TC-LIA)を提案する。
論文 参考訳（メタデータ） (2026-05-29T23:51:35Z) - ClapperText: A Benchmark for Text Recognition in Low-Resource Archival Documents [1.2875548392688383]
ClapperTextは、視覚的に劣化した低リソース設定で手書きおよび印刷されたテキスト認識のためのベンチマークデータセットである。
データセットは、第2次世界大戦時代のクラッパーボードを含む127のアーカイブビデオセグメントに由来する。
クラッパーボードのテキストを認識することは、動きのぼやけ、手書きのバリエーション、露出のゆらぎ、散らかった背景など、大きな課題を生んでいる。
論文 参考訳（メタデータ） (2025-10-17T11:44:08Z) - Dense Retrievers Can Fail on Simple Queries: Revealing The Granularity Dilemma of Embeddings [65.31723739561151]
埋め込みは、エンコードされたセマンティクス内のきめ細かいエンティティやイベントを認識できないかもしれない。
本稿では,新たな評価データセットであるCapRetrievalを導入し,文節は画像キャプションであり,クエリはエンティティやイベントの概念を多種多様な形式でターゲットとするフレーズである。
我々は提案したデータ生成戦略でエンコーダを微調整し、小さな0.1Bエンコーダで最先端の7Bモデルを上回る性能を実現した。
論文 参考訳（メタデータ） (2025-06-10T09:00:33Z) - TokBench: Evaluating Your Visual Tokenizer before Visual Generation [75.38270351179018]
さまざまな画像トークンやVAEに対して,テキストと顔の復元品質をさまざまな尺度で分析する。
以上の結果から, 現代の視覚トークン化器は, 特に小規模では, 細粒度保存に苦慮していることが明らかとなった。
論文 参考訳（メタデータ） (2025-05-23T17:52:16Z) - Compositional Image-Text Matching and Retrieval by Grounding Entities [1.962396488631213]
本稿では,CLIP埋め込みの学習不要なゼロショット拡張法を提案する。
我々は、オブジェクトのサブイメージの個別の埋め込みと、最先端の開語彙検出器によって局所化される関係を計算する。
結果として得られる埋め込みは、テキスト埋め込みと類似性計算に利用され、画像テキストマッチングの精度が平均1.5%向上する。
論文 参考訳（メタデータ） (2025-05-04T22:18:14Z) - Contextual Document Embeddings [77.22328616983417]
本稿では,コンテキスト化された文書埋め込みのための2つの補完手法を提案する。
第一に、文書近傍を明示的にバッチ内コンテキスト損失に組み込む別のコントラスト学習目標である。
第二に、隣接する文書情報をエンコードされた表現に明示的にエンコードする新しいコンテキストアーキテクチャ。
論文 参考訳（メタデータ） (2024-10-03T14:33:34Z) - BRIDGE: Bridging Gaps in Image Captioning Evaluation with Stronger Visual Cues [47.213906345208315]
本稿では,新たな学習可能かつ参照不要な画像キャプション指標BRIDGEを提案する。
提案手法は,既存の基準フリー評価スコアと比較して,最先端の結果が得られる。
論文 参考訳（メタデータ） (2024-07-29T18:00:17Z) - Saliency-Bench: A Comprehensive Benchmark for Evaluating Visual Explanations [14.09795099827903]
Saliency-Benchは、複数のデータセットにわたるSaliencyメソッドによって生成された視覚的説明を評価するために設計された、新しいベンチマークスイートである。
ベンチマークには、視覚的説明の忠実さと整合性を評価するための標準化された統一された評価パイプラインが含まれている。
論文 参考訳（メタデータ） (2023-10-12T17:26:16Z) - Advancing Visual Grounding with Scene Knowledge: Benchmark and Method [74.72663425217522]
ビジュアルグラウンドディング(VG)は、視覚と言語の間にきめ細かいアライメントを確立することを目的としている。
既存のVGデータセットの多くは、単純な記述テキストを使って構築されている。
我々は、アンダーラインScene underline-guided underlineVisual underlineGroundingの新たなベンチマークを提案する。
論文 参考訳（メタデータ） (2023-07-21T13:06:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。