論文の概要: RandSlot: Learning Compact Visual Document Representations with Random Soft Tokens

• arxiv url: http://arxiv.org/abs/2609.32699v1
• Date: Sat, 26 Sep 2026 15:02:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 21:10:51.03659
• Title: RandSlot: Learning Compact Visual Document Representations with Random Soft Tokens
• Title（参考訳）: RandSlot: ランダムなソフトトークンによるコンパクトなビジュアルドキュメント表現の学習
• Abstract要約: RandSlotは、ランダムなソフトトークンでコンパクトなビジュアル文書表現を学習するための単純なアプローチである。 実験により、RandSlotは同じベクトル予算の下で、代替の読み出し戦略よりも検索品質が向上することが示された。
• 参考スコア（独自算出の注目度）: 14.020958593854196
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual document retrieval requires expressive representations to match queries with evidence distributed across text, tables, and page layouts. Multi-vector representations capture fine-grained information, but storing and comparing many vectors introduces substantial retrieval costs. In this paper, we introduce RandSlot, a simple approach to learn compact visual document representations with random soft tokens. During training, we append independently-sampled random unit vectors to query and document input sequences and resample them at every use, without introducing learnable soft-token parameters. The encoder contextualizes these auxiliary inputs with the original content to produce a small set of retrieval vectors. A standard late-interaction objective trains the encoder to extract relevant information under varying input conditions. Experiments with different backbone models show that RandSlot improves retrieval quality over alternative readout strategies under the same vector budget. Further analysis shows that these gains can persist when random soft tokens are replaced with zeros at inference, demonstrating that random inputs during training can improve compact retrieval representations even when inference no longer requires sampling.
• Abstract（参考訳）: ビジュアル文書検索は、クエリとテキスト、テーブル、ページレイアウトに分散したエビデンスとを一致させる表現を必要とする。 マルチベクトル表現はきめ細かい情報をキャプチャするが、多くのベクトルを保存して比較することは、かなりの検索コストをもたらす。 本稿では,ランダムなソフトトークンを用いて,コンパクトな文書表現を学習するための簡単なアプローチであるRandSlotを紹介する。 トレーニング中、学習可能なソフトトークンパラメータを導入することなく、独立にサンプリングされたランダムな単位ベクトルを入力シーケンスをクエリし、文書化し、使用毎に再サンプリングする。 エンコーダは、これらの補助入力を元のコンテンツでコンテキスト化して、検索ベクトルの小さなセットを生成する。 標準の遅延処理対象は、エンコーダに様々な入力条件下で関連情報を抽出するように訓練する。 異なるバックボーンモデルによる実験では、RandSlotは同じベクトル予算の下で、代替の読み出し戦略よりも検索品質が向上している。 さらなる分析により、ランダムなソフトトークンを推論時にゼロに置き換えた場合、これらのゲインは持続し、推論がもはやサンプリングを必要としない場合でも、トレーニング中のランダムな入力がコンパクトな検索表現を改善することを示す。

関連論文リスト

• Single-pass Adaptive Image Tokenization for Minimum Program Search [75.59409288259151]
  本稿では,単一前方通過における画像に対する適切なトークン数を予測する単一パス適応型トークン化器KARLを提案する。 KARLは、1回のパスで動作しながら、最近の適応トークン化器の性能と一致する。
  論文  参考訳（メタデータ） (2025-07-10T17:59:53Z)
• Generative Compositor for Few-Shot Visual Information Extraction [60.663887314625164]
  生成空間モデルとして生成空間モデル(Generative Generative Spacetor)を提案する。 ジェネレーティブジェネレーター(Generative Generative Spacetor)は、ソーステキストから単語を検索することでコンポジタの操作をエミュレートするハイブリッドポインタージェネレータネットワークである。 提案手法は,1ショット,5ショット,10ショットの設定において,ベースラインを上回りながら,フルサンプルトレーニングにおいて高い競争力を発揮する。
  論文  参考訳（メタデータ） (2025-03-21T04:56:24Z)
• Readout Guidance: Learning Control from Diffusion Features [96.22155562120231]
  本稿では,学習信号を用いたテキスト・画像拡散モデル制御手法であるReadout Guidanceを提案する。 Readout Guidanceはリードアウトヘッドを使用し、トレーニング済みの凍結拡散モデルの特徴から信号を取り出すために訓練された軽量ネットワークである。 これらの読み出しは、ポーズ、深さ、エッジなどのシングルイメージ特性や、対応性や外観類似性といった複数の画像に関連する高次特性を符号化することができる。
  論文  参考訳（メタデータ） (2023-12-04T18:59:32Z)
• PromptDet: Expand Your Detector Vocabulary with Uncurated Images [47.600059694034]
  この作業の目的は、ゼロマニュアルアノテーションを使用して、新しい/見えないカテゴリに向けてオブジェクト検出器を拡張するスケーラブルなパイプラインを確立することである。 本稿では,事前学習された視覚言語モデルのテキストエンコーダから生成された分類器を用いて,各ボックスの提案を分類する2段階のオープン語彙オブジェクト検出器を提案する。 より広い範囲のオブジェクトを検出するための学習手順をスケールアップするために、利用可能なオンラインリソースを活用し、プロンプトを反復的に更新し、その後、ノイズの多い未修正画像の大規模なコーパス上に生成された擬似ラベルを用いて、提案した検出器を自己学習する。
  論文  参考訳（メタデータ） (2022-03-30T17:50:21Z)
• Support-set bottlenecks for video-text representation learning [131.4161071785107]
  ビデオテキスト表現(ノイズコントラスト学習)を学ぶための支配的なパラダイムは厳しすぎる。 本稿では,これらのサンプルを自然に押下する生成モデルを活用することによって,これを緩和する手法を提案する。 提案手法は,MSR-VTT,VATEX,ActivityNet,MSVDにおいて,ビデオ・テキスト・テキスト・ビデオ検索やテキスト・トゥ・ビデオ検索において,他よりも優れていた。
  論文  参考訳（メタデータ） (2020-10-06T15:38:54Z)
• Evidence-Aware Inferential Text Generation with Vector Quantised Variational AutoEncoder [104.25716317141321]
  本稿では,大規模なテキストコーパスからイベントの証拠を自動的に発見し,その証拠を利用して推論テキストの生成を導く手法を提案する。 このアプローチは、Event2MindとATOMICの両方のデータセットで最先端のパフォーマンスを提供します。
  論文  参考訳（メタデータ） (2020-06-15T02:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。