論文の概要: OpticalRAG: Pixel-Space Compression for Token-Efficient Retrieval-Augmented Generation
- arxiv url: http://arxiv.org/abs/2611.13675v2
- Date: Wed, 11 Nov 2026 09:05:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.906586
- Title: OpticalRAG: Pixel-Space Compression for Token-Efficient Retrieval-Augmented Generation
- Title(参考訳): 光RAG:Token-Efficient Retrieval-Augmented Generationのための画素空間圧縮
- Abstract要約: OpticalRAGは、ドキュメントをページイメージとしてレンダリングするフレームワークで、抽出したビジュアルトークンをLLMに渡す前に、最大16ドルで注入されたトークンに蒸留する。
LongBench-v2、BAMBOO、LooGLE-v2では、OptoRAGは16ドルのトークンを注入しながら3つのベンチマークで最高の圧縮認識精度(CAP)を達成する。
- 参考スコア(独自算出の注目度): 18.20735675078674
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Retrieval-augmented generation (RAG) is bottlenecked by the token budget of large language models: feeding long documents into the context window is expensive, while aggressive textual compression discards fine-grained information that is irreversibly lost in a one-dimensional token sequence. We argue that this bottleneck is not fundamental to information density but to the choice of compression \emph{modality}. Modern visual encoders can pack the contents of a rendered text page into roughly a hundred visual tokens with little semantic loss, opening a new compression-fidelity tradeoff that purely textual methods cannot reach. We present \textbf{OpticalRAG}, a framework that renders documents as page images, encodes them with a frozen vision encoder, and distills the retrieved visual tokens into as few as $16$ injected tokens before passing them to the LLM. Two ingredients make this work without expensive cross-modal training: (i) \emph{Encoder-Bridged Retrieval}, which projects text-query states into the visual feature space of the frozen encoder, through a projection shared with the compressor, to retrieve visual tokens from a text query, with no contrastive training; and (ii) \emph{Query-Driven Distillation}, a lightweight cross-attention compressor that condenses the retrieved visual tokens into a small set of query-conditioned prefix tokens. On LongBench-v2, BAMBOO, and LooGLE-v2, OpticalRAG achieves the best compression-aware accuracy (CAP) on all three benchmarks while injecting only $16$ tokens, and improves the closed-book Qwen2.5-7B-Instruct backbone by $5.17$ points on LongBench-v2. Code is available at https://github.com/brighterr/OpticalRAG.
- Abstract(参考訳): 長い文書をコンテキストウィンドウに入力することは高価であるが、アグレッシブテキスト圧縮は、1次元のトークンシーケンスで不可逆的に失われるきめ細かい情報を破棄する。
このボトルネックは,情報密度だけでなく,圧縮<emph{modality} の選択にも不可欠である,と我々は主張する。
現代のビジュアルエンコーダは、レンダリングされたテキストページの内容を、意味的損失の少ない約100のビジュアルトークンにまとめることができる。
我々は,文書をページイメージとしてレンダリングし,凍結した視覚エンコーダでエンコードし,抽出した視覚トークンを16ドルで注入したトークンに蒸留し,LLMに渡すためのフレームワークである \textbf{OpticalRAG} を提案する。
2つの材料が高価なクロスモーダルトレーニングなしでこの仕事をする。
i) \emph{Encoder-Bridged Retrieval} フリーズエンコーダの視覚的特徴空間にテキストクエリを投影し、コンプレッサーと共有されたプロジェクションを通じて、コントラストトレーニングなしでテキストクエリから視覚的トークンを検索する。
(ii) \emph{Query-Driven Distillation}は、検索したビジュアルトークンをクエリ条件付きプレフィックストークンの小さなセットに凝縮する軽量なクロスアテンション圧縮機である。
LongBench-v2、BAMBOO、LooGLE-v2では、OptoRAGは16ドルのトークンを注入しながら3つのベンチマークで最高の圧縮認識精度(CAP)を達成し、LongBench-v2の5.17ドルポイントでクローズドブックのQwen2.5-7B-Instructバックボーンを改善した。
コードはhttps://github.com/brighterr/OpticalRAGで入手できる。
関連論文リスト
- UIPress: Bringing Optical Token Compression to UI-to-Code Generation [2.462537008029033]
UI-to-Code生成のための軽量な学習圧縮モジュールを提案する。
UIPressは、奥行き分離可能な畳み込み、要素誘導空間再重み付け、トランスフォーマーの改良を組み合わせて、ビジュアルトークンを256の固定予算に圧縮する。
我々の知る限りでは、UI-to-Codeタスクのための最初のエンコーダ側の学習圧縮メソッドである。
論文 参考訳(メタデータ) (2026-04-10T15:58:31Z) - PIO-FVLM: Rethinking Training-Free Visual Token Reduction for VLM Acceleration from an Inference-Objective Perspective [59.24570811503256]
本稿では,視覚モデル(VLM)における冗長な視覚トークンを減らし,推論を高速化するPIO-FVLMを提案する。
提案されているPIO-FVLMは、トレーニングフリーで、FlashAttentionと互換性があり、実用的なアプリケーションやデプロイメントに親しみやすい。
LLaVA-Next-7Bでは、PIO-FVLMは視覚トークンの11.1%しか保持していないが、オリジナルのパフォーマンスの97.2%を維持している。
論文 参考訳(メタデータ) (2026-02-04T15:33:10Z) - Global Context Compression with Interleaved Vision-Text Transformation [12.971394377165767]
本稿では,前処理と推論の両方の段階でトークンを節約するグローバルコンテキスト圧縮について検討する。
入力テキストチャンクと視覚的エンコーディングとをインターリーブする新しいトランスフォーマーであるVIST2を提案する。
4$times$圧縮比で、結果として得られたモデルは長文タスクのベースラインよりも大幅に優れていることを示す。
論文 参考訳(メタデータ) (2026-01-15T13:29:16Z) - Hita: Holistic Tokenizer for Autoregressive Image Generation [56.81871174745175]
自己回帰(AR)画像生成のための新しい画像トークンであるtextitHita を紹介する。
学習可能な全体的クエリとローカルパッチトークンを備えた、全体論的から局所的なトークン化スキームを導入している。
論文 参考訳(メタデータ) (2025-07-03T06:44:26Z) - Vision-centric Token Compression in Large Language Model [51.92055188780033]
Vision Centric Token Compression (Vist)は、人間の読書を反映した高速圧縮フレームワークである。
11のコンテキスト内学習ベンチマークでは、Vistは同じ精度を2.3倍のトークンで達成し、FLOPを16%削減し、メモリを50%削減した。
論文 参考訳(メタデータ) (2025-02-02T13:10:06Z) - SweetTok: Semantic-Aware Spatial-Temporal Tokenizer for Compact Video Discretization [20.109136454526233]
本稿では,現在のビデオトークン化手法の限界を克服する新しいビデオトークン化ツールであるSweetTokを提案する。
SweetTokは、textbfDecoupled textbfAutotextbfEncoder (DQAE)を介して、異なる空間的および時間的クエリを通して視覚入力を圧縮する
SweetTok は UCF-101 データセット上で textbf42.8% w.r.t rFVD でビデオ再構成結果を大幅に改善することを示した。
論文 参考訳(メタデータ) (2024-12-11T13:48:06Z) - VoCo-LLaMA: Towards Vision Compression with Large Language Models [31.398537194299752]
VLM(Vision-Language Models)は、様々なマルチモーダルタスクにおいて顕著な成功を収めている。
LLMを用いて視覚トークンを圧縮する最初の方法であるVoCo-LLaMAを提案する。
提案手法は, 576$times$の圧縮比で最小性能損失を達成し, 最大94.8$%のFLOPと69.6$%の高速化を実現した。
論文 参考訳(メタデータ) (2024-06-18T05:05:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。