論文の概要: Same Semantics, Different Paths: Self-Improving Alignment for Vision-Text Compression

• arxiv url: http://arxiv.org/abs/2608.02109v1
• Date: Mon, 03 Aug 2026 12:08:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.521245
• Title: Same Semantics, Different Paths: Self-Improving Alignment for Vision-Text Compression
• Title（参考訳）: 同じ意味論と異なる経路:視覚テキスト圧縮のための自己改善アライメント
• Abstract要約: Vision-Text Compression (VTC)は、長いテキストを画像にレンダリングし、視覚エンコーダ(ViT)を介してエンコードする。 ViTは言語意味論よりも視覚的属性(グリフ、フォントサイズ、レイアウト)をキャプチャし、描画イメージ表現をネイティブテキスト表現から分離させる。 我々は、モデル自身のテキストパス動作のみを監督として使用することで、このギャップを埋める自己教師付きアライメントフレームワークであるSPIRALを提案する。
• 参考スコア（独自算出の注目度）: 7.944386069136441
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-Text Compression (VTC) renders long texts into images and encodes them through the vision encoder (ViT), compressing thousands of text tokens into far fewer visual tokens. However, since the ViT is pretrained predominantly on natural images, it captures visual attributes (glyphs, font sizes, layout) rather than linguistic semantics, causing rendered-image representations to diverge from native-text representations. We term this cross-path inconsistency and show, via rendering perturbation experiments, that it is a critical yet overlooked bottleneck of VTC. We propose SPIRAL (Self-improving Path Integration and Realignment), a self-supervised alignment framework that closes this gap using only the model's own text-path behavior as supervision, requiring no external teachers or additional annotations. SPIRAL operates at two complementary granularities: token-level on-policy distillation (OPD) for local faithfulness, and sequence-level preference optimization (DPO) for global coherence. On VTCBench, SPIRAL improves the overall score of Qwen3-VL-8B from 35.10 to 54.02, approaching the native text-input performance (55.60) and outperforming models up to 30x larger. The two granularities exhibit complementary strengths: OPD excels at retrieval and is sample-efficient, while DPO is stronger on reasoning and memory and scales better with data. SPIRAL's benefits also generalize to out-of-domain benchmarks, confirming that effective VTC hinges on aligning rendered-image representations back to native-text semantics.
• Abstract（参考訳）: Vision-Text Compression (VTC)は、長いテキストを画像にレンダリングし、視覚エンコーダ(ViT)を通じてエンコードし、数千のテキストトークンをはるかに少ないビジュアルトークンに圧縮する。 しかし、ViTは主に自然画像に基づいて事前訓練されているため、言語意味論よりも視覚的属性(グリフ、フォントサイズ、レイアウト)をキャプチャし、描画画像表現をネイティブテキスト表現から分離する。 我々は、このクロスパス不整合を表現し、摂動実験のレンダリングを通して、VTCの重大なボトルネックであることを示す。 SPIRAL(Self-improving Path Integration and Realignment)は、モデル自身のテキストパス動作のみを監督として使用し、外部教師や追加アノテーションを必要とせず、このギャップを埋める自己監督型アライメントフレームワークである。 SPIRALは、局所忠実度のためのトークンレベルオンポリケート蒸留(OPD)と、グローバルコヒーレンスのためのシーケンスレベル優先最適化(DPO)の2つの相補的な粒度で動作する。 VTCBenchでは、SPIRALはQwen3-VL-8Bの総合スコアを35.10から54.02に改善し、ネイティブテキスト入力性能(55.60)に近づき、最大30倍の性能を持つ。 2つの粒度は相補的な強みを示す: OPD は検索時に優れ、サンプリング効率が高いが、DPO は推論と記憶が強く、データによりスケールが良くなる。 SPIRALの利点は、ドメイン外のベンチマークにも一般化され、レンダリングイメージ表現をネイティブテキストセマンティクスに戻す上で有効なVTCヒンジが有効であることを確認する。

関連論文リスト

• Full Glyph Images Beat Token Embeddings: A Controlled Study for Transformers [1.920312875157821]
  我々は、漢字を表現するために、ビジョンベースモデルとインデックスベースベースラインを使用する。 すべてのテストされたデコーダのバックボーンの中で、ビジョンベースのモデルはベースラインを一貫して上回る。 アドバンテージは空間コヒーレント入力と2次元位置符号化を備えたViTエンコーダの両方を必要とする。
  論文  参考訳（メタデータ） (2026-07-04T19:30:16Z)
• TEVI: Text-Conditioned Editing of Visual Representations via Sparse Autoencoders for Improved Vision-Language Alignment [87.69757277913577]
  画像埋め込みから何を保持するかの信号としてキャプションを使用するフレームワークTEVIを提案する。 合成キャプションを用いた制御設定では,TEVIは,他のキャプションを廃棄しながら,キャプション記述属性の保存に有効であることを示す。
  論文  参考訳（メタデータ） (2026-06-05T16:54:40Z)
• Pixel-TTS: Image based Text Rendering for Robust Text-to-Speech [3.62994537177299]
  テキストを視覚的にグラウンド化することで、異なるUnicodeエンコーディングを持つ構造的に類似した文字が、同様の埋め込みを生成することができる。 視覚的な音声合成のための最初のフレームワークであるPixel-TTSを提案する。 テキストをイメージとしてレンダリングし、2D畳み込み層を通じて投影して埋め込みを生成する。
  論文  参考訳（メタデータ） (2026-06-05T11:46:30Z)
• PIXELRAG: Web Screenshots Beat Text for Retrieval-Augmented Generation [70.26672362704758]
  我々は,Webサイトを視覚的に表現する新しい検索拡張手法であるPixelRAGを紹介する。 PixelRAGはこの形式で完全なウィキペディアコーパス上で動作する最初のパイプラインである。 非検索とテキストベースのRAGベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-06-01T23:20:51Z)
• DV-SFT: Direct Vision Supervision for Fine-Grained Visual Understanding [14.240098378416995]
  マルチモーダルな大規模言語モデルは通常、接地真実の答えを予測するためにエンドツーエンドで訓練されるが、監督信号はテキストトークンにのみ適用される。 視覚情報のコアキャリアであるビジュアルトークンは、コンテキストの一部として暗黙的に最適化されているだけで、粗い粒度の視覚的理解につながる。 textbfDirect textbfVision textbf Supervised textbfFine-textbfTuning (DV-SFT) を提案する。
  論文  参考訳（メタデータ） (2026-05-26T07:41:48Z)
• LensVLM: Selective Context Expansion for Compressed Visual Representation of Text [43.63292785228071]
  視覚言語モデル(VLM)はテキストをレンダリング画像として処理することができ、テキストのトークン化の必要性を回避できる。 提案するLensVLMは,VLMが圧縮された画像をスキャンし,関連する画像のみを選択的に拡張することのできる,推論フレームワークと学習後レシピである。 Qwen3.5-9Bベース上に構築されたLensVLMは、4.3倍の効率な圧縮でフルテキスト上界に匹敵する精度を維持している。 LensVLMはマルチモーダル文書やコード理解タスクにも一般化されており、圧縮が増加するにつれてベースラインよりも精度が向上する。
  論文  参考訳（メタデータ） (2026-05-07T23:03:21Z)
• VISTA-Bench: Do Vision-Language Models Really Understand Visualized Text as Well as Pure Text? [51.02924254085878]
  VLM(Vision-Language Models)は、テキスト入力と視覚入力のクロスモーダル理解において、優れたパフォーマンスを実現している。 VISTA-Benchは、マルチモーダル認識、推論、および非モーダル理解領域のベンチマークである。
  論文  参考訳（メタデータ） (2026-02-04T17:48:55Z)
• $β$-CLIP: Text-Conditioned Contrastive Learning for Multi-Granular Vision-Language Alignment [53.42377319350806]
  $-CLIPは、多言語テキスト条件のコントラスト学習フレームワークである。 $-CALは、この階層に固有のセマンティックオーバーラップに対処する。 $-CLIPは、高密度視覚言語対応のための堅牢で適応的なベースラインを確立する。
  論文  参考訳（メタデータ） (2025-12-14T13:03:20Z)
• Understanding the Effect of using Semantically Meaningful Tokens for Visual Representation Learning [40.08368469646114]
  視覚言語事前学習フレームワーク内のトランスフォーマーエンコーダに対して意味論的に意味のある視覚トークンを提供する。 テキスト・ツー・イメージ検索タスクと画像・テキスト検索タスク間で学習された表現品質のViTに対する顕著な改善を示す。
  論文  参考訳（メタデータ） (2024-05-26T01:46:22Z)
• Story Visualization by Online Text Augmentation with Context Memory [64.86944645907771]
  オンラインテキスト拡張による双方向トランスフォーマーフレームワークのための新しいメモリアーキテクチャを提案する。 提案手法は, FID, キャラクタF1, フレーム精度, BLEU-2/3, R精度など, 様々な指標において, 芸術の状態を著しく上回っている。
  論文  参考訳（メタデータ） (2023-08-15T05:08:12Z)
• TRIPS: Efficient Vision-and-Language Pre-training with Text-Relevant Image Patch Selection [61.0662744915659]
  我々は,textbfText-textbfRelevant textbfImage textbfPatch textbfSelection,すなわちTRIPSを用いた視覚・言語事前学習モデルを提案する。 TRIPSは、効率的なトレーニングと推論のために、視覚バックボーン内のテキスト誘導パッチ選択層によって、視覚的シーケンスを徐々に減少させる。
  論文  参考訳（メタデータ） (2023-05-08T05:53:30Z)
• Visually-augmented pretrained language models for NLP tasks without images [77.74849855049523]
  既存のソリューションはしばしば視覚的知識増強のために明示的なイメージに依存している。 我々は、新しいtextbfVisually-textbfAugmented fine-tuningアプローチを提案する。 我々のアプローチは、BERT、RoBERTa、BART、T5を異なるスケールで継続的に改善することができる。
  論文  参考訳（メタデータ） (2022-12-15T16:13:25Z)
• Self-supervised Character-to-Character Distillation for Text Recognition [54.12490492265583]
  そこで本研究では,テキスト表現学習を容易にする汎用的な拡張を可能にする,自己教師型文字-文字-文字間蒸留法CCDを提案する。 CCDは、テキスト認識の1.38%、テキストセグメンテーションの1.7%、PSNRの0.24dB、超解像の0.0321(SSIM)で、最先端の結果を達成する。
  論文  参考訳（メタデータ） (2022-11-01T05:48:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。