論文の概要: Making Language the Low-Rate Code of Vision: Successive Refinement from Words to Pixels

• arxiv url: http://arxiv.org/abs/2610.16552v1
• Date: Mon, 12 Oct 2026 10:32:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.358885
• Title: Making Language the Low-Rate Code of Vision: Successive Refinement from Words to Pixels
• Title（参考訳）: 言語を低レートのビジョンコードにする: 単語からピクセルへの連続的な再定義
• Abstract要約: 字幕は、各長さの画素に対してレート最適の符号の前半部分から独立可能であることを証明します。 最初に単語を付けると、キャプションが要約チェーンを形成するときのキャプションステージに何の費用もかからない。 我々は,接頭辞を字幕の要約はしごで教師する順序付きコードであるRUNGを構築し,全長で画像を再構成する。
• 参考スコア（独自算出の注目度）: 2.0474534960231354
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An ordered visual code lets a short prefix stand in for an image, and the training loss decides what that prefix contains. Under pixel reconstruction the first bits go to the directions of highest variance, and we prove that a caption can then be independent of the entire first half of a code that is rate-optimal for pixels at every length. In the rate-distortion sense a caption is therefore not the low-rate code of its image, unless the code is built to make it one. We study that construction and what it costs. We cast captioning and text-to-image generation as successive refinement under a distortion measure that changes along the code, from caption log-loss in the early stages to pixel distortion in the last, so that each stage is compared with its own optimum. Putting words first then costs nothing among the caption stages exactly when the captions form a summarization chain, and it costs the pixels at most the caption uncertainty left in a pixel-optimal reconstruction, which is large for short prefixes and small at full length. We build RUNG, an ordered code whose prefixes are supervised by a summarization ladder of captions and whose full length reconstructs the image; generation extends the code past the prompt and captioning truncates it. With data and capacity held fixed, ordering by language instead of reconstruction raises prefix-caption information 2.9 times and GenEval from 0.76 to 0.83, at a measured cost of 2.8 dB PSNR at a quarter of the code and 0.1 dB at full length. RUNG-XL (3.4B) reaches 0.88 GenEval and 87.6 DPG-Bench in 32 network evaluations and 0.91 GenEval when errors are redrawn at the rung where they appear; its coarse and fine captions agree 94.1% of the time, and it edits images without inversion.
• Abstract（参考訳）: 順序付けられた視覚コードは、ショートプレフィックスを画像に配置させ、トレーニング損失は、そのプレフィックスが含んでいるものを決定する。 画素再構成では、最初のビットは最もばらつきの大きい方向に進み、各長さの画素に対してレート最適の符号の前半部分からキャプションが独立できることを証明する。 したがって、レート歪みという意味では、キャプションは画像の低レートコードではない。 私たちはその建設と費用について研究する。 文字のキャプションとテキスト・ツー・イメージ生成は、コードに沿って変化する歪み尺度の下で連続的に改良され、初期におけるキャプションログロスから後期におけるピクセル歪みへと変化し、各ステージをそれぞれの最適値と比較する。 まず、キャプションが要約連鎖を形成するときのキャプションステージに何の費用もかからず、ピクセル・最適再構成で残されているキャプションの不確かさのほとんどを犠牲にしている。 我々は、接頭辞をキャプションの要約はしごで教師する順序付きコードであるRUNGを構築し、フル長のイメージを再構成する。 データとキャパシティが固定されているため、コンストラクションの代わりに言語によるオーダリングがプレフィックス・キャプション情報2.9倍、GenEvalが0.76から0.83に上昇し、コード4分の1のPSNRが2.8dB、フル長さが0.1dBとなる。 RUNG-XL (3.4B) は 32 のネットワーク評価で 0.88 GenEval と 87.6 DPG-Bench に到達し、エラーが出現した時点では 0.91 GenEval となる。

関連論文リスト

• Efficient Scene-Text Refinement via Pixel-Space Grouped Image Generation [38.746760313702794]
  シーンテキストの改良には正確さ、保存性、効率性が必要である。 ピクセル空間におけるグループ画像生成として局所的なテキスト精細化を定式化するPixTextを導入する。
  論文  参考訳（メタデータ） (2026-10-13T12:34:42Z)
• Rethinking Generative Image Compression at Extremely Low Bitrates [56.035931340138006]
  本稿では、圧縮された表現とソース表現を直接アライメントする表現オートエンコーダ(RAE)空間上に構築された圧縮指向拡散(CoD)であるRAE-CoDを紹介する。 5つの視覚基盤モデル(VFM)と視覚言語モデルプロトコルを用いて,この枠組みを評価する。
  論文  参考訳（メタデータ） (2026-09-30T08:53:11Z)
• NesTok: Nested Self-Aligned 1D Tokenizer for Autoregressive Image Generation [53.369637657900235]
  NesTokは、動的ビジュアルトークン化ツールに適したネストされた自己アライメントフレームワークである。 標準トレーニングよりも大幅に改善され、ImageNetで0.98のrFIDスコアを達成している。
  論文  参考訳（メタデータ） (2026-09-29T05:27:53Z)
• Adjudicated Captioning: Multi-Agent Alignment Scoring and Consensus-Distilled Beam Arbitration for Strict Zero-Shot Image Captioning [2.8448946483845994]
  ゼロショット画像キャプション(ZIC)は、キャプタートレーニング中にペア画像キャプションの監督なしで画像を記述する。 2024年以来の厳格な登録方法の改善はない。 Inference-time multi-agent frameworkであるAdjudicated Captioningを提案する。
  論文  参考訳（メタデータ） (2026-07-31T03:27:57Z)
• VA-$π$: Variational Policy Alignment for Pixel-Aware Autoregressive Generation [65.22452273252428]
  VA-$は自動回帰視覚生成を最適化するポストトレーニングフレームワークである。 ピクセル再構成と自己回帰モデリングを統一する。 FIDを14.36から7.65に削減し、ISをLlamaGen-XXLで86.55から116.70に改善する。
  論文  参考訳（メタデータ） (2025-12-22T18:54:30Z)
• RICO: Improving Accuracy and Completeness in Image Recaptioning via Visual Reconstruction [22.72702783743817]
  RICOは視覚的再構成によってキャプションを洗練させる新しいフレームワークである。 DPOを用いてRICOのようなキャプションを生成するRICO-Flashを導入する。 提案手法はキャプション精度と完全性を大幅に向上させ,CapsBenchとCompreCapでは,ほとんどのベースラインを約10%上回った。
  論文  参考訳（メタデータ） (2025-05-28T17:29:34Z)
• Guiding Image Captioning Models Toward More Specific Captions [32.36062034676917]
  トレーニングプロセスに最小限の変更を加えることで,より具体的なキャプションを生成することが可能であることを示す。 本研究では, 自動回帰キャプションモデルに対して, キャプション上の条件分布と非条件分布の両方を微調整することで, 分類器レスガイダンスを実装した。
  論文  参考訳（メタデータ） (2023-07-31T14:00:12Z)
• Zero-Shot Video Captioning with Evolving Pseudo-Tokens [79.16706829968673]
  本稿では,GPT-2言語モデルとCLIP画像テキストマッチングモデルという,凍結した2つのネットワークを利用するゼロショットビデオキャプション手法を提案する。 マッチングスコアは、ビデオフレームのサブセットに高い平均マッチングスコアを持つ文を生成するために、言語モデルを決定するために使用される。 実験の結果, 生成したキャプションはコヒーレントであり, 現実世界の知識を広範囲に表すことができた。
  論文  参考訳（メタデータ） (2022-07-22T14:19:31Z)
• End-to-End Supermask Pruning: Learning to Prune Image Captioning Models [17.00974730372399]
  80%から95%のスパースネットワークが、その密度の高いネットワークにマッチするか、より優れているかを示す。 Up-Down と Object Relation Transformer のコードと事前訓練されたモデルは、MS-COCO データセット上で CIDEr スコア >120 を達成することができる。
  論文  参考訳（メタデータ） (2021-10-07T09:34:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。