論文の概要: PixelBench: Can LLMs Understand and Generate Images Pixel by Pixel?

• arxiv url: http://arxiv.org/abs/2611.02540v1
• Date: Mon, 02 Nov 2026 05:10:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.565416
• Title: PixelBench: Can LLMs Understand and Generate Images Pixel by Pixel?
• Title（参考訳）: PixelBench: LLMはPixelで画像の理解と生成ができるのか?
• Abstract要約: 大規模言語モデル(LLM)はSVGやCADといったテキストベースのフォーマットで視覚的アセットを生成することができる。 我々は,LLMが学習した画像トークンやデコーダを使わずに,既存の語彙から直接ピクセル画像を生成することができるかどうかを問う。 テキスト・ツー・ピクセル(T2P)と画像・ツー・ピクセル(I2P)を複数の解像度で生成するベンチマークであるPixelBenchを紹介する。
• 参考スコア（独自算出の注目度）: 35.52337244875687
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) can generate visual assets through text-based formats such as SVG and CAD, but these symbolic representations describe images using high-level primitives rather than explicit raster values. We ask whether LLMs can instead generate pixel images directly through their existing vocabulary, without a learned image tokenizer or decoder. We introduce PixelBench, a benchmark for text-to-pixel (T2P) and image-to-pixel (I2P) generation across multiple resolutions, together with a complementary pixel-understanding evaluation. Models generate an RGB color palette followed by a grid of indices specifying the palette color of each output pixel. In T2P, the strongest models produce recognizable images directly from text. In I2P, the strongest models outperform palette-matched downsampling and specialized pixelization algorithms at low resolutions. Pixel-understanding performance correlates strongly with generation performance. A resolution-scaling study shows that pixel-generation performance often improves initially before declining at high resolutions. Finally, we introduce Pixel Reconstruction Tuning (PRT), which augments visual instruction tuning with caption-palette-grid trajectories. We post-train Molmo2-4B from its pretraining checkpoint by mixing general instruction data with our curated PRT data, improving performance across 16 visual-centric benchmarks, indicating that explicit pixel reconstruction can provide useful auxiliary supervision.
• Abstract（参考訳）: 大きな言語モデル(LLM)はSVGやCADのようなテキストベースのフォーマットで視覚的アセットを生成することができるが、これらのシンボル表現は明示的なラスタ値ではなく、高レベルのプリミティブを使って画像を記述する。 LLMは、学習した画像トークンやデコーダを使わずに、既存の語彙から直接ピクセル画像を生成することができるかどうかを問う。 テキスト・ツー・ピクセル(T2P)と画像・ツー・ピクセル(I2P)を複数の解像度で生成するベンチマークであるPixelBenchと、補完的な画素アンダーホールド評価を紹介する。 モデルはRGBカラーパレットを生成し、その後、各出力ピクセルのパレット色を指定するインデックスのグリッドを生成する。 T2Pでは、最強のモデルはテキストから直接認識可能な画像を生成する。 I2Pでは、最強のモデルは低解像度でパレットマッチングダウンサンプリングと特殊画素化アルゴリズムより優れていた。 画素不足のパフォーマンスは、世代パフォーマンスと強く相関する。 分解能スケーリングによる研究では、高分解能で低下する前に、ピクセル世代の性能が最初に改善されることが示されている。 最後に,Pixel Reconstruction Tuning (PRT)を導入する。 トレーニング前のチェックポイントからMomo2-4Bをポストトレインし,一般的な命令データとPRTデータとを混合し,16の視覚中心ベンチマークの性能向上を図った。

関連論文リスト

• PixelSR: Efficient Screen Content Super-Resolution via Pixel Classification [58.92928505513181]
  既存の画面コンテンツにおける作業は、画面コンテンツの特殊特性を過小評価している。 超高分解能性能を向上する手法であるPixelSRを高速な推論速度で提案する。 実験により,PixelSRは,画面コンテンツの超高解像度化において,推論時間を短縮し,最先端のパフォーマンスを達成できた。
  論文  参考訳（メタデータ） (2026-08-01T13:03:47Z)
• LUMI: Tokenizer-Agnostic LLM-Based Lossless Image Compression [87.04737384323367]
  本稿では,RGB画像圧縮のためのトークン化非依存フレームワークLUMIについて述べる。 LUMIは、ピクセル・アズ・テキストのトークン化を、LLMの連続的な埋め込み空間に生の強度とチャネル情報をマッピングするピクセル埋め込みモジュールに置き換える。 画素埋め込み、位置符号化、ソフトパラメータ、予測ヘッドのみが訓練され、LSMバックボーンは固定されている。
  論文  参考訳（メタデータ） (2026-07-09T08:16:14Z)
• PIXELRAG: Web Screenshots Beat Text for Retrieval-Augmented Generation [70.26672362704758]
  我々は,Webサイトを視覚的に表現する新しい検索拡張手法であるPixelRAGを紹介する。 PixelRAGはこの形式で完全なウィキペディアコーパス上で動作する最初のパイプラインである。 非検索とテキストベースのRAGベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-06-01T23:20:51Z)
• STENet: Superpixel Token Enhancing Network for RGB-D Salient Object Detection [15.471917655885562]
  本稿では,STENet(Superpixel Token Enhancing Network)を提案する。 我々のSTENetは最先端の手法に比べて競争性能が高い。
  論文  参考訳（メタデータ） (2026-03-23T14:06:46Z)
• PIXAR: Auto-Regressive Language Modeling in Pixel Space [51.530056034156374]
  テキスト生成を行うピクセルベース自動回帰LDMであるPIXARを紹介する。 デコーダのみで構成されたPIXARは、以前のエンコーダ・デコーダモデルと同等のパラメータ数を保ちながら、自由形式の生成タスクを実行できる。 そこで本研究では,LAMBADAでは8.1,bAbIでは8.5,PIXARでは8.1の可読性と精度を向上させる逆事前学習ステージを提案する。
  論文  参考訳（メタデータ） (2024-01-06T22:49:38Z)
• Context Does Matter: End-to-end Panoptic Narrative Grounding with Deformable Attention Refined Matching Network [25.511804582983977]
  パノラマ・ナララティブ・グラウンディング(PNG)は、高密度なナラティブキャプションに基づいて、画像中の視覚オブジェクトを分割することを目的としている。 Deformable Attention Refined Matching Network (DRMN) と呼ばれる新しい学習フレームワークを提案する。 DRMNは、トップ$k$で最も類似したピクセルの特徴表現を更新した後、変形可能なアテンションネットワークで画素を反復的に再エンコードする。
  論文  参考訳（メタデータ） (2023-10-25T13:12:39Z)
• Unsupervised Superpixel Generation using Edge-Sparse Embedding [18.92698251515116]
  特徴に対する画素の類似性に基づいて画像をスーパーピクセルに分割することは、データの複雑さを著しく減らし、その後の画像処理タスクを改善する。 コントラストの少ない非畳み込み画像デコーダを提案し、再構成画像にスムーズで接続されたエッジを強制する。 我々はデコーダの最後に隠された層から、余分な空間情報をスムーズなアクティベーションマップに符号化してエッジスパース画素埋め込みを生成し、標準クラスタリングアルゴリズムを用いて高品質なスーパーピクセルを抽出する。
  論文  参考訳（メタデータ） (2022-11-28T15:55:05Z)
• Pixel-Stega: Generative Image Steganography Based on Autoregressive Models [25.528348844618996]
  Pixel-Stegaは、自動回帰モデルと算術符号アルゴリズムでピクセルレベルの情報を隠蔽する。 実験の結果,Pixel-Stegaは,画素のエントロピーに応じて,秘密メッセージを適応的に埋め込むことができることがわかった。
  論文  参考訳（メタデータ） (2021-12-21T02:34:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。