論文の概要: A Language-Informed Loss for Visual Generation

• arxiv url: http://arxiv.org/abs/2610.23653v1
• Date: Fri, 16 Oct 2026 15:49:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.997329
• Title: A Language-Informed Loss for Visual Generation
• Title（参考訳）: 視覚生成のための言語インフォームド・ロス
• Abstract要約: 我々はLILIE(Language-Informed and Lossless Image)を紹介する。 GPICデータセット上の画素のみのベースラインに対して、GFDを14ポイント(66.84$to$53.01)削減する。
• 参考スコア（独自算出の注目度）: 41.092210063302346
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: End-to-end visual generation with pixel-space loss has recently achieved competitive performance without the need for learned image tokenizers. In this work, we study whether language-informed supervision can provide a richer training signal than pixel loss for visual generation. We introduce LILIE (pronounced "lily"), a Language-Informed and Lossless Image Encoder. LILIE is an invertible image transform trained such that a vision-language model can recover captions from noised features. The encoder uses a normalizing flow transformer trained jointly with a vision-language model via next token prediction. We then use the encoder to extract a simple language-informed loss for text-to-image generation. We train JiT models with LILIE loss, reducing gFD by 14 points (66.84 $\to$ 53.01) against a pixel-only baseline on the GPIC dataset. Our code, encoders, and generative models are available at https://suchiragarwal.com/lilie.
• Abstract（参考訳）: 画素空間損失を伴うエンドツーエンドのビジュアル生成は、最近、学習された画像トークンを必要とせずに、競合する性能を達成した。 本研究では,言語インフォームド・インフォメーションが,画像生成のための画素損失よりもリッチなトレーニング信号を提供できるかを検討する。 我々はLILIE(Language-Informed and Lossless Image Encoder)を紹介する。 LILIEは、視覚言語モデルがノイズのある特徴からキャプションを復元できるように訓練された可逆画像変換である。 エンコーダは、次のトークン予測を通じて視覚言語モデルと共同で訓練された正規化フロートランスフォーマーを使用する。 次に、エンコーダを用いて、テキスト・ツー・イメージ生成のための単純な言語インフォームド・ロスを抽出する。 GPICデータセット上の画素のみのベースラインに対して、GFDを14ポイント(66.84$\to$ 53.01)削減する。 私たちのコード、エンコーダ、生成モデルはhttps://suchiragarwal.com/lilie.comで公開されています。

関連論文リスト

• Token-Shuffle: Towards High-Resolution Image Generation with Autoregressive Models [92.18057318458528]
  Token-ShuffleはTransformerにおける画像トークンの数を減らす新しい方法である。 我々の戦略は、事前訓練されたテキストエンコーダを必要とせず、MLLMが超高解像度画像合成をサポートできるようにする。 GenAIベンチマークでは、2.7Bモデルがハードプロンプトで0.77点、ARモデルLlamaGenが0.18点、拡散モデルLDMが0.15点である。
  論文  参考訳（メタデータ） (2025-04-24T17:59:56Z)
• Translatotron-V(ison): An End-to-End Model for In-Image Machine Translation [81.45400849638347]
  In-image Machine Translation (IIMT) は、ソース言語のテキストを含む画像をターゲット言語の翻訳を含む画像に変換することを目的としている。 本稿では,4つのモジュールからなるエンドツーエンドIIMTモデルを提案する。 本モデルでは,70.9%のパラメータしか持たないカスケードモデルと比較して競争性能が向上し,画素レベルのエンド・ツー・エンドIIMTモデルよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-07-03T08:15:39Z)
• Beyond Text: Frozen Large Language Models in Visual Signal Comprehension [34.398976855955404]
  Vision-to-Language Tokenizer(V2T Tokenizer)は、エンコーダデコーダ、LLM語彙、CLIPモデルを組み合わせて、画像を「外国語」に変換する。 我々は、画像認識、画像キャプション、視覚的質問応答などの理解タスクを含む、厳密な実験を行い、また、塗り絵、アウトペイント、デブロアリング、シフト復元などの画像装飾タスクを実施。
  論文  参考訳（メタデータ） (2024-03-12T17:59:51Z)
• Controlling Vision-Language Models for Multi-Task Image Restoration [6.239038964461397]
  我々は、事前学習された視覚言語モデルを低レベル視覚タスクに転送するための劣化認識型視覚言語モデル(DA-CLIP)を提案する。 本手法は, 画像修復作業の高度化と高度化の両面において, 最先端の性能向上を図っている。
  論文  参考訳（メタデータ） (2023-10-02T09:10:16Z)
• TVTSv2: Learning Out-of-the-box Spatiotemporal Visual Representations at Scale [59.01246141215051]
  言語指導の観点から,その劣化要因を分析した。 本稿では,テキストエンコーダの一般化能力を維持するために,教師なし事前学習戦略を提案する。 最大10億のパラメータを持つTVTSv2と呼ばれる一連のモデルを作成します。
  論文  参考訳（メタデータ） (2023-05-23T15:44:56Z)
• Align before Fuse: Vision and Language Representation Learning with Momentum Distillation [52.40490994871753]
  本稿では,ALBEF (BEfore Fusing) の表現に対して,モーダルな注意を通したコントラスト的損失を導入する。 本研究では,運動量モデルで生成した擬似ターゲットから学習する自己学習法である運動量蒸留を提案する。 ALBEFは、複数の下流視覚言語タスクで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-07-16T00:19:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。