論文の概要: Padding Tone: A Mechanistic Analysis of Padding Tokens in T2I Models

• arxiv url: http://arxiv.org/abs/2501.06751v2
• Date: Sun, 02 Mar 2025 09:10:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-04 16:12:15.606099
• Title: Padding Tone: A Mechanistic Analysis of Padding Tokens in T2I Models
• Title（参考訳）: パディングトーン:T2Iモデルにおけるパディングトーンの力学解析
• Authors: Michael Toker, Ido Galil, Hadas Orgad, Rinon Gal, Yoad Tewel, Gal Chechik, Yonatan Belinkov,
• Abstract要約: テキスト・ツー・イメージ(T2I)拡散モデルは、画像生成プロセスのガイドとなるエンコードプロンプトに依存している。 我々は,T2Iモデルにおいてパディングトークンが果たす役割の詳細な分析を行う。 テキストエンコーディング中、拡散過程中、または効果的に無視される場合、パディングトークンがモデルの出力に影響を与える可能性がある。
• 参考スコア（独自算出の注目度）: 64.52046218688295
• License:
• Abstract: Text-to-image (T2I) diffusion models rely on encoded prompts to guide the image generation process. Typically, these prompts are extended to a fixed length by adding padding tokens before text encoding. Despite being a default practice, the influence of padding tokens on the image generation process has not been investigated. In this work, we conduct the first in-depth analysis of the role padding tokens play in T2I models. We develop two causal techniques to analyze how information is encoded in the representation of tokens across different components of the T2I pipeline. Using these techniques, we investigate when and how padding tokens impact the image generation process. Our findings reveal three distinct scenarios: padding tokens may affect the model's output during text encoding, during the diffusion process, or be effectively ignored. Moreover, we identify key relationships between these scenarios and the model's architecture (cross or self-attention) and its training process (frozen or trained text encoder). These insights contribute to a deeper understanding of the mechanisms of padding tokens, potentially informing future model design and training practices in T2I systems.
• Abstract（参考訳）: テキスト・ツー・イメージ(T2I)拡散モデルは、画像生成プロセスのガイドとなるエンコードプロンプトに依存している。 通常、これらのプロンプトはテキストエンコーディングの前にパディングトークンを追加することで固定長に拡張される。 デフォルトの慣行であるにもかかわらず、画像生成プロセスにおけるパディングトークンの影響は調査されていない。 本研究では,T2Iモデルにおいてパディングトークンが果たす役割の詳細な分析を行う。 我々は,T2Iパイプラインの異なるコンポーネント間でのトークン表現において,情報のエンコード方法を分析するための2つの因果的手法を開発した。 これらの手法を用いて、画像生成プロセスにいつ、どのようにパディングトークンが影響するかを調査する。 テキストエンコーディング中、拡散過程中、または効果的に無視される場合、パディングトークンがモデルの出力に影響を与える可能性がある。 さらに、これらのシナリオとモデルのアーキテクチャ(クロスまたはセルフアテンション)とトレーニングプロセス(フリーズまたはトレーニングされたテキストエンコーダ)との間の重要な関係を識別する。 これらの洞察は、T2Iシステムにおける将来のモデル設計とトレーニングの実践を知らせる可能性がある、パディングトークンのメカニズムのより深い理解に寄与する。

関連論文リスト

• Diffusion Lens: Interpreting Text Encoders in Text-to-Image Pipelines [33.49257838597258]
  テキスト間拡散モデル(T2I)は、テキストプロンプトの潜在表現を用いて、画像生成プロセスを導く。 本稿では,その中間表現から画像を生成することによって,T2Iモデルのテキストエンコーダを解析するDiffusion Lensを提案する。
  論文  参考訳（メタデータ） (2024-03-09T09:11:49Z)
• Beyond Inserting: Learning Identity Embedding for Semantic-Fidelity Personalized Diffusion Generation [21.739328335601716]
  本稿では,パーソナライズされた生成のための安定拡散モデルに,正確でインタラクティブなIDを挿入することに焦点を当てる。 顔のレイアウトや背景などのIDに依存しない情報を絡み合わせるのではなく、顔領域にフィットする顔の注意損失を提案する。 その結果,従来の手法と比較して,IDの精度,テキストベースの操作能力,一般化性が向上した。
  論文  参考訳（メタデータ） (2024-01-31T11:52:33Z)
• SA$^2$VP: Spatially Aligned-and-Adapted Visual Prompt [59.280491260635266]
  視覚的プロンプトチューニングの方法は、NLPから派生した逐次モデリングパラダイムに従う。 マイモデルモデルは、画像トークンマップに等しい大きさ(またはスケールした)の2次元プロンプトトークンマップを学習する。 我々のモデルは、個々の画像トークンをきめ細かな方法でプロンプトすることができる。
  論文  参考訳（メタデータ） (2023-12-16T08:23:43Z)
• A Layer-Wise Tokens-to-Token Transformer Network for Improved Historical Document Image Enhancement [13.27528507177775]
  Tokens-to-token Vision Transformer に基づく新しい文書バイナライゼーション・エンコーダ・デコーダアーキテクチャである textbfT2T-BinFormer を提案する。 様々なDIBCOおよびH-DIBCOベンチマークの実験により、提案モデルは既存のCNNおよびViTベースの最先端手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-12-06T23:01:11Z)
• Ranni: Taming Text-to-Image Diffusion for Accurate Instruction Following [59.997857926808116]
  画像にテキストのデコードとして意味パネルを導入する。 パネルは、入力テキストから解析された視覚概念をアレンジすることで得られる。 我々は,実用的なシステムを開発し,連続生成とチャットベースの編集の可能性を示す。
  論文  参考訳（メタデータ） (2023-11-28T17:57:44Z)
• Language Quantized AutoEncoders: Towards Unsupervised Text-Image Alignment [81.73717488887938]
  Language-Quantized AutoEncoder (LQAE)は、事前訓練された言語モデルを利用して、教師なしの方法でテキストイメージデータを整列することを学ぶ。 LQAEは類似した画像を類似したテキストトークンのクラスタで表現することを学び、一致したテキストイメージペアを使わずにこれら2つのモダリティを整列させる。 これにより、大きな言語モデル(例えばGPT-3)による少数ショット画像の分類や、BERTテキストの特徴に基づく画像の線形分類が可能になる。
  論文  参考訳（メタデータ） (2023-02-02T06:38:44Z)
• SWAT: Spatial Structure Within and Among Tokens [53.525469741515884]
  我々は,トークン化時に空間構造が保存される場合,モデルが顕著な利得が得られることを論じる。 本研究では,(1)構造認識のトークン化と(2)構造認識のミキシングという2つの重要なコントリビューションを提案する。
  論文  参考訳（メタデータ） (2021-11-26T18:59:38Z)
• Text to Image Generation with Semantic-Spatial Aware GAN [41.73685713621705]
  テキストから画像生成(T2I)モデルは、テキスト記述と意味的に一致するフォトリアリズム画像を生成することを目的としている。 本稿では,テキストエンコーダがより良いテキスト情報を活用できるように,エンドツーエンドで訓練された新しいフレームワークSemantic-Spatial Aware GANを提案する。
  論文  参考訳（メタデータ） (2021-04-01T15:48:01Z)
• Procedural Reading Comprehension with Attribute-Aware Context Flow [85.34405161075276]
  手続き的なテキストは、しばしばエンティティの上で起こるプロセスを記述する。 本稿では,テキストを一般的な形式に翻訳することで,手続き的読解のためのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-31T00:06:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。