論文の概要: Evaluating Data Attribution for Text-to-Image Models

• arxiv url: http://arxiv.org/abs/2306.09345v2
• Date: Tue, 8 Aug 2023 17:26:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-09 16:32:23.787419
• Title: Evaluating Data Attribution for Text-to-Image Models
• Title（参考訳）: テキストから画像へのデータ帰属の評価
• Authors: Sheng-Yu Wang, Alexei A. Efros, Jun-Yan Zhu, Richard Zhang
• Abstract要約: 我々は,既存の大規模モデルを与えられた模範オブジェクトやスタイルにチューニングする「カストミゼーション」手法による属性評価を行う。 私たちのキーとなる洞察は、これによって、構築によって模範にコンピュータ的に影響される合成画像を効率的に作成できるということです。 問題の本質的な不確実性を考慮することで、一連のトレーニング画像に対してソフトな属性スコアを割り当てることができる。
• 参考スコア（独自算出の注目度）: 62.844382063780365
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While large text-to-image models are able to synthesize "novel" images, these images are necessarily a reflection of the training data. The problem of data attribution in such models -- which of the images in the training set are most responsible for the appearance of a given generated image -- is a difficult yet important one. As an initial step toward this problem, we evaluate attribution through "customization" methods, which tune an existing large-scale model toward a given exemplar object or style. Our key insight is that this allows us to efficiently create synthetic images that are computationally influenced by the exemplar by construction. With our new dataset of such exemplar-influenced images, we are able to evaluate various data attribution algorithms and different possible feature spaces. Furthermore, by training on our dataset, we can tune standard models, such as DINO, CLIP, and ViT, toward the attribution problem. Even though the procedure is tuned towards small exemplar sets, we show generalization to larger sets. Finally, by taking into account the inherent uncertainty of the problem, we can assign soft attribution scores over a set of training images.
• Abstract（参考訳）: 大きなテキスト・画像モデルでは「ノーベル」なイメージを合成できるが、これらの画像は必ずしもトレーニングデータのリフレクションである。 このようなモデルにおけるデータ帰属の問題 -- トレーニングセット内の画像のどれが、生成された画像の出現に最も責任を持つか -- は、難しいが重要な問題である。 この問題に対する最初のステップとして、既存の大規模モデルを所定の例題オブジェクトやスタイルに向けてチューニングする「カスタマイズ」メソッドによる帰属評価を行う。 私たちのキーとなる洞察は、これによって、構築によって模範にコンピュータ的に影響される合成画像を効率的に作成できるということです。 このような画像の新たなデータセットを用いて、様々なデータ属性アルゴリズムと様々な可能な特徴空間を評価することができる。 さらに,データセット上でトレーニングすることで,dino, clip, vitなどの標準モデルを帰属問題に向けてチューニングすることができる。 手順は小さな例集合に向けて調整されるが、より大きい集合への一般化を示す。 最後に,問題の本質的不確実性を考慮することで,一連のトレーニング画像に対してソフト属性スコアを割り当てることができる。

関連論文リスト

• Reinforcing Pre-trained Models Using Counterfactual Images [54.26310919385808]
  本稿では,言語誘導型生成対実画像を用いた分類モデル強化のための新しいフレームワークを提案する。 逆ファクト画像データセットを用いてモデルをテストすることにより、モデルの弱点を同定する。 我々は、分類モデルを微調整し強化するために、デファクトイメージを拡張データセットとして採用する。
  論文  参考訳（メタデータ） (2024-06-19T08:07:14Z)
• Data Attribution for Text-to-Image Models by Unlearning Synthesized Images [71.23012718682634]
  テキスト・ツー・イメージ・モデルにおけるデータ帰属の目標は、新しい画像の生成に最も影響を与えるトレーニング画像を特定することである。 本稿では,高能率画像の同定を効果的に行う新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-13T17:59:44Z)
• The Journey, Not the Destination: How Data Guides Diffusion Models [75.19694584942623]
  大規模なデータセットでトレーニングされた拡散モデルは、顕著な品質と多様性のフォトリアリスティックなイメージを合成することができる。 i)拡散モデルの文脈でデータ属性の形式的概念を提供し、(ii)そのような属性を反実的に検証することを可能にする枠組みを提案する。
  論文  参考訳（メタデータ） (2023-12-11T08:39:43Z)
• Scaling Laws of Synthetic Images for Model Training ... for Now [54.43596959598466]
  本研究では, 合成画像のスケーリング法則について, テクスト・ツー・イメージ・モデルの現状から検討した。 合成画像は、CLIPトレーニングの実際の画像と似ているが、やや効果の低いスケーリング傾向を示す。
  論文  参考訳（メタデータ） (2023-12-07T18:59:59Z)
• A Method for Training-free Person Image Picture Generation [4.043367784553845]
  本稿では,キャラクタ画像の特徴モデルを提案する。 これにより、ユーザーは文字の画像を簡単に提供して、生成された画像中の文字の画像と期待値とを一致させることで、プロセスを利用することができる。 提案モデルは, モデルを変更したり, 継手モデルとして使用したりすることなく, 安定拡散生成プロセスに簡便に組み込むことができる。
  論文  参考訳（メタデータ） (2023-05-16T21:46:28Z)
• ClipCrop: Conditioned Cropping Driven by Vision-Language Model [90.95403416150724]
  我々は、堅牢でユーザ意図的な収穫アルゴリズムを構築する基盤として、視覚言語モデルを活用している。 そこで本研究では,ユーザの意図を反映したテキストや画像クエリを用いて,トリミングを行う手法を開発した。 私たちのパイプライン設計では、小さなデータセットでテキスト条件の美学を学習することができます。
  論文  参考訳（メタデータ） (2022-11-21T14:27:07Z)
• Zero-Shot Text-to-Image Generation [15.135825501365007]
  テキストと画像トークンを単一のデータストリームとして自動回帰モデル化する変換器について述べる。 十分なデータとスケールで、ゼロショットで評価した場合、従来のドメイン固有モデルと競合するアプローチです。
  論文  参考訳（メタデータ） (2021-02-24T06:42:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。