論文の概要: Skews in the Phenomenon Space Hinder Generalization in Text-to-Image Generation

• arxiv url: http://arxiv.org/abs/2403.16394v1
• Date: Mon, 25 Mar 2024 03:18:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-26 16:07:18.784499
• Title: Skews in the Phenomenon Space Hinder Generalization in Text-to-Image Generation
• Title（参考訳）: テキスト・画像生成における現象空間Hinder一般化のスキュー
• Authors: Yingshan Chang, Yasi Zhang, Zhiyuan Fang, Yingnian Wu, Yonatan Bisk, Feng Gao,
• Abstract要約: 本稿では,関係学習用データセットの言語的スキューと視覚的スクリューの両方を定量化する統計指標を提案する。 系統的に制御されたメトリクスは、一般化性能を強く予測できることを示す。 この研究は、データの多様性やバランスを向上し、絶対的なサイズをスケールアップするための重要な方向を示します。
• 参考スコア（独自算出の注目度）: 59.138470433237615
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The literature on text-to-image generation is plagued by issues of faithfully composing entities with relations. But there lacks a formal understanding of how entity-relation compositions can be effectively learned. Moreover, the underlying phenomenon space that meaningfully reflects the problem structure is not well-defined, leading to an arms race for larger quantities of data in the hope that generalization emerges out of large-scale pretraining. We hypothesize that the underlying phenomenological coverage has not been proportionally scaled up, leading to a skew of the presented phenomenon which harms generalization. We introduce statistical metrics that quantify both the linguistic and visual skew of a dataset for relational learning, and show that generalization failures of text-to-image generation are a direct result of incomplete or unbalanced phenomenological coverage. We first perform experiments in a synthetic domain and demonstrate that systematically controlled metrics are strongly predictive of generalization performance. Then we move to natural images and show that simple distribution perturbations in light of our theories boost generalization without enlarging the absolute data size. This work informs an important direction towards quality-enhancing the data diversity or balance orthogonal to scaling up the absolute size. Our discussions point out important open questions on 1) Evaluation of generated entity-relation compositions, and 2) Better models for reasoning with abstract relations.
• Abstract（参考訳）: テキスト・ツー・イメージ・ジェネレーションに関する文献は、人間関係を忠実に構成する問題に悩まされている。 しかし、エンティティ・リレーション・コンポジションをどのように効果的に学習するかという正式な理解は欠如している。 さらに、問題構造を有意に反映する基礎となる現象空間は明確に定義されておらず、大規模な事前学習から一般化が現れることを期待して、大量のデータに対するアームレースに繋がる。 我々は,その基礎となる現象的範囲が比例的に拡大されていないことを仮定し,一般化を損なう現象のスキューに繋がった。 本稿では,関係学習用データセットの言語的スキューと視覚的スキューの両方を定量化する統計指標を導入し,テキスト・画像生成の一般化失敗が不完全あるいは不均衡な現象論的カバレッジの直接的な結果であることを示す。 まず、合成領域で実験を行い、系統的に制御されたメトリクスが一般化性能を強く予測できることを実証する。 そして、自然画像へ移動し、我々の理論に照らされた単純な分布摂動が、絶対的なデータサイズを大きくすることなく一般化を促進することを示す。 この研究は、データの多様性の向上や、絶対的なサイズのスケールアップに直交するバランスの確保に向けて、重要な方向を示します。 私たちの議論は重要なオープンな疑問を指摘する 1)生成したエンティティ関連組成物の評価と評価 2)抽象的関係を考慮した推論モデルの改善。

関連論文リスト

• Representations as Language: An Information-Theoretic Framework for Interpretability [7.2129390689756185]
  大規模ニューラルモデルは、幅広い言語的タスクにまたがる印象的なパフォーマンスを示す。 それにもかかわらず、それらは主にブラックボックスであり、解釈が難しい入力のベクトル表現を誘導する。 本稿では,モデルが文から表現へ学習するマッピングを,言語の一種として表現する,解釈可能性に対する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-06-04T16:14:00Z)
• Neural Causal Abstractions [63.21695740637627]
  我々は、変数とそのドメインをクラスタリングすることで、因果抽象化の新しいファミリーを開発する。 本稿では,ニューラルネットワークモデルを用いて,そのような抽象化が現実的に学習可能であることを示す。 本実験は、画像データを含む高次元設定に因果推論をスケールする方法を記述し、その理論を支持する。
  論文  参考訳（メタデータ） (2024-01-05T02:00:27Z)
• On the Complexity of Bayesian Generalization [141.21610899086392]
  我々は、多様かつ自然な視覚スペクトルにおいて、概念一般化を大規模に考える。 問題空間が大きくなると、2つのモードが研究され、$complexity$が多様になる。
  論文  参考訳（メタデータ） (2022-11-20T17:21:37Z)
• Beyond spectral gap: The role of the topology in decentralized learning [58.48291921602417]
  機械学習モデルのデータ並列最適化では、労働者はモデルの推定値を改善するために協力する。 本稿では、労働者が同じデータ分散を共有するとき、疎結合な分散最適化の正確な図面を描くことを目的とする。 我々の理論は深層学習における経験的観察と一致し、異なるグラフトポロジーの相対的メリットを正確に記述する。
  論文  参考訳（メタデータ） (2022-06-07T08:19:06Z)
• Rate-Distortion Theoretic Generalization Bounds for Stochastic Learning Algorithms [12.020634332110147]
  我々は、レート歪曲理論のレンズを通して、新しい一般化が有界であることを証明している。 我々の結果は、一般化に関するより統一された視点をもたらし、将来の研究方向性を開拓する。
  論文  参考訳（メタデータ） (2022-03-04T18:12:31Z)
• Generalizable Information Theoretic Causal Representation [37.54158138447033]
  本稿では,観測データから因果表現を学習するために,仮説因果グラフに基づいて相互情報量で学習手順を規則化することを提案する。 この最適化は、因果性に着想を得た学習がサンプルの複雑さを減らし、一般化能力を向上させるという理論的保証を導出する反ファクト的損失を伴う。
  論文  参考訳（メタデータ） (2022-02-17T00:38:35Z)
• Uniform Convergence, Adversarial Spheres and a Simple Remedy [40.44709296304123]
  これまでの研究は、統一収束の一般的な枠組みと、ニューラルネットワークの一般化を説明する能力に疑問を投げかけてきた。 我々は、無限大モデルのレンズを通して、以前に研究されたデータセットの広範な理論的検討を行う。 我々は、ニューラルタンジェントカーネル(NTK)も同じ現象に苦しむことを証明し、その起源を明らかにします。
  論文  参考訳（メタデータ） (2021-05-07T20:23:01Z)
• Supercharging Imbalanced Data Learning With Energy-based Contrastive Representation Transfer [72.5190560787569]
  コンピュータビジョンにおいて、長い尾のデータセットからの学習は、特に自然画像データセットの繰り返しのテーマである。 本稿では,データ生成機構がラベル条件と特徴分布の間で不変であるメタ分散シナリオを提案する。 これにより、因果データインフレーションの手順を利用してマイノリティクラスの表現を拡大できる。
  論文  参考訳（メタデータ） (2020-11-25T00:13:11Z)
• Hyperbolic Graph Embedding with Enhanced Semi-Implicit Variational Inference [48.63194907060615]
  半単純グラフ変分自動エンコーダを用いて,低次元グラフ潜在表現における高次統計量を取得する。 我々は、階層構造を示すグラフを効率的に表現するために、ポインケア埋め込みを通して潜在空間に双曲幾何学を組み込む。
  論文  参考訳（メタデータ） (2020-10-31T05:48:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。