論文の概要: Representative Language Generation

• arxiv url: http://arxiv.org/abs/2505.21819v1
• Date: Tue, 27 May 2025 23:02:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.32572
• Title: Representative Language Generation
• Title（参考訳）: 代表言語生成
• Authors: Charlotte Peale, Vinod Raman, Omer Reingold,
• Abstract要約: 表現生成」は、生成モデルにおける多様性とバイアスの懸念に対処するために拡張される。 ある種の条件下では、数え切れないほど無限の仮説クラスと群の集合の実現可能性を示す。 より多様で代表的な生成モデルを開発するための厳密な基盤を提供する。
• 参考スコア（独自算出の注目度）: 4.601683217376771
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce "representative generation," extending the theoretical framework for generation proposed by Kleinberg et al. (2024) and formalized by Li et al. (2024), to additionally address diversity and bias concerns in generative models. Our notion requires outputs of a generative model to proportionally represent groups of interest from the training data. We characterize representative uniform and non-uniform generation, introducing the "group closure dimension" as a key combinatorial quantity. For representative generation in the limit, we analyze both information-theoretic and computational aspects, demonstrating feasibility for countably infinite hypothesis classes and collections of groups under certain conditions, but proving a negative result for computability using only membership queries. This contrasts with Kleinberg et al.'s (2024) positive results for standard generation in the limit. Our findings provide a rigorous foundation for developing more diverse and representative generative models.
• Abstract（参考訳）: 我々は、Kleinberg et al (2024) によって提案され、Li et al (2024) によって定式化された生成の理論的枠組みを拡張して、生成モデルにおける多様性とバイアスの問題を更に解決する「表現的生成」を導入する。 我々の概念は、学習データから興味のあるグループを比例的に表現するために、生成モデルの出力を必要とする。 我々は「群閉包次元」を重要な組合せ量として導入し、代表的一様および非一様生成を特徴付ける。 この限界における代表生成については、情報理論と計算の両面を解析し、一定の条件下での無限無限の仮説クラスとグループの集合の実現可能性を示すが、会員クエリのみを用いて計算可能性の負の結果を示す。 これは、この極限における標準生成に対するKleinberg et al (2024) の正の結果とは対照的である。 より多様で代表的な生成モデルを開発するための厳密な基盤を提供する。

関連論文リスト

• Language Generation in the Limit: Noise, Loss, and Feedback [10.280148603465697]
  一様生成可能なコレクションの有限和が極限において生成可能であることを示し、非一様生成に対して同じことが真であるかどうかを問う。 均一および非一様生成に対するこれらのモデルの等価性を示し、非一様雑音発生のキャラクタリゼーションを提供する。
  論文  参考訳（メタデータ） (2025-07-21T07:18:04Z)
• On Union-Closedness of Language Generation [48.36356615217017]
  Kleinberg と Mullainathan によるモデルで,Li,Raman,Tewari によって拡張された言語生成について検討する。 我々の結果は、生成可能なクラスや不均一に生成可能なクラスの有限和を証明することによって、Li と al. の2つの開問題を解決する。 提案手法は,言語生成の進展領域に独立した関心を持つ可能性のある,新たな対角化の議論とともに,注意深く構築されたクラスを利用する。
  論文  参考訳（メタデータ） (2025-06-23T13:42:25Z)
• Generation through the lens of learning theory [18.355039522639565]
  統計的学習理論のレンズを通して生成を研究する。 我々は「一様」および「非一様」生成と呼び、どの仮説類が一様かつ一様でない生成可能かを特徴づける。
  論文  参考訳（メタデータ） (2024-10-17T16:14:49Z)
• A Non-negative VAE:the Generalized Gamma Belief Network [49.970917207211556]
  ガンマ信念ネットワーク(GBN)は、テキストデータ中の多層解釈可能な潜在表現を明らかにする可能性を実証している。 本稿では、一般化ガンマ信念ネットワーク(Generalized GBN)を導入し、元の線形生成モデルをより表現力のある非線形生成モデルに拡張する。 また、潜伏変数の後方分布を近似する上向きのワイブル推論ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-08-06T18:18:37Z)
• Task Groupings Regularization: Data-Free Meta-Learning with Heterogeneous Pre-trained Models [83.02797560769285]
  Data-Free Meta-Learning (DFML)は、トレーニング済みモデルのコレクションから、元のデータにアクセスせずに知識を抽出することを目的としている。 現在の手法は、事前訓練されたモデル間の不均一性を見落とし、タスクの衝突による性能低下につながることが多い。
  論文  参考訳（メタデータ） (2024-05-26T13:11:55Z)
• InterHandGen: Two-Hand Interaction Generation via Cascaded Reverse Diffusion [53.90516061351706]
  両手インタラクションに先立って生成を学習する新しいフレームワークであるInterHandGenを提案する。 サンプリングにアンチペネティフィケーションと合成フリーガイダンスを組み合わせることで、プラウシブルな生成を可能にする。 本手法は, 妥当性と多様性の観点から, ベースライン生成モデルよりも有意に優れていた。
  論文  参考訳（メタデータ） (2024-03-26T06:35:55Z)
• To Pool or Not To Pool: Analyzing the Regularizing Effects of Group-Fair Training on Shared Models [14.143499246740278]
  我々は、福祉中心の公正機械学習の一般化誤差にグループ固有の境界を導出する。 我々は、制限された仮説クラスよりもグループ固有のラデマッハ平均を考えることで、これを行う。 シミュレーションにより、これらの境界は、より小さなグループサイズに対して特に顕著に改善され、理論上予想されるように、ナイーブな方法よりも改善されていることを示す。
  論文  参考訳（メタデータ） (2024-02-29T02:16:57Z)
• Picking on the Same Person: Does Algorithmic Monoculture lead to Outcome Homogenization? [90.35044668396591]
  機械学習における繰り返しのテーマはアルゴリズムによるモノカルチャーである。同じシステム、またはコンポーネントを共有するシステムは、複数の意思決定者によってデプロイされる。 意思決定者がトレーニングデータや特定のモデルなどのコンポーネントを共有すれば、より均一な結果が得られます。 我々はこの仮説をアルゴリズムフェアネスベンチマークで検証し、トレーニングデータの共有がホモジェナイゼーションを確実に悪化させることを示した。 結果の均質化に関する哲学的分析と社会的な課題を、デプロイされた機械学習システムに含めることに着目して結論付ける。
  論文  参考訳（メタデータ） (2022-11-25T09:33:11Z)
• Unifying Causal Inference and Reinforcement Learning using Higher-Order Category Theory [4.119151469153588]
  本稿では、強化学習における因果関係モデルと予測状態表現モデルの構造発見のための統一的な定式化を提案する。 具体的には、単純なオブジェクトを用いて、両方の設定で構造発見をモデル化する。
  論文  参考訳（メタデータ） (2022-09-13T19:04:18Z)
• RepFair-GAN: Mitigating Representation Bias in GANs Using Gradient Clipping [2.580765958706854]
  生成モデルに対する新しい公平性の概念を、同じ保護属性を共有する生成されたサンプルの分布の観点から定義する。 この公平性の概念は、データセットが等しく表現されたグループを含む場合でも破られることを示す。 判別器におけるグループワイド勾配ノルムクリッピングにより群勾配ノルムを制御することにより,より公正なデータ生成につながることを示す。
  論文  参考訳（メタデータ） (2022-07-13T14:58:48Z)
• GroupifyVAE: from Group-based Definition to VAE-based Unsupervised Representation Disentanglement [91.9003001845855]
  他の誘導バイアスを導入しないと、VAEベースの非監視的非絡み合いは実現できない。 グループ理論に基づく定義から導かれる制約を非確率的帰納的バイアスとして活用し,vaeに基づく教師なし不連続に対処する。 提案手法の有効性を検証するために,5つのデータセット上で,vaeベースモデルが最も目立つ1800モデルをトレーニングした。
  論文  参考訳（メタデータ） (2021-02-20T09:49:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。