論文の概要: Representative Language Generation

• arxiv url: http://arxiv.org/abs/2505.21819v1
• Date: Tue, 27 May 2025 23:02:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.32572
• Title: Representative Language Generation
• Title（参考訳）: 代表言語生成
• Authors: Charlotte Peale, Vinod Raman, Omer Reingold,
• Abstract要約: 表現生成」は、生成モデルにおける多様性とバイアスの懸念に対処するために拡張される。 ある種の条件下では、数え切れないほど無限の仮説クラスと群の集合の実現可能性を示す。 より多様で代表的な生成モデルを開発するための厳密な基盤を提供する。
• 参考スコア（独自算出の注目度）: 4.601683217376771
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce "representative generation," extending the theoretical framework for generation proposed by Kleinberg et al. (2024) and formalized by Li et al. (2024), to additionally address diversity and bias concerns in generative models. Our notion requires outputs of a generative model to proportionally represent groups of interest from the training data. We characterize representative uniform and non-uniform generation, introducing the "group closure dimension" as a key combinatorial quantity. For representative generation in the limit, we analyze both information-theoretic and computational aspects, demonstrating feasibility for countably infinite hypothesis classes and collections of groups under certain conditions, but proving a negative result for computability using only membership queries. This contrasts with Kleinberg et al.'s (2024) positive results for standard generation in the limit. Our findings provide a rigorous foundation for developing more diverse and representative generative models.
• Abstract（参考訳）: 我々は、Kleinberg et al (2024) によって提案され、Li et al (2024) によって定式化された生成の理論的枠組みを拡張して、生成モデルにおける多様性とバイアスの問題を更に解決する「表現的生成」を導入する。 我々の概念は、学習データから興味のあるグループを比例的に表現するために、生成モデルの出力を必要とする。 我々は「群閉包次元」を重要な組合せ量として導入し、代表的一様および非一様生成を特徴付ける。 この限界における代表生成については、情報理論と計算の両面を解析し、一定の条件下での無限無限の仮説クラスとグループの集合の実現可能性を示すが、会員クエリのみを用いて計算可能性の負の結果を示す。 これは、この極限における標準生成に対するKleinberg et al (2024) の正の結果とは対照的である。 より多様で代表的な生成モデルを開発するための厳密な基盤を提供する。

関連論文リスト

• Generation through the lens of learning theory [18.355039522639565]
  統計的学習理論のレンズを通して生成を研究する。 我々は「一様」および「非一様」生成と呼び、どの仮説類が一様かつ一様でない生成可能かを特徴づける。
  論文  参考訳（メタデータ） (2024-10-17T16:14:49Z)
• A Non-negative VAE:the Generalized Gamma Belief Network [49.970917207211556]
  ガンマ信念ネットワーク(GBN)は、テキストデータ中の多層解釈可能な潜在表現を明らかにする可能性を実証している。 本稿では、一般化ガンマ信念ネットワーク(Generalized GBN)を導入し、元の線形生成モデルをより表現力のある非線形生成モデルに拡張する。 また、潜伏変数の後方分布を近似する上向きのワイブル推論ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-08-06T18:18:37Z)
• Task Groupings Regularization: Data-Free Meta-Learning with Heterogeneous Pre-trained Models [83.02797560769285]
  Data-Free Meta-Learning (DFML)は、トレーニング済みモデルのコレクションから、元のデータにアクセスせずに知識を抽出することを目的としている。 現在の手法は、事前訓練されたモデル間の不均一性を見落とし、タスクの衝突による性能低下につながることが多い。
  論文  参考訳（メタデータ） (2024-05-26T13:11:55Z)
• InterHandGen: Two-Hand Interaction Generation via Cascaded Reverse Diffusion [53.90516061351706]
  両手インタラクションに先立って生成を学習する新しいフレームワークであるInterHandGenを提案する。 サンプリングにアンチペネティフィケーションと合成フリーガイダンスを組み合わせることで、プラウシブルな生成を可能にする。 本手法は, 妥当性と多様性の観点から, ベースライン生成モデルよりも有意に優れていた。
  論文  参考訳（メタデータ） (2024-03-26T06:35:55Z)
• Picking on the Same Person: Does Algorithmic Monoculture lead to Outcome Homogenization? [90.35044668396591]
  機械学習における繰り返しのテーマはアルゴリズムによるモノカルチャーである。同じシステム、またはコンポーネントを共有するシステムは、複数の意思決定者によってデプロイされる。 意思決定者がトレーニングデータや特定のモデルなどのコンポーネントを共有すれば、より均一な結果が得られます。 我々はこの仮説をアルゴリズムフェアネスベンチマークで検証し、トレーニングデータの共有がホモジェナイゼーションを確実に悪化させることを示した。 結果の均質化に関する哲学的分析と社会的な課題を、デプロイされた機械学習システムに含めることに着目して結論付ける。
  論文  参考訳（メタデータ） (2022-11-25T09:33:11Z)
• GroupifyVAE: from Group-based Definition to VAE-based Unsupervised Representation Disentanglement [91.9003001845855]
  他の誘導バイアスを導入しないと、VAEベースの非監視的非絡み合いは実現できない。 グループ理論に基づく定義から導かれる制約を非確率的帰納的バイアスとして活用し,vaeに基づく教師なし不連続に対処する。 提案手法の有効性を検証するために,5つのデータセット上で,vaeベースモデルが最も目立つ1800モデルをトレーニングした。
  論文  参考訳（メタデータ） (2021-02-20T09:49:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。