論文の概要: Generation through the lens of learning theory

• arxiv url: http://arxiv.org/abs/2410.13714v4
• Date: Thu, 21 Nov 2024 04:22:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-22 15:17:00.944950
• Title: Generation through the lens of learning theory
• Title（参考訳）: 学習理論のレンズによる生成
• Authors: Jiaxun Li, Vinod Raman, Ambuj Tewari,
• Abstract要約: 統計的学習理論のレンズを通して生成を研究する。 我々は「一様」および「非一様」生成と呼び、どの仮説類が一様かつ一様でない生成可能かを特徴づける。
• 参考スコア（独自算出の注目度）: 18.355039522639565
• License:
• Abstract: We study generation through the lens of statistical learning theory. First, we abstract and formalize the results of Gold [1967], Angluin [1979], Angluin [1980] and Kleinberg and Mullainathan [2024] in terms of a binary hypothesis class defined over an abstract example space. Then, we extend the notion of "generation" from Kleinberg and Mullainathan [2024] to two new settings, we call "uniform" and "non-uniform" generation, and provide a characterization of which hypothesis classes are uniformly and non-uniformly generatable. As is standard in learning theory, our characterizations are in terms of the finiteness of a new combinatorial dimension termed the Closure dimension. By doing so, we are able to compare generatability with predictability (captured via PAC and online learnability) and show that these two properties of hypothesis classes are incompatible -- there are classes that are generatable but not predictable and vice versa. Finally, we extend our results to capture prompted generation and give a complete characterization of which classes are prompt generatable, generalizing some of the work by Kleinberg and Mullainathan [2024].
• Abstract（参考訳）: 統計的学習理論のレンズを通して生成を研究する。 まず、Gold [1967], Angluin [1979], Angluin [1980], Kleinberg and Mullainathan [2024] の結果を抽象例空間上で定義された二項仮説クラスで抽象化し、形式化する。 そして、Kleinberg と Mullainathan [2024] の「世代」の概念を2つの新しい設定に拡張し、「一様」および「非一様」生成と呼び、仮説クラスが一様かつ一様でないような特徴を与える。 学習理論における標準的なように、我々の特徴付けは閉包次元と呼ばれる新しい組合せ次元の有限性である。 これによって、生成可能性と予測可能性(PACとオンライン学習可能性を通じてキャプチャされる)を比較し、これらの仮説クラスの2つの特性が互換性がないことを示すことができます。 最後に、結果を拡張して、引き起こされた生成を捕捉し、どのクラスが即時生成可能であるかを完全な特徴付け、Kleinberg と Mullainathan [2024] の業績の一部を一般化する。

関連論文リスト

• No Free Lunch: Fundamental Limits of Learning Non-Hallucinating Generative Models [14.535583931446807]
  我々は,非ハロゲン化生成モデルの学習可能性を分析する理論的枠組みを開発する。 学習プロセスに実際の事実と整合した帰納的バイアスを組み込むことが重要であることを示す。
  論文  参考訳（メタデータ） (2024-10-24T23:57:11Z)
• Ramsey Theorems for Trees and a General 'Private Learning Implies Online Learning' Theorem [26.292576184028924]
  この研究は、差分プライベート(DP)とオンライン学習との関係について研究を続けている。 一般分類タスクにおいては,DP学習性はオンライン学習性を意味することを示す。
  論文  参考訳（メタデータ） (2024-07-10T15:43:30Z)
• Learning Discrete Concepts in Latent Hierarchical Models [73.01229236386148]
  自然の高次元データから学習する概念は、ヒューマンアライメントと解釈可能な機械学習モデルの構築の可能性を秘めている。 我々は概念を階層的因果モデルを通して関連付けられた離散潜在因果変数として定式化する。 我々は、理論的な主張を合成データ実験で裏付ける。
  論文  参考訳（メタデータ） (2024-06-01T18:01:03Z)
• Class-wise Activation Unravelling the Engima of Deep Double Descent [0.0]
  二重降下は、機械学習領域内の反直観的な側面を示す。 本研究では,二重降下現象を再考し,その発生状況について考察した。
  論文  参考訳（メタデータ） (2024-05-13T12:07:48Z)
• A Geometric Notion of Causal Probing [91.14470073637236]
  言語モデルの表現空間では、動詞数のような概念に関するすべての情報が線形部分空間に符号化される。 理想線型概念部分空間を特徴づける内在的基準のセットを与える。 LEACEは概念情報の約半分を含む1次元の部分空間を返す。
  論文  参考訳（メタデータ） (2023-07-27T17:57:57Z)
• On the Joint Interaction of Models, Data, and Features [82.60073661644435]
  本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。 これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。 この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
  論文  参考訳（メタデータ） (2023-06-07T21:35:26Z)
• A Study of Neural Collapse Phenomenon: Grassmannian Frame, Symmetry and Generalization [91.95109845914267]
  一般化ニューラル崩壊仮説の証明により,元のニューラル崩壊現象を拡張した。 分類の最適化と一般化からグラスマンフレーム構造を得る。 置換の対称性一般化を説明する定理を提供する。
  論文  参考訳（メタデータ） (2023-04-18T11:35:14Z)
• Comparative Learning: A Sample Complexity Theory for Two Hypothesis Classes [5.194264506657145]
  比較学習は、PAC学習における実現可能な設定と不可知な設定の組み合わせとして導入する。 たとえ$S$と$B$が無限のVC次元を持つとしても、比較学習の複雑さは小さい。 比較学習のサンプルの複雑さは、相互VC次元$mathsfVC(S,B)$によって特徴づけられる。
  論文  参考訳（メタデータ） (2022-11-16T18:38:24Z)
• Realizable Learning is All You Need [21.34668631009594]
  実現可能かつ不可知的な学習可能性の同値性は、学習理論における基本的な現象である。 実現可能かつ不可知な学習可能性の同値性を説明する最初のモデルに依存しないフレームワークを提示する。
  論文  参考訳（メタデータ） (2021-11-08T19:00:00Z)
• Sample-efficient proper PAC learning with approximate differential privacy [51.09425023771246]
  近似微分プライバシーを持つリトルストーン次元のクラスを適切に学習するサンプル複雑性が$tilde o(d6)$であることを証明し、プライバシーパラメータと精度パラメータを無視する。 この結果は Bun et al の質問に答えます。 (FOCS 2020) サンプルの複雑さに$2O(d)$の上限で改善することによって。
  論文  参考訳（メタデータ） (2020-12-07T18:17:46Z)
• Rethinking Class Relations: Absolute-relative Supervised and Unsupervised Few-shot Learning [157.62595449130973]
  本稿では,現在の数ショット学習法における単純化型クラスモデリングの基本的問題について検討する。 本稿では,ラベル情報をフル活用して画像表現を洗練するための,絶対相対学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2020-01-12T12:25:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。