論文の概要: Generation through the lens of learning theory

• arxiv url: http://arxiv.org/abs/2410.13714v2
• Date: Mon, 21 Oct 2024 17:21:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:21:06.567701
• Title: Generation through the lens of learning theory
• Title（参考訳）: 学習理論のレンズによる生成
• Authors: Vinod Raman, Ambuj Tewari,
• Abstract要約: 統計的学習理論のレンズを通して生成を研究する。 仮説クラスの2つの性質は両立していることが示される - 生成可能ではあるが予測不可能なクラスがあり、その逆も成り立つ。
• 参考スコア（独自算出の注目度）: 20.291598040396302
• License:
• Abstract: We study generation through the lens of statistical learning theory. First, we abstract and formalize the results of Gold [1967], Angluin [1979, 1980], and Kleinberg and Mullainathan [2024] for language identification/generation in the limit in terms of a binary hypothesis class defined over an abstract instance space. Then, we formalize a different paradigm of generation studied by Kleinberg and Mullainathan [2024], which we call ``uniform generation," and provide a characterization of which hypothesis classes are uniformly generatable. As is standard in statistical learning theory, our characterization is in terms of the finiteness of a new combinatorial dimension we call the Closure dimension. By doing so, we are able to compare generatability with predictability (captured via PAC and online learnability) and show that these two properties of hypothesis classes are \emph{incompatible} - there are classes that are generatable but not predictable and vice versa.
• Abstract（参考訳）: 統計的学習理論のレンズを通して生成を研究する。 まず、Gold [1967], Angluin [1979, 1980] と Kleinberg と Mullainathan [2024] の結果を、抽象的なインスタンス空間上で定義された二項仮説クラス(英語版)の極限における言語識別・生成について抽象化し、形式化する。 そして、Kleinberg と Mullainathan [2024] によって研究された異なる世代パラダイムを形式化し、「一様生成」と呼び、仮説クラスが一様生成可能であるという特徴を与える。 統計学習理論において標準的なように、我々の特徴付けは閉包次元と呼ばれる新しい組合せ次元の有限性である。 これによって、生成可能性と予測可能性(PACとオンライン学習可能性)を比較することができ、仮説クラスのこれらの2つの特性が 'emph{in compatible} であることを示します。

関連論文リスト

• No Free Lunch: Fundamental Limits of Learning Non-Hallucinating Generative Models [14.535583931446807]
  我々は,非ハロゲン化生成モデルの学習可能性を分析する理論的枠組みを開発する。 学習プロセスに実際の事実と整合した帰納的バイアスを組み込むことが重要であることを示す。
  論文  参考訳（メタデータ） (2024-10-24T23:57:11Z)
• Ramsey Theorems for Trees and a General 'Private Learning Implies Online Learning' Theorem [26.292576184028924]
  この研究は、差分プライベート(DP)とオンライン学習との関係について研究を続けている。 一般分類タスクにおいては,DP学習性はオンライン学習性を意味することを示す。
  論文  参考訳（メタデータ） (2024-07-10T15:43:30Z)
• Learning Discrete Concepts in Latent Hierarchical Models [73.01229236386148]
  自然の高次元データから学習する概念は、ヒューマンアライメントと解釈可能な機械学習モデルの構築の可能性を秘めている。 我々は概念を階層的因果モデルを通して関連付けられた離散潜在因果変数として定式化する。 我々は、理論的な主張を合成データ実験で裏付ける。
  論文  参考訳（メタデータ） (2024-06-01T18:01:03Z)
• Class-wise Activation Unravelling the Engima of Deep Double Descent [0.0]
  二重降下は、機械学習領域内の反直観的な側面を示す。 本研究では,二重降下現象を再考し,その発生状況について考察した。
  論文  参考訳（メタデータ） (2024-05-13T12:07:48Z)
• A Geometric Notion of Causal Probing [91.14470073637236]
  言語モデルの表現空間では、動詞数のような概念に関するすべての情報が線形部分空間に符号化される。 理想線型概念部分空間を特徴づける内在的基準のセットを与える。 LEACEは概念情報の約半分を含む1次元の部分空間を返す。
  論文  参考訳（メタデータ） (2023-07-27T17:57:57Z)
• On the Joint Interaction of Models, Data, and Features [82.60073661644435]
  本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。 これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。 この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
  論文  参考訳（メタデータ） (2023-06-07T21:35:26Z)
• A Study of Neural Collapse Phenomenon: Grassmannian Frame, Symmetry and Generalization [91.95109845914267]
  一般化ニューラル崩壊仮説の証明により,元のニューラル崩壊現象を拡張した。 分類の最適化と一般化からグラスマンフレーム構造を得る。 置換の対称性一般化を説明する定理を提供する。
  論文  参考訳（メタデータ） (2023-04-18T11:35:14Z)
• Comparative Learning: A Sample Complexity Theory for Two Hypothesis Classes [5.194264506657145]
  比較学習は、PAC学習における実現可能な設定と不可知な設定の組み合わせとして導入する。 たとえ$S$と$B$が無限のVC次元を持つとしても、比較学習の複雑さは小さい。 比較学習のサンプルの複雑さは、相互VC次元$mathsfVC(S,B)$によって特徴づけられる。
  論文  参考訳（メタデータ） (2022-11-16T18:38:24Z)
• Realizable Learning is All You Need [21.34668631009594]
  実現可能かつ不可知的な学習可能性の同値性は、学習理論における基本的な現象である。 実現可能かつ不可知な学習可能性の同値性を説明する最初のモデルに依存しないフレームワークを提示する。
  論文  参考訳（メタデータ） (2021-11-08T19:00:00Z)
• Sample-efficient proper PAC learning with approximate differential privacy [51.09425023771246]
  近似微分プライバシーを持つリトルストーン次元のクラスを適切に学習するサンプル複雑性が$tilde o(d6)$であることを証明し、プライバシーパラメータと精度パラメータを無視する。 この結果は Bun et al の質問に答えます。 (FOCS 2020) サンプルの複雑さに$2O(d)$の上限で改善することによって。
  論文  参考訳（メタデータ） (2020-12-07T18:17:46Z)
• Rethinking Class Relations: Absolute-relative Supervised and Unsupervised Few-shot Learning [157.62595449130973]
  本稿では,現在の数ショット学習法における単純化型クラスモデリングの基本的問題について検討する。 本稿では,ラベル情報をフル活用して画像表現を洗練するための,絶対相対学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2020-01-12T12:25:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。