論文の概要: Model-agnostic Measure of Generalization Difficulty

• arxiv url: http://arxiv.org/abs/2305.01034v2
• Date: Fri, 2 Jun 2023 23:03:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 01:37:41.996234
• Title: Model-agnostic Measure of Generalization Difficulty
• Title（参考訳）: 一般化困難度のモデル非依存測定
• Authors: Akhilan Boopathy, Kevin Liu, Jaedong Hwang, Shu Ge, Asaad Mohammedsaleh, Ila Fiete
• Abstract要約: そこで本研究では,タスク固有の一般化難易度について,モデルに依存しない最初の尺度を提案する。 本手法は,データから得られる情報を除くタスクの一般化に必要な総情報の定量化を行う。 これは、モデルが一般化しなければならない空間の本質的な次元と指数関数的にスケールするが、次元ごとの分解では直感的にしかできない。
• 参考スコア（独自算出の注目度）: 7.183430740278161
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The measure of a machine learning algorithm is the difficulty of the tasks it can perform, and sufficiently difficult tasks are critical drivers of strong machine learning models. However, quantifying the generalization difficulty of machine learning benchmarks has remained challenging. We propose what is to our knowledge the first model-agnostic measure of the inherent generalization difficulty of tasks. Our inductive bias complexity measure quantifies the total information required to generalize well on a task minus the information provided by the data. It does so by measuring the fractional volume occupied by hypotheses that generalize on a task given that they fit the training data. It scales exponentially with the intrinsic dimensionality of the space over which the model must generalize but only polynomially in resolution per dimension, showing that tasks which require generalizing over many dimensions are drastically more difficult than tasks involving more detail in fewer dimensions. Our measure can be applied to compute and compare supervised learning, reinforcement learning and meta-learning generalization difficulties against each other. We show that applied empirically, it formally quantifies intuitively expected trends, e.g. that in terms of required inductive bias, MNIST < CIFAR10 < Imagenet and fully observable Markov decision processes (MDPs) < partially observable MDPs. Further, we show that classification of complex images < few-shot meta-learning with simple images. Our measure provides a quantitative metric to guide the construction of more complex tasks requiring greater inductive bias, and thereby encourages the development of more sophisticated architectures and learning algorithms with more powerful generalization capabilities.
• Abstract（参考訳）: 機械学習アルゴリズムの尺度は、実行可能なタスクの難しさであり、十分に困難なタスクは、強力な機械学習モデルの重要なドライバである。 しかし、機械学習ベンチマークの一般化の難しさの定量化は依然として困難である。 本稿では,タスクの一般化難易度に関するモデルに依存しない最初の尺度を提案する。 我々の帰納的バイアス複雑性尺度は、そのデータが提供する情報を除くタスクでうまく一般化するために必要な総情報を定量化する。 これは、トレーニングデータに適合するタスクを一般化する仮説によって占有される分数体積を測定することによって行われる。 モデルが一般化しなければならない空間の固有次元と指数関数的にスケールするが、その次元ごとの分解能は多項式のみであり、多くの次元を一般化する必要のあるタスクはより少ない次元でより詳細を必要とするタスクよりも劇的に困難であることを示している。 本手法は,教師付き学習,強化学習,メタラーニング一般化の難しさの計算と比較に応用できる。 実験により,MNIST < CIFAR10 < Imagenet と完全可観測マルコフ決定過程 (MDPs) < 部分的に観測可能な MDP を用いて,直感的に予測される傾向を正式に定量化することを示した。 さらに, 複雑な画像の分類, 簡単な画像によるメタラーニングについて述べる。 我々の測度は、より複雑なタスクの構築を誘導し、より強力な一般化能力を持つより洗練されたアーキテクチャや学習アルゴリズムの開発を促進するための定量的な指標を提供する。

関連論文リスト

• Quantifying Generalization Complexity for Large Language Models [31.721781613271066]
  大規模言語モデルの一般化能力を定量的に測定する動的評価フレームワークであるScyllaを紹介する。 Scyllaは、イン・ディストリビューション(ID)データとアウト・オブ・ディストリビューション(OOD)データの両方でモデル性能を評価することによって、メモリ化から一般化を遠ざける。 LLaMAやQwenファミリといったオープンソースモデルと、ClaudeやGPTといったクローズソースモデルの両方を含む28LLMをベンチマークします。
  論文  参考訳（メタデータ） (2024-10-02T17:25:37Z)
• Generalization v.s. Memorization: Tracing Language Models' Capabilities Back to Pretraining Data [76.90128359866462]
  本稿では,出力確率と事前学習データ頻度の相関を計測する,記憶化,分布記憶化という拡張概念を導入する。 本研究は, より単純で知識集約的なタスクにおいて, 記憶がより大きな役割を担い, 一般化が, より困難で推論に基づくタスクの鍵であることを示す。
  論文  参考訳（メタデータ） (2024-07-20T21:24:40Z)
• A Notion of Complexity for Theory of Mind via Discrete World Models [2.487142846438629]
  ToM(Theory of Mind)は、社会的推論が必要な複雑なシナリオにおいて、LLM(Large Language Models)の機能を評価するために用いられる。 本研究では,ToMタスクの複雑さを測定するための認知負荷理論に着想を得たフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-16T16:46:55Z)
• A General Framework for Learning from Weak Supervision [93.89870459388185]
  本稿では、新しいアルゴリズムを用いて、弱監督(GLWS)から学習するための一般的な枠組みを紹介する。 GLWSの中心は期待最大化(EM)の定式化であり、様々な弱い監督源を順応的に収容している。 また,EM計算要求を大幅に単純化する高度なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-02T21:48:50Z)
• The No Free Lunch Theorem, Kolmogorov Complexity, and the Role of Inductive Biases in Machine Learning [80.1018596899899]
  ニューラルネットワークモデルは、Kolmogorov複雑性を使って形式化された、同じ好みを共有している、と我々は主張する。 実験の結果、事前訓練された言語モデルでも、低複雑さのシーケンスを生成するのが好まれることがわかった。 これらの観察は、ますます小さな機械学習モデルで異なるように見える問題を統一する深層学習の傾向を正当化する。
  論文  参考訳（メタデータ） (2023-04-11T17:22:22Z)
• Neural Networks and the Chomsky Hierarchy [27.470857324448136]
  チョムスキー理論の知見が実際にニューラルネットワークの一般化の限界を予測できるかどうかを考察する。 膨大なデータとトレーニング時間さえも、非自明な一般化に繋がらない負の結果を示す。 この結果から,RNNとTransformerは非正規タスクの一般化に失敗し,構造化メモリで拡張されたネットワークのみがコンテキストレス・コンテキスト依存タスクの一般化に成功していることがわかった。
  論文  参考訳（メタデータ） (2022-07-05T15:06:11Z)
• Distribution Matching for Heterogeneous Multi-Task Learning: a Large-scale Face Study [75.42182503265056]
  マルチタスク学習は、共有学習アルゴリズムによって複数のタスクを共同で学習する方法論として登場した。 我々は異種mtlに対処し,検出,分類,回帰問題を同時に解決する。 大規模な顔分析のための最初のフレームワークであるFaceBehaviorNetを構築し、すべての顔行動タスクを共同で学習する。
  論文  参考訳（メタデータ） (2021-05-08T22:26:52Z)
• When is Memorization of Irrelevant Training Data Necessary for High-Accuracy Learning? [53.523017945443115]
  我々は,十分な精度のトレーニングアルゴリズムが,予測モデルにおいて,そのトレーニング例の大規模サブセットに関する情報を本質的にすべてエンコードしなければならない自然予測問題を記述する。 私たちの結果は、トレーニングアルゴリズムや学習に使用されるモデルのクラスに依存しません。
  論文  参考訳（メタデータ） (2020-12-11T15:25:14Z)
• Neural Complexity Measures [96.06344259626127]
  本稿では,一般化を予測するメタラーニングフレームワークであるNeural Complexity(NC)を提案する。 我々のモデルは、データ駆動方式で、多くの異種タスクとの相互作用を通じてスカラー複雑性尺度を学習する。
  論文  参考訳（メタデータ） (2020-08-07T02:12:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。