Fugu-MT 論文翻訳(概要): Effective dimension of machine learning models

論文の概要: Effective dimension of machine learning models

arxiv url: http://arxiv.org/abs/2112.04807v1
Date: Thu, 9 Dec 2021 10:00:18 GMT
ステータス: 処理完了
システム内更新日: 2021-12-10 14:17:52.286786
Title: Effective dimension of machine learning models
Title（参考訳）: 機械学習モデルの有効次元
Authors: Amira Abbas, David Sutter, Alessio Figalli, Stefan Woerner
Abstract要約: 新しいデータを含むタスクにおけるトレーニング済みモデルのパフォーマンスに関する声明を作ることが、機械学習の主要な目標のひとつだ。様々な能力測定は、この能力を捉えようとするが、通常、我々が実際に観察するモデルの重要な特性を説明するのに不足する。本稿では,標準データセットの一般化誤差と相関するキャパシティ尺度として,局所有効次元を提案する。
参考スコア（独自算出の注目度）: 4.721845865189576
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Making statements about the performance of trained models on tasks involving new data is one of the primary goals of machine learning, i.e., to understand the generalization power of a model. Various capacity measures try to capture this ability, but usually fall short in explaining important characteristics of models that we observe in practice. In this study, we propose the local effective dimension as a capacity measure which seems to correlate well with generalization error on standard data sets. Importantly, we prove that the local effective dimension bounds the generalization error and discuss the aptness of this capacity measure for machine learning models.
Abstract（参考訳）: トレーニングされたモデルのパフォーマンスを新しいデータを含むタスクで記述することは、機械学習の主要な目標、すなわちモデルの一般化能力を理解することの1つだ。様々な能力測定は、この能力を捉えようとするが、通常、我々が実際に観察するモデルの重要な特性を説明することに不足する。本研究では,標準データセットの一般化誤差とよく相関するキャパシティ尺度として局所有効次元を提案する。重要な点は,局所有効次元が一般化誤差を限定し,機械学習モデルにおけるこの指標の適性について考察することである。

関連論文リスト

Causal Estimation of Memorisation Profiles [58.20086589761273]
言語モデルにおける記憶の理解は、実践的および社会的意味を持つ。覚書化(英: Memorisation)とは、モデルがそのインスタンスを予測できる能力に対して、あるインスタンスでトレーニングを行うことによる因果的影響である。本稿では,計量学の差分差分設計に基づく,新しい,原理的,効率的な記憶推定法を提案する。
論文参考訳（メタデータ） (2024-06-06T17:59:09Z)
Machine Learning vs Deep Learning: The Generalization Problem [0.0]
本研究では,従来の機械学習(ML)モデルとディープラーニング(DL)アルゴリズムの比較能力について,外挿の観点から検討した。本稿では,MLモデルとDLモデルの両方が指数関数で学習され,学習領域外の値でテストされる経験的分析を提案する。その結果,ディープラーニングモデルには,学習範囲を超えて一般化する固有の能力があることが示唆された。
論文参考訳（メタデータ） (2024-03-03T21:42:55Z)
Generalizable Error Modeling for Human Data Annotation: Evidence From an Industry-Scale Search Data Annotation Program [0.0]
本稿では,検索関連アノテーションタスクにおける潜在的なエラーを検出するために訓練された予測誤差モデルを提案する。そこで本研究では,中程度のモデル性能(AUC=0.65-0.75)で誤差を予測できることを示す。本稿では,高い予測誤差確率のタスクを優先することで,修正されたアノテーションエラーの量を大幅に増加させるという,監査の文脈におけるモデルの有用性を実証する。
論文参考訳（メタデータ） (2023-10-08T21:21:19Z)
Minimal Value-Equivalent Partial Models for Scalable and Robust Planning in Lifelong Reinforcement Learning [56.50123642237106]
モデルに基づく強化学習における一般的な実践は、エージェントの環境のあらゆる側面をモデル化するモデルを学ぶことである。このようなモデルは、生涯にわたる強化学習シナリオにおいて、スケーラブルで堅牢な計画を実行するのに特に適していない、と我々は主張する。我々は,「最小値部分モデル」と呼ぶ,環境の関連する側面のみをモデル化する新しい種類のモデルを提案する。
論文参考訳（メタデータ） (2023-01-24T16:40:01Z)
Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文参考訳（メタデータ） (2022-11-09T18:58:29Z)
Synthetic Model Combination: An Instance-wise Approach to Unsupervised Ensemble Learning [92.89846887298852]
ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
論文参考訳（メタデータ） (2022-10-11T10:20:31Z)
One Objective for All Models -- Self-supervised Learning for Topic Models [11.67381769733002]
トピックモデルによって生成されたデータに適用した場合、自己教師型学習は特定のモデルに偏る可能性がある。特に、再構成やコントラスト的なサンプルに基づく一般的な自己教師対象が、一般的なトピックモデルに有用な後部情報を復元できることを実証する。
論文参考訳（メタデータ） (2022-02-02T06:20:59Z)
Learning from others' mistakes: Avoiding dataset biases without modeling them [111.17078939377313]
最先端自然言語処理(NLP)モデルは、意図したタスクをターゲットとする機能ではなく、データセットのバイアスや表面形状の相関をモデル化することを学ぶことが多い。これまでの研究は、バイアスに関する知識が利用できる場合に、これらの問題を回避するための効果的な方法を示してきた。本稿では,これらの問題点を無視する学習モデルについて述べる。
論文参考訳（メタデータ） (2020-12-02T16:10:54Z)
Goal-Aware Prediction: Learning to Model What Matters [105.43098326577434]
学習した前進力学モデルを使用する際の根本的な課題の1つは、学習したモデルの目的と下流のプランナーやポリシーの目標とのミスマッチである。本稿では,タスク関連情報への直接的予測を提案し,そのモデルが現在のタスクを認識し,状態空間の関連量のみをモデル化することを奨励する。提案手法は,目標条件付きシーンの関連部分を効果的にモデル化し,その結果,標準タスク非依存のダイナミックスモデルやモデルレス強化学習より優れていることがわかった。
論文参考訳（メタデータ） (2020-07-14T16:42:59Z)
Modeling Generalization in Machine Learning: A Methodological and Computational Study [0.8057006406834467]
我々は、機械学習の一般化を評価する際に、トレーニングデータの凸殻の概念を用いる。機械学習モデルの一般化能力と次元に関するすべての指標との予期せぬ弱い関係を観察する。
論文参考訳（メタデータ） (2020-06-28T19:06:16Z)
The Conditional Entropy Bottleneck [8.797368310561058]
我々は、頑健な一般化の失敗を、ホールトアウトセット上の精度や関連するメトリクスの失敗として特徴づける。本稿では,モデルの品質を評価するために,最小限必要情報(MNI)基準を提案する。 MNI基準に関して良好に機能するモデルを訓練するために、新しい目的関数である条件エントロピー・ボトルネック(CEB)を提案する。我々は,CEBモデルと決定論的モデル,および様々なデータセット上での変動情報ボトルネック(VIB)モデルの性能を比較することにより,我々の仮説を実験的に検証した。
論文参考訳（メタデータ） (2020-02-13T07:46:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。