論文の概要: Approximability and Generalisation
- arxiv url: http://arxiv.org/abs/2203.07989v1
- Date: Tue, 15 Mar 2022 15:21:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-16 15:12:14.097515
- Title: Approximability and Generalisation
- Title（参考訳）: 近似性と一般化
- Authors: Andrew J. Turner and Ata Kab\'an
- Abstract要約: 予測器の完全精度と近似設定の両方において、学習における近似性の役割について検討する。
軽度の条件下では、より小さなラベル付きサンプルから近似可能なターゲット概念が学習可能であることを示す。
近似も同じ一般化保証を享受する優れた予測器を保証するアルゴリズムを提供する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Approximate learning machines have become popular in the era of small
devices, including quantised, factorised, hashed, or otherwise compressed
predictors, and the quest to explain and guarantee good generalisation
abilities for such methods has just begun. In this paper we study the role of
approximability in learning, both in the full precision and the approximated
settings of the predictor that is learned from the data, through a notion of
sensitivity of predictors to the action of the approximation operator at hand.
We prove upper bounds on the generalisation of such predictors, yielding the
following main findings, for any PAC-learnable class and any given
approximation operator. 1) We show that under mild conditions, approximable
target concepts are learnable from a smaller labelled sample, provided
sufficient unlabelled data. 2) We give algorithms that guarantee a good
predictor whose approximation also enjoys the same generalisation guarantees.
3) We highlight natural examples of structure in the class of sensitivities,
which reduce, and possibly even eliminate the otherwise abundant requirement of
additional unlabelled data, and henceforth shed new light onto what makes one
problem instance easier to learn than another. These results embed the scope of
modern model compression approaches into the general goal of statistical
learning theory, which in return suggests appropriate algorithms through
minimising uniform bounds.
- Abstract（参考訳）: 近似学習マシンは、量子化、分解、ハッシュ化、その他の圧縮された予測器を含む小さなデバイスの時代に人気となり、そのような手法の優れた一般化能力の説明と保証を試み始めたばかりである。
本稿では,データから学習する予測器の完全精度と近似設定の両方において,手元の近似演算子の動作に対する予測器の感度という概念を通して,学習における近似可能性の役割について検討する。
そのような予測器の一般化に関する上限を証明し、任意のpac-learnableクラスと任意の任意の近似作用素に対して以下の主要な発見を与える。
1) 緩やかな条件下では, より小さなラベル付きサンプルから近似可能な目標概念が学習可能であることを示す。
2)近似も同じ一般化保証を享受する優れた予測器を保証するアルゴリズムを与える。
3) センシティビティのクラスにおける自然な構造例に注目し, 追加のラベルなしデータに対する不要な要件を低減し, 場合によっては排除する可能性も示唆し, 問題インスタンスが他よりも学習しやすいものに新たな光を当てた。
これらの結果は、一様境界を最小化することで適切なアルゴリズムを提案する統計的学習理論の一般的な目標に、現代のモデル圧縮アプローチの範囲を組み込む。
関連論文リスト
- Probably Approximately Precision and Recall Learning [62.912015491907994]
精度とリコールは機械学習の基本的な指標である。
一方的なフィードバック – トレーニング中にのみ肯定的な例が観察される – は,多くの実践的な問題に固有のものだ。
PAC学習フレームワークでは,各仮説をグラフで表現し,エッジは肯定的な相互作用を示す。
論文 参考訳（メタデータ） (2024-11-20T04:21:07Z) - Slicing Mutual Information Generalization Bounds for Neural Networks [14.48773730230054]
我々は、ディープラーニングアルゴリズムに適した、より厳密な情報理論の一般化バウンダリを導入する。
我々の境界は、標準MI境界よりも有意な計算的および統計的優位性を提供する。
パラメータがランダムな部分空間に正確に横たわる必要がないアルゴリズムに解析を拡張します。
論文 参考訳（メタデータ） (2024-06-06T13:15:37Z) - Minimum Description Length and Generalization Guarantees for
Representation Learning [16.2444595840653]
本稿では,表現学習アルゴリズムの一般化誤差の上限を導出するフレームワークを提案する。
エンコーダの入力と表現の間の相互情報ではなく、我々の新しい境界は「マルチレター」相対エントロピーを含む。
著者たちの最もよく知る限り、確立された一般化境界は、情報ボトルネック型エンコーダと表現学習のための第一種である。
論文 参考訳（メタデータ） (2024-02-05T18:12:28Z) - Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。
既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。
提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
論文 参考訳（メタデータ） (2023-07-08T15:41:48Z) - Predictive Coding beyond Correlations [59.47245250412873]
このようなアルゴリズムのうちの1つは、予測符号化と呼ばれ、因果推論タスクを実行することができるかを示す。
まず、予測符号化の推論過程における簡単な変化が、因果グラフを再利用したり再定義したりすることなく、介入を計算できることを示す。
論文 参考訳（メタデータ） (2023-06-27T13:57:16Z) - Active Learning in the Predict-then-Optimize Framework: A Margin-Based
Approach [5.371816551086118]
本研究では,ラベルのないデータストリームから特徴サンプルのラベルを要求するかどうかを逐次決定する学習手法を開発した。
我々の能動学習法は,予測パラメータによって引き起こされる決定誤差によって直接情報を得る最初の方法である。
論文 参考訳（メタデータ） (2023-05-11T05:44:36Z) - Efficient and Differentiable Conformal Prediction with General Function
Classes [96.74055810115456]
本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。
本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。
実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
論文 参考訳（メタデータ） (2022-02-22T18:37:23Z) - Risk Minimization from Adaptively Collected Data: Guarantees for
Supervised and Policy Learning [57.88785630755165]
経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。
本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。
政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
論文 参考訳（メタデータ） (2021-06-03T09:50:13Z) - Deep learning: a statistical viewpoint [120.94133818355645]
ディープラーニングは、理論的観点からいくつかの大きな驚きを明らかにしました。
特に、簡単な勾配法は、最適でないトレーニング問題に対するほぼ完全な解決策を簡単に見つけます。
我々はこれらの現象を具体的原理で補うと推測する。
論文 参考訳（メタデータ） (2021-03-16T16:26:36Z) - Parsimonious Inference [0.0]
parsimonious inferenceは任意のアーキテクチャ上の推論の情報理論的な定式化である。
提案手法は,効率的な符号化と巧妙なサンプリング戦略を組み合わせて,クロスバリデーションを伴わない予測アンサンブルを構築する。
論文 参考訳（メタデータ） (2021-03-03T04:13:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。