論文の概要: Compression, Generalization and Learning
- arxiv url: http://arxiv.org/abs/2301.12767v2
- Date: Mon, 8 Jan 2024 11:20:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-10 00:23:24.604949
- Title: Compression, Generalization and Learning
- Title（参考訳）: 圧縮・一般化・学習
- Authors: Marco C. Campi and Simone Garatti
- Abstract要約: 圧縮関数は、観測セットを縮小されたサイズのサブセットにスリム化する写像である。
複数の応用において、1つの新しい観測によって圧縮された集合が変化するという条件は、この観測が余分な情報をもたらすと解釈される。
本稿では,圧縮の変化の確率を制御できる新しい理論の基礎を定めている。
- 参考スコア（独自算出の注目度）: 3.045851438458641
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A compression function is a map that slims down an observational set into a
subset of reduced size, while preserving its informational content. In multiple
applications, the condition that one new observation makes the compressed set
change is interpreted that this observation brings in extra information and, in
learning theory, this corresponds to misclassification, or misprediction. In
this paper, we lay the foundations of a new theory that allows one to keep
control on the probability of change of compression (which maps into the
statistical "risk" in learning applications). Under suitable conditions, the
cardinality of the compressed set is shown to be a consistent estimator of the
probability of change of compression (without any upper limit on the size of
the compressed set); moreover, unprecedentedly tight finite-sample bounds to
evaluate the probability of change of compression are obtained under a
generally applicable condition of preference. All results are usable in a fully
agnostic setup, i.e., without requiring any a priori knowledge on the
probability distribution of the observations. Not only these results offer a
valid support to develop trust in observation-driven methodologies, they also
play a fundamental role in learning techniques as a tool for hyper-parameter
tuning.
- Abstract（参考訳）: 圧縮関数(英: compression function)は、観測セットを小さくしたサブセットにスリム化し、その情報内容を保存するマップである。
複数の応用において、1つの新しい観察が圧縮集合の変化をもたらす条件は、この観測が余分な情報をもたらすと解釈され、学習理論では、これは誤分類または誤予測に対応する。
本稿では,新しい理論の基礎を定め,圧縮変化の確率(学習アプリケーションにおいて統計的「リスク」にマップされる)の制御を可能にする。
適切な条件下では、圧縮集合の濃度が圧縮変化の確率の一貫した推定者であることが示され(圧縮集合の大きさの上限を含まずに)、さらに圧縮変化の確率を評価するための前例のない厳密な有限サンプル境界が、一般に適用可能な選好条件の下で得られる。
すべての結果は、観測の確率分布に関する事前知識を必要とせずに、完全に非依存的な設定で利用できる。
これらの結果は、観察駆動手法の信頼性向上に有効な支援を提供するだけでなく、ハイパーパラメータチューニングのツールとしての学習技術において、基本的な役割を果たす。
関連論文リスト
- Problem-dependent convergence bounds for randomized linear gradient compression [4.656302602746228]
分散最適化では、通信モデルの更新がパフォーマンスのボトルネックになる可能性がある。
最適化向上の手段として勾配圧縮法が提案されている。
我々は, 圧縮がスループットに与える影響を, ヘッセン目標のノルムの観点から検討する。
論文 参考訳（メタデータ） (2024-11-19T22:26:42Z) - Probabilistic Conformal Prediction with Approximate Conditional Validity [81.30551968980143]
本研究では,共形手法の柔軟性と条件分布の推定を組み合わせ,予測セットを生成する手法を開発した。
我々の手法は、条件付きカバレッジの観点から既存の手法よりも一貫して優れています。
論文 参考訳（メタデータ） (2024-07-01T20:44:48Z) - Differential error feedback for communication-efficient decentralized learning [48.924131251745266]
本稿では,差分量子化と誤りフィードバックをブレンドする分散通信効率学習手法を提案する。
その結果,平均二乗誤差と平均ビットレートの両面において通信効率が安定であることが示唆された。
その結果、小さなステップサイズで有限ビットの場合には、圧縮がない場合に達成可能な性能が得られることが判明した。
論文 参考訳（メタデータ） (2024-06-26T15:11:26Z) - On the Interaction Between Differential Privacy and Gradient Compression
in Deep Learning [55.22219308265945]
差分プライバシーと勾配圧縮のガウス的メカニズムがディープラーニングにおけるテスト精度にどのように影響するかを考察する。
勾配圧縮は一般に非プライベートトレーニングではテスト精度に悪影響を及ぼすが、差分プライベートトレーニングではテスト精度を改善することがある。
論文 参考訳（メタデータ） (2022-11-01T20:28:45Z) - Approximability and Generalisation [0.0]
予測器の完全精度と近似設定の両方において、学習における近似性の役割について検討する。
軽度の条件下では、より小さなラベル付きサンプルから近似可能なターゲット概念が学習可能であることを示す。
近似も同じ一般化保証を享受する優れた予測器を保証するアルゴリズムを提供する。
論文 参考訳（メタデータ） (2022-03-15T15:21:48Z) - CC-Cert: A Probabilistic Approach to Certify General Robustness of
Neural Networks [58.29502185344086]
安全クリティカルな機械学習アプリケーションでは、モデルを敵の攻撃から守ることが不可欠である。
意味的に意味のある入力変換に対して、ディープラーニングモデルの証明可能な保証を提供することが重要である。
我々はChernoff-Cramer境界に基づく新しい普遍確率的証明手法を提案する。
論文 参考訳（メタデータ） (2021-09-22T12:46:04Z) - Statistical optimality conditions for compressive ensembles [7.766921168069532]
本研究では,高次元データの無作為圧縮を訓練した低複雑さ経験的リスク最小化器のアンサンブルの理論解析のための枠組みを提案する。
本稿では, 圧縮性の概念として, 余剰リスクに関する一般分布依存上界を導入する。
次に、ジョンソン-リンデンシュトラウス写像を圧縮スキームとして考慮し、この一般化を分類および回帰タスクに縛り付ける。
論文 参考訳（メタデータ） (2021-06-02T11:52:31Z) - Deconfounding Scores: Feature Representations for Causal Effect
Estimation with Weak Overlap [140.98628848491146]
推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。
分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。
特に,この手法が標準正規化の魅力的な代替となることを示す。
論文 参考訳（メタデータ） (2021-04-12T18:50:11Z) - Learning, compression, and leakage: Minimising classification error via
meta-universal compression principles [87.054014983402]
学習シナリオのための圧縮技法の有望なグループは、正規化極大(NML)符号化である。
ここでは,教師付き分類問題に対するNMLに基づく意思決定戦略を検討し,多種多様なモデルに適用した場合にPAC学習を実現することを示す。
本手法の誤分類率は,プライバシに敏感なシナリオにおいて,データ漏洩の可能性を定量化するための指標である最大リークによって上限づけられていることを示す。
論文 参考訳（メタデータ） (2020-10-14T20:03:58Z) - On Compression Principle and Bayesian Optimization for Neural Networks [0.0]
本稿では,全てのデータとモデル定義の合計圧縮メッセージ長を最小化しつつ,デオードビリティを保証しながら,最適な予測モデルを提案する圧縮原理を提案する。
圧縮原理によって要求される最適ネットワーク次元を求めることができる連続的な次元削減にドロップアウトが利用できることを示す。
論文 参考訳（メタデータ） (2020-06-23T03:23:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。