論文の概要: Generalization Bounds: Perspectives from Information Theory and
PAC-Bayes
- arxiv url: http://arxiv.org/abs/2309.04381v1
- Date: Fri, 8 Sep 2023 15:23:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-11 13:02:55.090931
- Title: Generalization Bounds: Perspectives from Information Theory and
PAC-Bayes
- Title(参考訳): 一般化境界:情報理論とPAC-Bayes
- Authors: Fredrik Hellstr\"om, Giuseppe Durisi, Benjamin Guedj, Maxim Raginsky
- Abstract要約: PAC-Bayesianアプローチは、機械学習アルゴリズムの一般化機能に対処するための柔軟なフレームワークとして確立されている。
一般化に関する情報理論的な視点が発達し、一般化と様々な情報手段の関係が確立された。
本稿では,2つの視点が共通する手法と結果を提示し,異なるアプローチと解釈について議論する。
- 参考スコア(独自算出の注目度): 30.6461568538686
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: A fundamental question in theoretical machine learning is generalization.
Over the past decades, the PAC-Bayesian approach has been established as a
flexible framework to address the generalization capabilities of machine
learning algorithms, and design new ones. Recently, it has garnered increased
interest due to its potential applicability for a variety of learning
algorithms, including deep neural networks. In parallel, an
information-theoretic view of generalization has developed, wherein the
relation between generalization and various information measures has been
established. This framework is intimately connected to the PAC-Bayesian
approach, and a number of results have been independently discovered in both
strands. In this monograph, we highlight this strong connection and present a
unified treatment of generalization. We present techniques and results that the
two perspectives have in common, and discuss the approaches and interpretations
that differ. In particular, we demonstrate how many proofs in the area share a
modular structure, through which the underlying ideas can be intuited. We pay
special attention to the conditional mutual information (CMI) framework;
analytical studies of the information complexity of learning algorithms; and
the application of the proposed methods to deep learning. This monograph is
intended to provide a comprehensive introduction to information-theoretic
generalization bounds and their connection to PAC-Bayes, serving as a
foundation from which the most recent developments are accessible. It is aimed
broadly towards researchers with an interest in generalization and theoretical
machine learning.
- Abstract(参考訳): 理論的機械学習の基本的な問題は一般化である。
過去数十年にわたり、pac-bayesianアプローチは、機械学習アルゴリズムの一般化能力に対処し、新しいものを設計するための柔軟なフレームワークとして確立されてきた。
近年、深層ニューラルネットワークを含むさまざまな学習アルゴリズムに適用可能な可能性から、関心が高まっている。
並行して、一般化に関する情報理論的な視点が発達し、一般化と様々な情報対策の関係が確立された。
このフレームワークはPAC-ベイジアンアプローチと密接に結びついており、両方の鎖で独立に多くの結果が発見されている。
このモノグラフでは、この強いつながりを強調し、一般化の統一的な扱いを示す。
我々は,二つの視点が共通する手法と結果を提示し,異なるアプローチと解釈について議論する。
特に、その領域のどれだけの証明がモジュラー構造を共有しているかを示す。
我々は、条件付き相互情報(CMI)フレームワーク、学習アルゴリズムの情報複雑性の分析研究、提案手法の深層学習への応用に特に注意を払う。
このモノグラフは、情報理論の一般化境界とPAC-Bayesとの関係を包括的に紹介することを目的としており、最新の開発が利用できる基盤となっている。
一般化と理論的機械学習に関心を持つ研究者を対象とする。
関連論文リスト
- On the Role of Information Structure in Reinforcement Learning for
Partially-Observable Sequential Teams and Games [65.268245109828]
情報構造の明示的表現は、強化学習問題を解析・解決する重要な要素であると主張する。
これにより、シーケンシャルな意思決定問題のよりリッチな分析が可能となり、より適切なアルゴリズム設計が可能となる。
論文 参考訳(メタデータ) (2024-03-01T21:28:19Z) - Exploring Machine Learning Models for Federated Learning: A Review of
Approaches, Performance, and Limitations [1.1060425537315088]
フェデレートラーニング(Federated Learning)は、個人のデータのプライバシを保護するために強化された分散学習フレームワークである。
危機時には、リアルタイムな意思決定が重要である場合、フェデレートされた学習は、機密データを共有せずに複数のエンティティをまとめて機能させることができる。
本稿では,ここ数年のプライバシ保護機械学習に関する文献を体系的にレビューする。
論文 参考訳(メタデータ) (2023-11-17T19:23:21Z) - Federated Learning for Generalization, Robustness, Fairness: A Survey
and Benchmark [55.898771405172155]
フェデレートラーニングは、異なる当事者間のプライバシー保護コラボレーションのための有望なパラダイムとして登場した。
我々は,連合学習研究の重要かつ最近の展開を体系的に概観する。
論文 参考訳(メタデータ) (2023-11-12T06:32:30Z) - Information-Theoretic Generalization Bounds for Transductive Learning
and its Applications [19.38488372616499]
本研究では,トランスダクティブ学習アルゴリズムの一般化ギャップが,学習ラベルと仮説の相互情報によって制限されることを示す。
我々は,新しいPAC-ベイズ境界を導出し,帰納的学習環境下での一般化と損失景観平坦性の関係を構築した。
論文 参考訳(メタデータ) (2023-11-08T09:48:42Z) - To Compress or Not to Compress- Self-Supervised Learning and Information
Theory: A Review [30.87092042943743]
ディープニューラルネットワークは教師付き学習タスクに優れるが、広範なラベル付きデータの必要性によって制約される。
自己組織化学習は有望な代替手段として登場し、明確なラベルなしでモデルを学習できる。
情報理論、特に情報ボトルネックの原則は、ディープニューラルネットワークの形成において重要な役割を担っている。
論文 参考訳(メタデータ) (2023-04-19T00:33:59Z) - Bayesian Learning for Neural Networks: an algorithmic survey [95.42181254494287]
この自己完結型調査は、ベイズ学習ニューラルネットワークの原理とアルゴリズムを読者に紹介する。
アクセシブルで実践的な視点からこのトピックを紹介します。
論文 参考訳(メタデータ) (2022-11-21T21:36:58Z) - A Comprehensive Survey on Deep Clustering: Taxonomy, Challenges, and
Future Directions [48.97008907275482]
クラスタリングは、文献で広く研究されている基本的な機械学習タスクである。
ディープクラスタリング(Deep Clustering)、すなわち表現学習とクラスタリングを共同で最適化する手法が提案され、コミュニティで注目を集めている。
深層クラスタリングの本質的なコンポーネントを要約し、深層クラスタリングと深層クラスタリングの相互作用を設計する方法によって既存の手法を分類する。
論文 参考訳(メタデータ) (2022-06-15T15:05:13Z) - A survey of Bayesian Network structure learning [8.411014222942168]
本稿では,データからBN構造を学習するための61のアルゴリズムについてレビューする。
各アルゴリズムの基本的アプローチは一貫性のある言葉で説明され、それらの類似点と相違点が強調された。
実世界のデータセットでのデータノイズに対処し、学習プロセスに専門家の知識を取り入れるためのアプローチについても紹介する。
論文 参考訳(メタデータ) (2021-09-23T14:54:00Z) - Investigating Bi-Level Optimization for Learning and Vision from a
Unified Perspective: A Survey and Beyond [114.39616146985001]
機械学習やコンピュータビジョンの分野では、モチベーションやメカニズムが異なるにもかかわらず、複雑な問題の多くは、一連の密接に関連するサブプロトコルを含んでいる。
本稿では,BLO(Bi-Level Optimization)の観点から,これらの複雑な学習と視覚問題を一様に表現する。
次に、値関数に基づく単一レベル再構成を構築し、主流勾配に基づくBLO手法を理解し、定式化するための統一的なアルゴリズムフレームワークを確立する。
論文 参考訳(メタデータ) (2021-01-27T16:20:23Z) - Self-organizing Democratized Learning: Towards Large-scale Distributed
Learning Systems [71.14339738190202]
民主化された学習(Dem-AI)は、大規模な分散および民主化された機械学習システムを構築するための基本原則を備えた全体主義的哲学を定めている。
本稿では,Dem-AI哲学にヒントを得た分散学習手法を提案する。
提案アルゴリズムは,従来のFLアルゴリズムと比較して,エージェントにおける学習モデルの一般化性能が向上することを示す。
論文 参考訳(メタデータ) (2020-07-07T08:34:48Z) - Reasoning About Generalization via Conditional Mutual Information [26.011933885798506]
我々は、Mutual Information (CMI) を用いて、入力がどの程度の精度で認識できるかを定量化する。
CMIのバウンダリは,VC次元,圧縮スキーム,差分プライバシー,その他の手法から得られることを示す。
次に、有界な CMI は様々な種類の一般化を意味することを示す。
論文 参考訳(メタデータ) (2020-01-24T18:13:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。