論文の概要: PAC-Bayesian Domain Adaptation Bounds for Multiclass Learners
- arxiv url: http://arxiv.org/abs/2207.05685v1
- Date: Tue, 12 Jul 2022 17:07:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-13 16:51:21.184897
- Title: PAC-Bayesian Domain Adaptation Bounds for Multiclass Learners
- Title(参考訳): 多クラス学習者のためのPAC-Bayesian領域適応境界
- Authors: Anthony Sicilia, Katherine Atwell, Malihe Alikhani, and Seong Jae
Hwang
- Abstract要約: マルチクラス学習者を対象とした最初のPAC-Bayesian適応境界を提案する。
Gibbs予測器に依存する発散に対して、追加のPAC-ベイズ適応境界を提案する。
我々はニューラルネットワークを用いた共通適応アルゴリズムの解析に境界を適用した。
- 参考スコア(独自算出の注目度): 13.33450619901885
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multiclass neural networks are a common tool in modern unsupervised domain
adaptation, yet an appropriate theoretical description for their non-uniform
sample complexity is lacking in the adaptation literature. To fill this gap, we
propose the first PAC-Bayesian adaptation bounds for multiclass learners. We
facilitate practical use of our bounds by also proposing the first
approximation techniques for the multiclass distribution divergences we
consider. For divergences dependent on a Gibbs predictor, we propose additional
PAC-Bayesian adaptation bounds which remove the need for inefficient
Monte-Carlo estimation. Empirically, we test the efficacy of our proposed
approximation techniques as well as some novel design-concepts which we include
in our bounds. Finally, we apply our bounds to analyze a common adaptation
algorithm that uses neural networks.
- Abstract(参考訳): マルチクラスニューラルネットワークは、現代の教師なしドメイン適応において一般的なツールであるが、その非一様でないサンプル複雑性に対する適切な理論記述は、適応文献に欠けている。
このギャップを埋めるために,マルチクラス学習者を対象とした最初のPAC-Bayesian適応境界を提案する。
我々は,多クラス分布の発散に対する最初の近似手法を提案することにより,境界の実用的利用を促進する。
ギブス予測器に依存する発散に対して、非効率なモンテカルロ推定の必要性を排除したPAC-ベイズ適応境界を提案する。
実験により,提案手法の有効性を実証し,提案手法の限界に含める新しい設計概念を検証した。
最後に,ニューラルネットワークを用いた共通適応アルゴリズムの解析に境界を適用した。
関連論文リスト
- Generalized Schr\"odinger Bridge Matching [57.40143569424158]
一般化Schr"odinger Bridge (GSB) 問題設定は、機械学習の内外を問わず、多くの科学領域に広く見られる。
我々は最近の進歩に触発された新しいマッチングアルゴリズムである一般化シュリンガーブリッジマッチング(GSBM)を提案する。
このような一般化は、効率的な変分近似を利用できる条件付き最適制御を解くのに役立てることができることを示す。
論文 参考訳(メタデータ) (2023-10-03T17:42:11Z) - Taxonomy Adaptive Cross-Domain Adaptation in Medical Imaging via
Optimization Trajectory Distillation [73.83178465971552]
自動医用画像解析の成功は、大規模かつ専門家による注釈付きトレーニングセットに依存する。
非教師なしドメイン適応(UDA)はラベル付きデータ収集の負担を軽減するための有望なアプローチである。
本稿では,2つの技術的課題に新しい視点から対処する統一的手法である最適化トラジェクトリ蒸留を提案する。
論文 参考訳(メタデータ) (2023-07-27T08:58:05Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳(メタデータ) (2023-05-24T17:26:22Z) - Bayesian Learning for Neural Networks: an algorithmic survey [95.42181254494287]
この自己完結型調査は、ベイズ学習ニューラルネットワークの原理とアルゴリズムを読者に紹介する。
アクセシブルで実践的な視点からこのトピックを紹介します。
論文 参考訳(メタデータ) (2022-11-21T21:36:58Z) - Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior:
From Theory to Practice [54.03076395748459]
メタラーニング文学の中心的な疑問は、目に見えないタスクへの一般化を保証するために、いかに正規化するかである。
本稿では,Rothfussらによって最初に導かれたメタラーニングの一般化について述べる。
PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
論文 参考訳(メタデータ) (2022-11-14T08:51:04Z) - Demystify Optimization and Generalization of Over-parameterized
PAC-Bayesian Learning [20.295960197612743]
PAC-Bayesianは、後部分布における仮説の重み付け平均としてトレーニングエラーを表現できる分析フレームワークである。
PAC-Bayes学習を適用すると、収束結果がカーネルリッジ回帰の解に一致することを示す。
我々はさらに、非確率的ニューラルネットワークに対するラデマッハ複雑性に基づくバウンダリを改良した、均一なPAC-ベイズ一般化バウンダリを特徴付ける。
論文 参考訳(メタデータ) (2022-02-04T03:49:11Z) - Wide stochastic networks: Gaussian limit and PAC-Bayesian training [21.979820411421827]
極端に大きなネットワークは、訓練前後のガウス過程によって近似されることを示す。
出力分布の明示的な評価は、境界を直接最適化するPAC-ベイズ訓練手順を可能にする。
大規模だが有限幅のネットワークでは、このトレーニング手法が標準的なPAC-ベイジアン法より優れていることを実証的に示す。
論文 参考訳(メタデータ) (2021-06-17T20:25:38Z) - Adaptive Sampling for Minimax Fair Classification [40.936345085421955]
最適化の原理に基づく適応型サンプリングアルゴリズムを提案し,その性能に関する理論的境界を導出する。
特定の問題のクラスに対してアルゴリズム独立なローバウンドを導出することにより,適応スキームによる性能は一般に改善できないことを示した。
論文 参考訳(メタデータ) (2021-03-01T04:58:27Z) - A General Framework for the Practical Disintegration of PAC-Bayesian
Bounds [2.516393111664279]
我々は、分解された境界を与えるために原性を持つ新しいPAC-ベイズ一般化境界を導入する。
我々の境界は容易に最適化でき、学習アルゴリズムの設計に使うことができる。
論文 参考訳(メタデータ) (2021-02-17T09:36:46Z) - Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned
Edge Learning Over Broadband Channels [69.18343801164741]
パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。
本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
論文 参考訳(メタデータ) (2020-10-08T15:27:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。