論文の概要: PAC-Bayesian Domain Adaptation Bounds for Multiclass Learners

• arxiv url: http://arxiv.org/abs/2207.05685v1
• Date: Tue, 12 Jul 2022 17:07:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-13 16:51:21.184897
• Title: PAC-Bayesian Domain Adaptation Bounds for Multiclass Learners
• Title（参考訳）: 多クラス学習者のためのPAC-Bayesian領域適応境界
• Authors: Anthony Sicilia, Katherine Atwell, Malihe Alikhani, and Seong Jae Hwang
• Abstract要約: マルチクラス学習者を対象とした最初のPAC-Bayesian適応境界を提案する。 Gibbs予測器に依存する発散に対して、追加のPAC-ベイズ適応境界を提案する。 我々はニューラルネットワークを用いた共通適応アルゴリズムの解析に境界を適用した。
• 参考スコア（独自算出の注目度）: 13.33450619901885
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multiclass neural networks are a common tool in modern unsupervised domain adaptation, yet an appropriate theoretical description for their non-uniform sample complexity is lacking in the adaptation literature. To fill this gap, we propose the first PAC-Bayesian adaptation bounds for multiclass learners. We facilitate practical use of our bounds by also proposing the first approximation techniques for the multiclass distribution divergences we consider. For divergences dependent on a Gibbs predictor, we propose additional PAC-Bayesian adaptation bounds which remove the need for inefficient Monte-Carlo estimation. Empirically, we test the efficacy of our proposed approximation techniques as well as some novel design-concepts which we include in our bounds. Finally, we apply our bounds to analyze a common adaptation algorithm that uses neural networks.
• Abstract（参考訳）: マルチクラスニューラルネットワークは、現代の教師なしドメイン適応において一般的なツールであるが、その非一様でないサンプル複雑性に対する適切な理論記述は、適応文献に欠けている。 このギャップを埋めるために,マルチクラス学習者を対象とした最初のPAC-Bayesian適応境界を提案する。 我々は,多クラス分布の発散に対する最初の近似手法を提案することにより,境界の実用的利用を促進する。 ギブス予測器に依存する発散に対して、非効率なモンテカルロ推定の必要性を排除したPAC-ベイズ適応境界を提案する。 実験により,提案手法の有効性を実証し,提案手法の限界に含める新しい設計概念を検証した。 最後に,ニューラルネットワークを用いた共通適応アルゴリズムの解析に境界を適用した。

関連論文リスト

• Multi-View Majority Vote Learning Algorithms: Direct Minimization of PAC-Bayesian Bounds [0.8039067099377079]
  我々は PAC-Bayesian 理論を拡張し、R'enyi divergence に基づいた新しい PAC-Bayesian 境界を導入する。 これらの境界は、伝統的なクルバック・リーブラーの発散を改善し、より洗練された複雑性尺度を提供する。 また,多視点学習のためのC-boundの拡張とともに,第1次および第2次オラクルPAC-Bayesian境界を提案する。
  論文  参考訳（メタデータ） (2024-11-09T20:25:47Z)
• Taxonomy Adaptive Cross-Domain Adaptation in Medical Imaging via Optimization Trajectory Distillation [73.83178465971552]
  自動医用画像解析の成功は、大規模かつ専門家による注釈付きトレーニングセットに依存する。 非教師なしドメイン適応(UDA)はラベル付きデータ収集の負担を軽減するための有望なアプローチである。 本稿では,2つの技術的課題に新しい視点から対処する統一的手法である最適化トラジェクトリ蒸留を提案する。
  論文  参考訳（メタデータ） (2023-07-27T08:58:05Z)
• Improving Generalization of Complex Models under Unbounded Loss Using PAC-Bayes Bounds [10.94126149188336]
  PAC-Bayes学習理論は、テストエラーの厳密な上限を確立することに重点を置いている。 PAC-Bayesトレーニングと呼ばれる最近提案されたトレーニング手順は、これらの境界を最小化するためにモデルを更新する。 このアプローチは理論的に健全であり、実際は、経験的リスク最小化(ERM)によって得られたものほど、テストエラーを達成していない。 PAC-Bayes トレーニングアルゴリズムを導入し,性能向上と事前チューニングへの依存度低減を実現した。
  論文  参考訳（メタデータ） (2023-05-30T17:31:25Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Bayesian Learning for Neural Networks: an algorithmic survey [95.42181254494287]
  この自己完結型調査は、ベイズ学習ニューラルネットワークの原理とアルゴリズムを読者に紹介する。 アクセシブルで実践的な視点からこのトピックを紹介します。
  論文  参考訳（メタデータ） (2022-11-21T21:36:58Z)
• Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior: From Theory to Practice [54.03076395748459]
  メタラーニング文学の中心的な疑問は、目に見えないタスクへの一般化を保証するために、いかに正規化するかである。 本稿では,Rothfussらによって最初に導かれたメタラーニングの一般化について述べる。 PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
  論文  参考訳（メタデータ） (2022-11-14T08:51:04Z)
• Demystify Optimization and Generalization of Over-parameterized PAC-Bayesian Learning [20.295960197612743]
  PAC-Bayesianは、後部分布における仮説の重み付け平均としてトレーニングエラーを表現できる分析フレームワークである。 PAC-Bayes学習を適用すると、収束結果がカーネルリッジ回帰の解に一致することを示す。 我々はさらに、非確率的ニューラルネットワークに対するラデマッハ複雑性に基づくバウンダリを改良した、均一なPAC-ベイズ一般化バウンダリを特徴付ける。
  論文  参考訳（メタデータ） (2022-02-04T03:49:11Z)
• MCDAL: Maximum Classifier Discrepancy for Active Learning [74.73133545019877]
  近年の最先端のアクティブラーニング手法は, 主にGAN(Generative Adversarial Networks)をサンプル取得に活用している。 本稿では,MCDAL(Maximum Discrepancy for Active Learning)と呼ぶ新しいアクティブラーニングフレームワークを提案する。 特に,両者の差分を最大化することにより,より厳密な決定境界を学習する2つの補助的分類層を利用する。
  論文  参考訳（メタデータ） (2021-07-23T06:57:08Z)
• Adaptive Sampling for Minimax Fair Classification [40.936345085421955]
  最適化の原理に基づく適応型サンプリングアルゴリズムを提案し,その性能に関する理論的境界を導出する。 特定の問題のクラスに対してアルゴリズム独立なローバウンドを導出することにより,適応スキームによる性能は一般に改善できないことを示した。
  論文  参考訳（メタデータ） (2021-03-01T04:58:27Z)
• A General Framework for the Practical Disintegration of PAC-Bayesian Bounds [2.516393111664279]
  我々は、分解された境界を与えるために原性を持つ新しいPAC-ベイズ一般化境界を導入する。 我々の境界は容易に最適化でき、学習アルゴリズムの設計に使うことができる。
  論文  参考訳（メタデータ） (2021-02-17T09:36:46Z)
• Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned Edge Learning Over Broadband Channels [69.18343801164741]
  パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。 本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
  論文  参考訳（メタデータ） (2020-10-08T15:27:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。