論文の概要: Adaptive transfer learning

• arxiv url: http://arxiv.org/abs/2106.04455v1
• Date: Tue, 8 Jun 2021 15:39:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-09 21:02:23.718943
• Title: Adaptive transfer learning
• Title（参考訳）: 適応的伝達学習
• Authors: Henry W. J. Reeve, Timothy I. Cannings, Richard J. Samworth
• Abstract要約: バイナリ分類の文脈において、伝達学習のための柔軟なフレームワークを導入する。 本研究では,未知の転送関係の重要な側面に適応するアルゴリズムにより,最適速度が達成可能であることを示す。
• 参考スコア（独自算出の注目度）: 6.574517227976925
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In transfer learning, we wish to make inference about a target population when we have access to data both from the distribution itself, and from a different but related source distribution. We introduce a flexible framework for transfer learning in the context of binary classification, allowing for covariate-dependent relationships between the source and target distributions that are not required to preserve the Bayes decision boundary. Our main contributions are to derive the minimax optimal rates of convergence (up to poly-logarithmic factors) in this problem, and show that the optimal rate can be achieved by an algorithm that adapts to key aspects of the unknown transfer relationship, as well as the smoothness and tail parameters of our distributional classes. This optimal rate turns out to have several regimes, depending on the interplay between the relative sample sizes and the strength of the transfer relationship, and our algorithm achieves optimality by careful, decision tree-based calibration of local nearest-neighbour procedures.
• Abstract（参考訳）: トランスファーラーニングでは、分布自体からのデータと、異なるが関連するソースの分布の両方からデータにアクセス可能な場合、ターゲットの集団について推論をしたい。 本稿では,二項分類の文脈における伝達学習のためのフレキシブルなフレームワークを導入し,ベイズ決定境界を維持するのに不要なソースとターゲット分布間の共変量依存的な関係を実現する。 我々の主な貢献は、この問題における最小収束率(多対数因子による)を導出することであり、最適な速度は、未知の伝達関係の重要な側面に適応するアルゴリズムと、分布クラスにおける滑らかさとテールパラメータによって達成できることを示した。 この最適速度は, 相対的なサンプルサイズと移動関係の強度の相互作用に依拠し, 決定木に基づく局所近傍手順のキャリブレーションを慎重に行うことにより, 最適性が得られることがわかった。

関連論文リスト

• Uncertainty Quantification via Stable Distribution Propagation [60.065272548502]
  本稿では,ニューラルネットワークによる安定確率分布の伝播手法を提案する。 提案手法は局所線形化に基づいており,ReLU非線型性に対する全変動距離の近似値として最適であることを示す。
  論文  参考訳（メタデータ） (2024-02-13T09:40:19Z)
• A Class-aware Optimal Transport Approach with Higher-Order Moment Matching for Unsupervised Domain Adaptation [33.712557972990034]
  Unsupervised domain adapt (UDA) は、ラベル付きソースドメインからラベル付きターゲットドメインに知識を転送することを目的としている。 本稿では,クラス対応最適輸送(OT)と呼ばれる新しい手法を導入し,ソースのクラス条件分布上の分布間のOT距離を計測する。
  論文  参考訳（メタデータ） (2024-01-29T08:27:31Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Robust Transfer Learning with Unreliable Source Data [13.276850367115333]
  対象関数とソース回帰関数との差を測定する「あいまい度レベル」と呼ばれる新しい量を導入する。 本稿では, 簡単な伝達学習手法を提案し, この新しい量が学習の伝達可能性にどのように関係しているかを示す一般的な定理を確立する。
  論文  参考訳（メタデータ） (2023-10-06T21:50:21Z)
• Compressed Regression over Adaptive Networks [58.79251288443156]
  分散エージェントのネットワークによって達成可能な性能を導出し,通信制約や回帰問題を解消し,適応的に解決する。 エージェントによって最適化に必要なパラメータをオンラインで学習できる最適化アロケーション戦略を考案する。
  論文  参考訳（メタデータ） (2023-04-07T13:41:08Z)
• Variance-Reduced Heterogeneous Federated Learning via Stratified Client Selection [31.401919362978017]
  本稿では,収束性の向上と精度の向上を図るため,新たな階層化クライアント選択方式を提案する。 地層変動の多様性を考慮し,最適化されたサンプルサイズ割当方式を提案する。 実験結果から,本手法は最先端の手法と比較して性能が向上するだけでなく,一般的なFLアルゴリズムと互換性があることが確認された。
  論文  参考訳（メタデータ） (2022-01-15T05:41:36Z)
• A Variational Bayesian Approach to Learning Latent Variables for Acoustic Knowledge Transfer [55.20627066525205]
  本稿では,ディープニューラルネットワーク(DNN)モデルにおける潜伏変数の分布を学習するための変分ベイズ(VB)アプローチを提案する。 我々の提案するVBアプローチは,ターゲットデバイスにおいて良好な改善が得られ,しかも,13の最先端知識伝達アルゴリズムを一貫して上回っている。
  論文  参考訳（メタデータ） (2021-10-16T15:54:01Z)
• Score-based Generative Neural Networks for Large-Scale Optimal Transport [15.666205208594565]
  場合によっては、最適な輸送計画は、ソースサポートからターゲットサポートへの1対1のマッピングの形を取る。 代わりに、ソースとターゲット分布のカップリングを解いた最適輸送の正規化形態であるシンクホーン問題について検討する。 本稿では,2つの分布間のシンクホーン結合をスコアベース生成モデルで学習するための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2021-10-07T07:45:39Z)
• Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
  変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:00:24Z)
• Learning Calibrated Uncertainties for Domain Shift: A Distributionally Robust Learning Approach [150.8920602230832]
  ドメインシフトの下で校正された不確実性を学習するためのフレームワークを提案する。 特に、密度比推定は、ターゲット(テスト)サンプルの近さをソース(トレーニング)分布に反映する。 提案手法は下流タスクに有利な校正不確実性を生成する。
  論文  参考訳（メタデータ） (2020-10-08T02:10:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。