論文の概要: A More Unified Theory of Transfer Learning

• arxiv url: http://arxiv.org/abs/2408.16189v1
• Date: Thu, 29 Aug 2024 01:02:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-08-30 15:25:12.154454
• Title: A More Unified Theory of Transfer Learning
• Title（参考訳）: 伝達学習のより統一された理論
• Authors: Steve Hanneke, Samory Kpotufe,
• Abstract要約: 連続性の基本的なモジュライを$delta$で表すと、多くの古典的関連性尺度の根元に現れる。 我々は、学習者がソースデータとターゲットデータの両方にアクセス可能な一般的な状況に特に関心を持っている。
• 参考スコア（独自算出の注目度）: 18.53111473571927
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We show that some basic moduli of continuity $\delta$ -- which measure how fast target risk decreases as source risk decreases -- appear to be at the root of many of the classical relatedness measures in transfer learning and related literature. Namely, bounds in terms of $\delta$ recover many of the existing bounds in terms of other measures of relatedness -- both in regression and classification -- and can at times be tighter. We are particularly interested in general situations where the learner has access to both source data and some or no target data. The unified perspective allowed by the moduli $\delta$ allow us to extend many existing notions of relatedness at once to these scenarios involving target data: interestingly, while $\delta$ itself might not be efficiently estimated, adaptive procedures exist -- based on reductions to confidence sets -- which can get nearly tight rates in terms of $\delta$ with no prior distributional knowledge. Such adaptivity to unknown $\delta$ immediately implies adaptivity to many classical relatedness notions, in terms of combined source and target samples' sizes.
• Abstract（参考訳）: ソースリスクが減少するにつれてターゲットリスクが減少する速度を測る$\delta$は、移行学習や関連文献における古典的関連性尺度の根本にあると考えられる。 つまり、$\delta$という用語のバウンダリは、回帰と分類の両方において、関連性の他の尺度で、既存のバウンダリの多くを回復し、時にはより厳密にすることができる。 我々は、学習者がソースデータとターゲットデータの両方にアクセス可能な一般的な状況に特に関心を持っている。 興味深いことに、$\delta$自身は効率的に推定されないかもしれないが、アダプティブなプロシージャは信頼集合への還元に基づいて存在する。 未知の$\delta$へのそのような適応性は、多くの古典的関連性の概念への適応性を、ソースとターゲット標本のサイズの組み合わせの観点から直ちに意味する。

関連論文リスト

• Progressive Multi-Source Domain Adaptation for Personalized Facial Expression Recognition [51.61979855488214]
  パーソナライズされた表情認識(FER)では、ラベル付きソースとラベルなしターゲットドメインのサンプルを使用して機械学習モデルを適用する。 本稿では,対象者との類似性に基づいて,段階的なMSDA手法を提案する。 実験の結果,痛覚データセットに対する提案手法の有効性が示された: Biovid と UNBC-McMaster。
  論文  参考訳（メタデータ） (2025-04-05T19:14:51Z)
• Reducing Spurious Correlation for Federated Domain Generalization [15.864230656989854]
  オープンワールドのシナリオでは、グローバルモデルは特定のメディアによってキャプチャされた全く新しいドメインデータをうまく予測するのに苦労する可能性がある。 既存の手法はまだこの問題に対処するために、サンプルとラベルの間の強い統計的相関に頼っている。 ローカルレベルとグローバルレベルでの全体的な最適化フレームワークであるFedCDを紹介します。
  論文  参考訳（メタデータ） (2024-07-27T05:06:31Z)
• Generalization Bounds of Surrogate Policies for Combinatorial Optimization Problems [61.580419063416734]
  最近の構造化学習手法のストリームは、様々な最適化問題に対する技術の実践的状態を改善している。 鍵となる考え方は、インスタンスを別々に扱うのではなく、インスタンス上の統計分布を利用することだ。 本稿では,最適化を容易にし,一般化誤差を改善するポリシを摂動することでリスクを円滑にする手法について検討する。
  論文  参考訳（メタデータ） (2024-07-24T12:00:30Z)
• S$Ω$I: Score-based O-INFORMATION Estimation [7.399561232927219]
  S$Omega$I を導入し,システムに関する制約的な仮定を伴わずに初めて O-information を計算できるようにした。 本実験は, 実世界のユースケースにおけるS$Omega$Iの有効性を実証するものである。
  論文  参考訳（メタデータ） (2024-02-08T13:38:23Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)
• Deep Anti-Regularized Ensembles provide reliable out-of-distribution uncertainty quantification [4.750521042508541]
  深層アンサンブルは、しばしばトレーニングドメインの外で過度に信頼された見積を返す。 トレーニングデータに適合する大きな重みを持つネットワークの集合は、これらの2つの目的を満たす可能性が高いことを示す。 提案手法の理論的枠組みを導出し,提案手法を「水充填問題」とみなすことができることを示す。
  論文  参考訳（メタデータ） (2023-04-08T15:25:12Z)
• On the Connection between $L_p$ and Risk Consistency and its Implications on Regularized Kernel Methods [0.0]
  本研究の目的は,リスク一貫性と損失関数のより広いクラスに対する$L_p$一貫性の密接な関係を確立することである。 この接続をシフトした損失関数に転送しようとする試みは、このシフトが、基礎となる確率測度で必要とされる仮定を、他の多くの結果と同じ程度に減らさないことを驚くほど明らかにしている。
  論文  参考訳（メタデータ） (2023-03-27T13:51:56Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• The Power and Limitation of Pretraining-Finetuning for Linear Regression under Covariate Shift [127.21287240963859]
  本研究では,対象データに基づく事前学習と微調整を併用した伝達学習手法について検討する。 大規模な線形回帰インスタンスの場合、$O(N2)$ソースデータによる転送学習は、$N$ターゲットデータによる教師あり学習と同じくらい効果的である。
  論文  参考訳（メタデータ） (2022-08-03T05:59:49Z)
• On the Generalization for Transfer Learning: An Information-Theoretic Analysis [8.102199960821165]
  一般化誤差と転帰学習アルゴリズムの過大なリスクを情報理論で解析する。 我々の結果は、おそらく予想通り、Kulback-Leibler divergenceD(mu|mu')$がキャラクタリゼーションにおいて重要な役割を果たすことを示唆している。 次に、$phi$-divergence や Wasserstein 距離といった他の発散点と結びついた相互情報を一般化する。
  論文  参考訳（メタデータ） (2022-07-12T08:20:41Z)
• A Relational Intervention Approach for Unsupervised Dynamics Generalization in Model-Based Reinforcement Learning [113.75991721607174]
  同じ環境に属する2つの推定$hatz_i, hatz_j$の確率を推定するための介入予測モジュールを導入する。 提案手法により推定される$hatZ$は,従来の方法よりも冗長な情報が少ないことを実証的に示す。
  論文  参考訳（メタデータ） (2022-06-09T15:01:36Z)
• Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma Distributions [91.63716984911278]
  このアルゴリズムは、異なるモードの適応的統合の原理における不確かさを効率的に推定し、信頼できる回帰結果を生成する。 実世界のデータと実世界のデータの両方に対する実験結果から,多モード回帰タスクにおける本手法の有効性と信頼性が示された。
  論文  参考訳（メタデータ） (2021-11-11T14:28:12Z)
• Linear Speedup in Personalized Collaborative Learning [69.45124829480106]
  フェデレート学習におけるパーソナライゼーションは、モデルのバイアスをトレーディングすることで、モデルの精度を向上させることができる。 ユーザの目的の最適化として、パーソナライズされた協調学習問題を定式化する。 分散の低減のためにバイアスを最適にトレードオフできる条件について検討する。
  論文  参考訳（メタデータ） (2021-11-10T22:12:52Z)
• Online Selective Classification with Limited Feedback [82.68009460301585]
  オンライン学習モデルにおいて、予測者がインスタンスの分類を控える可能性のある選択的分類について検討する。 私たちが考慮している設定の健全な2つの側面は、データが不可避である可能性があるため、データは不可避である可能性があるということです。 smash$tildeO(T1-mu)$ over abstention against Adaptive adversaries. smash$tildeO(T1-mu)$ incurring smash$tildeO(T1-mu)$ over abstention。
  論文  参考訳（メタデータ） (2021-10-27T08:00:53Z)
• Learning Invariant Representation with Consistency and Diversity for Semi-supervised Source Hypothesis Transfer [46.68586555288172]
  本稿では,SSHT(Semi-supervised Source hypothesis Transfer)という新たなタスクを提案する。 本研究では、ランダムに拡張された2つの未ラベルデータ間の予測整合性を容易にし、SSHTの簡易かつ効果的なフレームワークである一貫性と多様性の学習(CDL)を提案する。 実験の結果,本手法は,DomainNet,Office-Home,Office-31データセット上で,既存のSSDA手法や教師なしモデル適応手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-07-07T04:14:24Z)
• KL Guided Domain Adaptation [88.19298405363452]
  ドメイン適応は重要な問題であり、現実世界のアプリケーションにしばしば必要である。 ドメイン適応文学における一般的なアプローチは、ソースとターゲットドメインに同じ分布を持つ入力の表現を学ぶことである。 確率的表現ネットワークにより、KL項はミニバッチサンプルにより効率的に推定できることを示す。
  論文  参考訳（メタデータ） (2021-06-14T22:24:23Z)
• Adaptive transfer learning [6.574517227976925]
  バイナリ分類の文脈において、伝達学習のための柔軟なフレームワークを導入する。 本研究では,未知の転送関係の重要な側面に適応するアルゴリズムにより,最適速度が達成可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-08T15:39:43Z)
• Squared $\ell_2$ Norm as Consistency Loss for Leveraging Augmented Data to Learn Robust and Invariant Representations [76.85274970052762]
  元のサンプルと拡張されたサンプルの埋め込み/表現の距離を規則化することは、ニューラルネットワークの堅牢性を改善するための一般的なテクニックである。 本稿では、これらの様々な正規化選択について検討し、埋め込みの正規化方法の理解を深める。 私たちが特定したジェネリックアプローチ(squared $ell$ regularized augmentation)は、それぞれ1つのタスクのために特別に設計されたいくつかの手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-25T22:40:09Z)
• Dimensionality reduction, regularization, and generalization in overparameterized regressions [8.615625517708324]
  主成分回帰(主成分回帰)としても知られるPCA-OLSは次元の減少によって回避できることを示す。 OLSは任意に敵の攻撃を受けやすいが,次元性低下はロバスト性を向上させることを示す。 その結果,プロジェクションがトレーニングデータに依存する手法は,トレーニングデータとは独立にプロジェクションが選択される手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2020-11-23T15:38:50Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Self-adaptive Re-weighted Adversarial Domain Adaptation [12.73753413032972]
  自己適応型再重み付き対向ドメイン適応手法を提案する。 条件分布の観点からドメインアライメントを強化する。 実証的な証拠は、提案されたモデルが標準的なドメイン適応データセットで芸術の状態を上回ります。
  論文  参考訳（メタデータ） (2020-05-30T08:35:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。