論文の概要: Adaptive Sample Aggregation In Transfer Learning

• arxiv url: http://arxiv.org/abs/2408.16189v2
• Date: Mon, 28 Apr 2025 03:15:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:51.97268
• Title: Adaptive Sample Aggregation In Transfer Learning
• Title（参考訳）: 伝達学習における適応的サンプル集約
• Authors: Steve Hanneke, Samory Kpotufe,
• Abstract要約: 分類タスクと回帰タスクにまたがって提案された相違点の族はいずれも、ソースとターゲットのリスクの間の連続性の同じ尺度を上向きに設定する。 次に、ソースデータとターゲットデータの集約が、ソースデータとターゲットデータの両方で可能な範囲を超えて、ターゲットのパフォーマンスを大幅に改善できる状況に目を向けます。
• 参考スコア（独自算出の注目度）: 18.53111473571927
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transfer Learning aims to optimally aggregate samples from a target distribution, with related samples from a so-called source distribution to improve target risk. Multiple procedures have been proposed over the last two decades to address this problem, each driven by one of a multitude of possible divergence measures between source and target distributions. A first question asked in this work is whether there exist unified algorithmic approaches that automatically adapt to many of these divergence measures simultaneously. We show that this is indeed the case for a large family of divergences proposed across classification and regression tasks, as they all happen to upper-bound the same measure of continuity between source and target risks, which we refer to as a weak modulus of transfer. This more unified view allows us, first, to identify algorithmic approaches that are simultaneously adaptive to these various divergence measures via a reduction to particular confidence sets. Second, it allows for a more refined understanding of the statistical limits of transfer under such divergences, and in particular, reveals regimes with faster rates than might be expected under coarser lenses. We then turn to situations that are not well captured by the weak modulus and corresponding divergences: these are situations where the aggregate of source and target data can improve target performance significantly beyond what's possible with either source or target data alone. We show that common such situations -- as may arise, e.g., under certain causal models with spurious correlations -- are well described by a so-called strong modulus of transfer which supersedes the weak modulus. We finally show that the strong modulus also admits adaptive procedures, which achieve near optimal rates in terms of the unknown strong modulus, and therefore apply in more general settings.
• Abstract（参考訳）: Transfer Learningは、ターゲット分布からのサンプルを最適に集約し、いわゆるソース分布からの関連サンプルを用いてターゲットリスクを改善することを目的としている。 この問題に対処するために、過去20年間に複数の手順が提案されてきた。 この研究で質問された最初の質問は、これらのばらつき対策の多くに自動的に適応する統一的なアルゴリズムアプローチが存在するかどうかである。 このことは、分類や回帰タスクにまたがって提案された多種多種多種多種多種多種多種多種多種多種多種多種多種多種多種多種多種多種多種多種多種多種多種多種多型であり、これらはいずれも、ソースとターゲットのリスクの連続性の同じ尺度を上界に有するものであることを示す。 このより統一された視点は、まず、特定の信頼セットへの還元を通じて、これらの様々な分散対策に同時に適応するアルゴリズム的アプローチを特定することができる。 第二に、これらの発散の下での移動の統計的限界のより洗練された理解を可能にし、特に、粗いレンズで予想されるよりも速い速度でレジームを明らかにする。 これらは、ソースデータとターゲットデータの集約が、ソースデータとターゲットデータの両方で可能な範囲を超えて、ターゲットパフォーマンスを大幅に改善できる状況です。 このような一般的な状況、例えば、スパイラルな相関を持つ特定の因果モデルの下で発生するような状況は、弱い係数に取って代わるいわゆる強い移動率によってよく説明される。 最終的に、強い弾性率もまた、未知の強い弾性率の観点からほぼ最適な速度を達成する適応的な手順を許容しており、したがってより一般的な設定で適用可能であることを示す。

関連論文リスト

• Progressive Multi-Source Domain Adaptation for Personalized Facial Expression Recognition [51.61979855488214]
  パーソナライズされた表情認識(FER)では、ラベル付きソースとラベルなしターゲットドメインのサンプルを使用して機械学習モデルを適用する。 本稿では,対象者との類似性に基づいて,段階的なMSDA手法を提案する。 実験の結果,痛覚データセットに対する提案手法の有効性が示された: Biovid と UNBC-McMaster。
  論文  参考訳（メタデータ） (2025-04-05T19:14:51Z)
• Reducing Spurious Correlation for Federated Domain Generalization [15.864230656989854]
  オープンワールドのシナリオでは、グローバルモデルは特定のメディアによってキャプチャされた全く新しいドメインデータをうまく予測するのに苦労する可能性がある。 既存の手法はまだこの問題に対処するために、サンプルとラベルの間の強い統計的相関に頼っている。 ローカルレベルとグローバルレベルでの全体的な最適化フレームワークであるFedCDを紹介します。
  論文  参考訳（メタデータ） (2024-07-27T05:06:31Z)
• Generalization Bounds of Surrogate Policies for Combinatorial Optimization Problems [61.580419063416734]
  最近の構造化学習手法のストリームは、様々な最適化問題に対する技術の実践的状態を改善している。 鍵となる考え方は、インスタンスを別々に扱うのではなく、インスタンス上の統計分布を利用することだ。 本稿では,最適化を容易にし,一般化誤差を改善するポリシを摂動することでリスクを円滑にする手法について検討する。
  論文  参考訳（メタデータ） (2024-07-24T12:00:30Z)
• S$Ω$I: Score-based O-INFORMATION Estimation [7.399561232927219]
  S$Omega$I を導入し,システムに関する制約的な仮定を伴わずに初めて O-information を計算できるようにした。 本実験は, 実世界のユースケースにおけるS$Omega$Iの有効性を実証するものである。
  論文  参考訳（メタデータ） (2024-02-08T13:38:23Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)
• Deep Anti-Regularized Ensembles provide reliable out-of-distribution uncertainty quantification [4.750521042508541]
  深層アンサンブルは、しばしばトレーニングドメインの外で過度に信頼された見積を返す。 トレーニングデータに適合する大きな重みを持つネットワークの集合は、これらの2つの目的を満たす可能性が高いことを示す。 提案手法の理論的枠組みを導出し,提案手法を「水充填問題」とみなすことができることを示す。
  論文  参考訳（メタデータ） (2023-04-08T15:25:12Z)
• On the Connection between $L_p$ and Risk Consistency and its Implications on Regularized Kernel Methods [0.0]
  本研究の目的は,リスク一貫性と損失関数のより広いクラスに対する$L_p$一貫性の密接な関係を確立することである。 この接続をシフトした損失関数に転送しようとする試みは、このシフトが、基礎となる確率測度で必要とされる仮定を、他の多くの結果と同じ程度に減らさないことを驚くほど明らかにしている。
  論文  参考訳（メタデータ） (2023-03-27T13:51:56Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• The Power and Limitation of Pretraining-Finetuning for Linear Regression under Covariate Shift [127.21287240963859]
  本研究では,対象データに基づく事前学習と微調整を併用した伝達学習手法について検討する。 大規模な線形回帰インスタンスの場合、$O(N2)$ソースデータによる転送学習は、$N$ターゲットデータによる教師あり学習と同じくらい効果的である。
  論文  参考訳（メタデータ） (2022-08-03T05:59:49Z)
• On the Generalization for Transfer Learning: An Information-Theoretic Analysis [8.102199960821165]
  一般化誤差と転帰学習アルゴリズムの過大なリスクを情報理論で解析する。 我々の結果は、おそらく予想通り、Kulback-Leibler divergenceD(mu|mu')$がキャラクタリゼーションにおいて重要な役割を果たすことを示唆している。 次に、$phi$-divergence や Wasserstein 距離といった他の発散点と結びついた相互情報を一般化する。
  論文  参考訳（メタデータ） (2022-07-12T08:20:41Z)
• A Relational Intervention Approach for Unsupervised Dynamics Generalization in Model-Based Reinforcement Learning [113.75991721607174]
  同じ環境に属する2つの推定$hatz_i, hatz_j$の確率を推定するための介入予測モジュールを導入する。 提案手法により推定される$hatZ$は,従来の方法よりも冗長な情報が少ないことを実証的に示す。
  論文  参考訳（メタデータ） (2022-06-09T15:01:36Z)
• Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma Distributions [91.63716984911278]
  このアルゴリズムは、異なるモードの適応的統合の原理における不確かさを効率的に推定し、信頼できる回帰結果を生成する。 実世界のデータと実世界のデータの両方に対する実験結果から,多モード回帰タスクにおける本手法の有効性と信頼性が示された。
  論文  参考訳（メタデータ） (2021-11-11T14:28:12Z)
• Linear Speedup in Personalized Collaborative Learning [69.45124829480106]
  フェデレート学習におけるパーソナライゼーションは、モデルのバイアスをトレーディングすることで、モデルの精度を向上させることができる。 ユーザの目的の最適化として、パーソナライズされた協調学習問題を定式化する。 分散の低減のためにバイアスを最適にトレードオフできる条件について検討する。
  論文  参考訳（メタデータ） (2021-11-10T22:12:52Z)
• Online Selective Classification with Limited Feedback [82.68009460301585]
  オンライン学習モデルにおいて、予測者がインスタンスの分類を控える可能性のある選択的分類について検討する。 私たちが考慮している設定の健全な2つの側面は、データが不可避である可能性があるため、データは不可避である可能性があるということです。 smash$tildeO(T1-mu)$ over abstention against Adaptive adversaries. smash$tildeO(T1-mu)$ incurring smash$tildeO(T1-mu)$ over abstention。
  論文  参考訳（メタデータ） (2021-10-27T08:00:53Z)
• Learning Invariant Representation with Consistency and Diversity for Semi-supervised Source Hypothesis Transfer [46.68586555288172]
  本稿では,SSHT(Semi-supervised Source hypothesis Transfer)という新たなタスクを提案する。 本研究では、ランダムに拡張された2つの未ラベルデータ間の予測整合性を容易にし、SSHTの簡易かつ効果的なフレームワークである一貫性と多様性の学習(CDL)を提案する。 実験の結果,本手法は,DomainNet,Office-Home,Office-31データセット上で,既存のSSDA手法や教師なしモデル適応手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-07-07T04:14:24Z)
• KL Guided Domain Adaptation [88.19298405363452]
  ドメイン適応は重要な問題であり、現実世界のアプリケーションにしばしば必要である。 ドメイン適応文学における一般的なアプローチは、ソースとターゲットドメインに同じ分布を持つ入力の表現を学ぶことである。 確率的表現ネットワークにより、KL項はミニバッチサンプルにより効率的に推定できることを示す。
  論文  参考訳（メタデータ） (2021-06-14T22:24:23Z)
• Adaptive transfer learning [6.574517227976925]
  バイナリ分類の文脈において、伝達学習のための柔軟なフレームワークを導入する。 本研究では,未知の転送関係の重要な側面に適応するアルゴリズムにより,最適速度が達成可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-08T15:39:43Z)
• Squared $\ell_2$ Norm as Consistency Loss for Leveraging Augmented Data to Learn Robust and Invariant Representations [76.85274970052762]
  元のサンプルと拡張されたサンプルの埋め込み/表現の距離を規則化することは、ニューラルネットワークの堅牢性を改善するための一般的なテクニックである。 本稿では、これらの様々な正規化選択について検討し、埋め込みの正規化方法の理解を深める。 私たちが特定したジェネリックアプローチ(squared $ell$ regularized augmentation)は、それぞれ1つのタスクのために特別に設計されたいくつかの手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-25T22:40:09Z)
• Dimensionality reduction, regularization, and generalization in overparameterized regressions [8.615625517708324]
  主成分回帰(主成分回帰)としても知られるPCA-OLSは次元の減少によって回避できることを示す。 OLSは任意に敵の攻撃を受けやすいが,次元性低下はロバスト性を向上させることを示す。 その結果,プロジェクションがトレーニングデータに依存する手法は,トレーニングデータとは独立にプロジェクションが選択される手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2020-11-23T15:38:50Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Self-adaptive Re-weighted Adversarial Domain Adaptation [12.73753413032972]
  自己適応型再重み付き対向ドメイン適応手法を提案する。 条件分布の観点からドメインアライメントを強化する。 実証的な証拠は、提案されたモデルが標準的なドメイン適応データセットで芸術の状態を上回ります。
  論文  参考訳（メタデータ） (2020-05-30T08:35:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。