論文の概要: Learning to Transfer with von Neumann Conditional Divergence

• arxiv url: http://arxiv.org/abs/2108.03531v1
• Date: Sat, 7 Aug 2021 22:18:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-10 15:47:19.315221
• Title: Learning to Transfer with von Neumann Conditional Divergence
• Title（参考訳）: von Neumann条件分岐を用いた移動学習
• Authors: Ammar Shaker and Shujian Yu
• Abstract要約: 我々は、複数の領域間の転送可能性を改善するために、最近提案されたフォン・ノイマン条件分岐を導入する。 本研究では,これらの課題が同時に,あるいは逐次的に観察されることを前提として,新たな学習目標を設計する。 どちらのシナリオでも、新しいタスクの一般化誤差が小さく、(シーケンシャルな設定で)ソースタスクを忘れないという点で、最先端のメソッドに対して好ましい性能が得られる。
• 参考スコア（独自算出の注目度）: 14.926485055255942
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The similarity of feature representations plays a pivotal role in the success of domain adaptation and generalization. Feature similarity includes both the invariance of marginal distributions and the closeness of conditional distributions given the desired response $y$ (e.g., class labels). Unfortunately, traditional methods always learn such features without fully taking into consideration the information in $y$, which in turn may lead to a mismatch of the conditional distributions or the mix-up of discriminative structures underlying data distributions. In this work, we introduce the recently proposed von Neumann conditional divergence to improve the transferability across multiple domains. We show that this new divergence is differentiable and eligible to easily quantify the functional dependence between features and $y$. Given multiple source tasks, we integrate this divergence to capture discriminative information in $y$ and design novel learning objectives assuming those source tasks are observed either simultaneously or sequentially. In both scenarios, we obtain favorable performance against state-of-the-art methods in terms of smaller generalization error on new tasks and less catastrophic forgetting on source tasks (in the sequential setup).
• Abstract（参考訳）: 特徴表現の類似性は、ドメイン適応と一般化の成功において重要な役割を果たす。 特徴の類似性は、境界分布の不分散と条件分布の近さの両方を含み、希望する応答が$y$(例えばクラスラベル)である。 残念なことに、従来のメソッドは常に$y$の情報を考慮せずにそのような特徴を学習し、結果として条件分布のミスマッチや、データ分布の根底にある差別的構造が混在する可能性がある。 本研究では,最近提案されたフォン・ノイマン条件分岐を導入し,複数の領域間の遷移性を改善する。 この新しい分岐は微分可能であり、機能間の機能依存度や$y$を簡単に定量化することができる。 複数のソースタスクが与えられた場合、この分散性を統合して識別情報を$y$で取得し、それらのソースタスクが同時に、あるいは逐次的に観察されていることを前提に、新しい学習目標を設計する。 どちらのシナリオでも、新しいタスクの一般化誤差が小さく、ソースタスク(シーケンシャルな設定)を忘れないという点で、最先端のメソッドに対して好ましい性能が得られる。

関連論文リスト

• Proxy Methods for Domain Adaptation [78.03254010884783]
  プロキシ変数は、遅延変数を明示的にリカバリしたりモデル化したりすることなく、分散シフトへの適応を可能にする。 両設定の複雑な分散シフトに適応する2段階のカーネル推定手法を開発した。
  論文  参考訳（メタデータ） (2024-03-12T09:32:41Z)
• Transductive conformal inference with adaptive scores [3.591224588041813]
  トランスダクティブな設定では、テストのサンプルとして$m$の新たなポイントが決定されます。 本研究はP'olya urnモデルに従い, 実験分布関数の濃度不等式を確立することを目的とする。 本研究では,2つの機械学習タスクに対して一様かつ不確率な保証を行うことにより,これらの理論的結果の有用性を示す。
  論文  参考訳（メタデータ） (2023-10-27T12:48:30Z)
• Multi-task Bias-Variance Trade-off Through Functional Constraints [102.64082402388192]
  マルチタスク学習は、多様なタスクによく機能する関数の集合を取得することを目的としている。 本稿では,2つの極端な学習シナリオ,すなわちすべてのタスクに対する単一関数と,他のタスクを無視するタスク固有関数から直感を抽出する。 本稿では,集中関数に対するドメイン固有解を強制する制約付き学習定式化を導入する。
  論文  参考訳（メタデータ） (2022-10-27T16:06:47Z)
• Function-space regularized R\'enyi divergences [6.221019624345409]
  変分関数空間によってパラメトリズされた正則化 R'enyi divergences の新しい族を提案する。 これらの新しい発散のいくつかの性質を証明し、古典的な R'enyi 発散と IPM 間を補間していることを示す。 提案した正規化 R'enyi は、絶対連続でない分布を比較する能力など、IMM から特徴を継承することを示した。
  論文  参考訳（メタデータ） (2022-10-10T19:18:04Z)
• Information Processing Equalities and the Information-Risk Bridge [10.451984251615512]
  本稿では,統計実験のための2つの新しい情報尺度について紹介する。 我々は,情報量測定と統計的決定問題のベイズリスクとの簡単な幾何学的関係を導出する。
  論文  参考訳（メタデータ） (2022-07-25T08:54:36Z)
• Predicting with Confidence on Unseen Distributions [90.68414180153897]
  ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。 分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。 具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
  論文  参考訳（メタデータ） (2021-07-07T15:50:18Z)
• $(f,\Gamma)$-Divergences: Interpolating between $f$-Divergences and Integral Probability Metrics [6.221019624345409]
  我々は、$f$-divergences と積分確率メトリクス(IPMs)の両方を仮定する情報理論の分岐を構築するためのフレームワークを開発する。 2段階の質量再分配/物質輸送プロセスとして表現できることが示される。 統計的学習を例として,重み付き,絶対連続的なサンプル分布に対するGAN(generative adversarial network)の訓練において,その優位性を示す。
  論文  参考訳（メタデータ） (2020-11-11T18:17:09Z)
• Removing Bias in Multi-modal Classifiers: Regularization by Maximizing Functional Entropies [88.0813215220342]
  いくつかのモダリティは、他のものよりも分類結果に容易に寄与することができる。 機能的エントロピーと機能的フィッシャー情報とを結合した対数ソボレフの不等式に基づく手法を開発した。 VQA-CPv2 と SocialIQ の2つの挑戦的マルチモーダルデータセットに対して,より均一にモダリティを活用しながら,最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-10-21T07:40:33Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Few-shot Domain Adaptation by Causal Mechanism Transfer [107.08605582020866]
  我々は,少数のラベル付き対象ドメインデータと多数のラベル付きソースドメインデータしか利用できないレグレッション問題に対して,数ショットの教師付きドメイン適応(DA)について検討する。 現在のDA法の多くは、パラメータ化された分布シフトまたは明らかな分布類似性に基づく転送仮定に基づいている。 本稿では,データ生成機構がドメイン間で不変であるメタ分散シナリオであるメカニズム転送を提案する。
  論文  参考訳（メタデータ） (2020-02-10T02:16:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。