論文の概要: Bridging Domains with Approximately Shared Features

• arxiv url: http://arxiv.org/abs/2403.06424v1
• Date: Mon, 11 Mar 2024 04:25:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-12 20:24:18.793071
• Title: Bridging Domains with Approximately Shared Features
• Title（参考訳）: 約共有特徴を持つブリッジドメイン
• Authors: Ziliang Samuel Zhong, Xiang Pan, Qi Lei
• Abstract要約: マルチソースドメイン適応は、未知のドメインに機械学習モデルを適用する際のパフォーマンス劣化を低減することを目的としている。 ソースドメインから不変の機能を学ぶことを支持する者もいれば、より多様な機能を好む者もいる。 本稿では,それらの相関関係のばらつきに基づいて特徴の効用を識別し,ドメイン間で$y$のラベルを付ける統計フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 26.096779584142986
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-source domain adaptation aims to reduce performance degradation when applying machine learning models to unseen domains. A fundamental challenge is devising the optimal strategy for feature selection. Existing literature is somewhat paradoxical: some advocate for learning invariant features from source domains, while others favor more diverse features. To address the challenge, we propose a statistical framework that distinguishes the utilities of features based on the variance of their correlation to label $y$ across domains. Under our framework, we design and analyze a learning procedure consisting of learning approximately shared feature representation from source tasks and fine-tuning it on the target task. Our theoretical analysis necessitates the importance of learning approximately shared features instead of only the strictly invariant features and yields an improved population risk compared to previous results on both source and target tasks, thus partly resolving the paradox mentioned above. Inspired by our theory, we proposed a more practical way to isolate the content (invariant+approximately shared) from environmental features and further consolidate our theoretical findings.
• Abstract（参考訳）: マルチソースドメイン適応は、未知のドメインに機械学習モデルを適用する際のパフォーマンス劣化を低減することを目的としている。 基本的な課題は、機能選択のための最適な戦略を考案することだ。 ソースドメインから不変な特徴を学ぶことを提唱する者もいれば、より多様な特徴を好む者もいる。 この課題に対処するために,各ドメイン間のラベル$y$との相関関係のばらつきに基づいて特徴の効用を識別する統計的枠組みを提案する。 本フレームワークでは,ソースタスクからほぼ共有された特徴表現を学習し,ターゲットタスクで微調整する学習手順を設計し,分析する。 本理論解析は,厳密な不変特徴のみでなく,概ね共有された特徴を学習することの重要性を前提とし,先述のパラドックスを部分的に解き明かした。 この理論に触発されて我々は,より実用的なコンテンツ(不変+近似共有)を環境特性から分離する方法を提案し,理論的な知見をさらに統合した。

関連論文リスト

• Causality-inspired Latent Feature Augmentation for Single Domain Generalization [13.735443005394773]
  単一ドメインの一般化(Single-DG)は、単一のトレーニングドメインのみを持つ一般化可能なモデルを開発し、他の未知のターゲットドメインでうまく機能させることを目的としている。 ドメイン・ハングリー構成の下で、ソース・ドメインのカバレッジを拡大し、異なる分布にまたがる固有の因果的特徴を見つける方法がモデルの一般化能力を高める鍵となる。 本稿では、因果学習と介入に基づく特徴レベルの変換のメタ知識を学習することで、単一DGの因果性に着想を得た潜在機能拡張手法を提案する。
  論文  参考訳（メタデータ） (2024-06-10T02:42:25Z)
• Generalization Performance of Transfer Learning: Overparameterized and Underparameterized Regimes [61.22448274621503]
  現実世界のアプリケーションでは、タスクは部分的な類似性を示し、あるアスペクトは似ているが、他のアスペクトは異なるか無関係である。 本研究は,パラメータ伝達の2つの選択肢を包含して,多種多様な移動学習について検討する。 一般化性能を向上させるために,共通部分とタスク特化部分の特徴数を決定するための実践的ガイドラインを提供する。
  論文  参考訳（メタデータ） (2023-06-08T03:08:40Z)
• Multi-task Bias-Variance Trade-off Through Functional Constraints [102.64082402388192]
  マルチタスク学習は、多様なタスクによく機能する関数の集合を取得することを目的としている。 本稿では,2つの極端な学習シナリオ,すなわちすべてのタスクに対する単一関数と,他のタスクを無視するタスク固有関数から直感を抽出する。 本稿では,集中関数に対するドメイン固有解を強制する制約付き学習定式化を導入する。
  論文  参考訳（メタデータ） (2022-10-27T16:06:47Z)
• Overcoming Shortcut Learning in a Target Domain by Generalizing Basic Visual Factors from a Source Domain [7.012240324005977]
  ショートカット学習は、深層ニューラルネットワークが下流タスクを解決するためにトレーニングデータセットの急激な相関に過度に依存する場合に発生する。 制御不能な対象領域におけるショートカット学習を緩和する新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-07-20T16:05:32Z)
• Variational Disentanglement for Domain Generalization [68.85458536180437]
  本稿では,変分拡散ネットワーク(VDN)という効果的なフレームワークを提供することにより,領域一般化の課題に取り組むことを提案する。 VDNは、ドメイン固有の機能とタスク固有の機能を切り離し、タスク固有のフィーチャは、見えないが関連するテストデータにより良い一般化が期待できる。
  論文  参考訳（メタデータ） (2021-09-13T09:55:32Z)
• On the Fundamental Trade-offs in Learning Invariant Representations [7.868449549351487]
  データとそれに対応するターゲットとセマンティック属性間の統計的依存関係によって引き起こされるユーティリティとセマンティック依存の2つの基本的なトレードオフを特定し、決定する。 本稿では,代表問題に対するトレードオフを数値的に定量化し,ベースライン表現学習アルゴリズムによる解と比較する。
  論文  参考訳（メタデータ） (2021-09-08T01:26:46Z)
• Ensemble Making Few-Shot Learning Stronger [4.17701749612924]
  本稿では,差分低減のためのアンサンブル手法について検討し,関係レベルの特徴をキャリブレーションするための微調整と特徴的注意戦略を提案する。 数ショットの相関学習タスクの結果、我々のモデルは従来の最先端モデルよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2021-05-12T17:11:10Z)
• Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
  多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。 ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。 分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
  論文  参考訳（メタデータ） (2020-12-19T15:24:04Z)
• Learning to Combine: Knowledge Aggregation for Multi-Source Domain Adaptation [56.694330303488435]
  マルチソースドメイン適応(LtC-MSDA)フレームワークを併用する学習法を提案する。 簡単に言うと、知識グラフは様々なドメインのプロトタイプ上に構築され、セマンティックに隣接した表現間の情報伝達を実現する。 我々のアプローチは、既存の手法よりも顕著なマージンで優れています。
  論文  参考訳（メタデータ） (2020-07-17T07:52:44Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。