論文の概要: Label Alignment Regularization for Distribution Shift

• arxiv url: http://arxiv.org/abs/2211.14960v4
• Date: Tue, 11 Jun 2024 16:39:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-13 01:37:54.377790
• Title: Label Alignment Regularization for Distribution Shift
• Title（参考訳）: 分散シフトのためのラベルアライメント規則化
• Authors: Ehsan Imani, Guojun Zhang, Runjia Li, Jun Luo, Pascal Poupart, Philip H. S. Torr, Yangchen Pan,
• Abstract要約: 最近の研究は、教師あり学習におけるラベルアライメント特性(LAP)を強調している。 対象領域の予測と最上位特異ベクトルとのアライメントを促進する非教師なし領域適応の正規化法を提案する。 MNIST-USPSドメイン適応や言語間感情分析などのよく知られたタスクにおいて、ドメイン適応ベースラインよりもパフォーマンスが向上したことを報告した。
• 参考スコア（独自算出の注目度）: 63.228879525056904
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work has highlighted the label alignment property (LAP) in supervised learning, where the vector of all labels in the dataset is mostly in the span of the top few singular vectors of the data matrix. Drawing inspiration from this observation, we propose a regularization method for unsupervised domain adaptation that encourages alignment between the predictions in the target domain and its top singular vectors. Unlike conventional domain adaptation approaches that focus on regularizing representations, we instead regularize the classifier to align with the unsupervised target data, guided by the LAP in both the source and target domains. Theoretical analysis demonstrates that, under certain assumptions, our solution resides within the span of the top right singular vectors of the target domain data and aligns with the optimal solution. By removing the reliance on the commonly used optimal joint risk assumption found in classic domain adaptation theory, we showcase the effectiveness of our method on addressing problems where traditional domain adaptation methods often fall short due to high joint error. Additionally, we report improved performance over domain adaptation baselines in well-known tasks such as MNIST-USPS domain adaptation and cross-lingual sentiment analysis.
• Abstract（参考訳）: 最近の研究は、教師あり学習におけるラベルアライメント特性(LAP)を強調している。 この観測からインスピレーションを得て、対象領域の予測とその頂点特異ベクトルとの整合性を促進する教師なし領域適応の正規化法を提案する。 表現の正規化に重点を置く従来のドメイン適応アプローチとは異なり、ソースドメインとターゲットドメインの両方でLAPによって導かれる教師なしのターゲットデータと整合するように分類器を正規化する。 理論的解析により、ある仮定の下では、我々の解は対象の領域データの右上特異ベクトルの範囲内にあり、最適解と整合することを示した。 古典的領域適応理論で見られる最適結合リスク仮定を除去することにより,従来の領域適応手法が高い結合誤差のためにしばしば不足する問題に対処する上で,本手法の有効性を示す。 さらに、MNIST-USPSドメイン適応や言語間感情分析などのよく知られたタスクにおいて、ドメイン適応ベースラインよりもパフォーマンスが向上したことを報告した。

関連論文リスト

• Adaptive Betweenness Clustering for Semi-Supervised Domain Adaptation [108.40945109477886]
  分類領域アライメントを実現するために,G-ABC (Adaptive Betweenness Clustering) と呼ばれる新しいSSDA手法を提案する。 提案手法は従来のSSDA手法よりも優れており,提案したG-ABCアルゴリズムの優位性を示している。
  論文  参考訳（メタデータ） (2024-01-21T09:57:56Z)
• Self-training through Classifier Disagreement for Cross-Domain Opinion Target Extraction [62.41511766918932]
  オピニオンターゲット抽出(OTE)またはアスペクト抽出(AE)は意見マイニングの基本的な課題である。 最近の研究は、現実世界のシナリオでよく見られるクロスドメインのOTEに焦点を当てている。 そこで本稿では,ドメイン固有の教師と学生のネットワークから出力されるモデルが未学習のターゲットデータと一致しない対象サンプルを選択するためのSSLアプローチを提案する。
  論文  参考訳（メタデータ） (2023-02-28T16:31:17Z)
• Domain Generalization through the Lens of Angular Invariance [44.76809026901016]
  ドメイン一般化(Domain Generalization, DG)は、複数のソースドメインで訓練された分類器を、ドメインシフトを伴う見えないターゲットドメインに一般化することを目的としている。 我々は、Angular Invariance Domain Generalization Network (AIDGN) と呼ばれる新しいディープDG手法を提案する。
  論文  参考訳（メタデータ） (2022-10-28T02:05:38Z)
• Latent Space Regularization for Unsupervised Domain Adaptation in Semantic Segmentation [14.050836886292869]
  セマンティックセグメンテーションにおけるドメインの不一致を減らすために、機能レベルの空間形成正規化戦略を紹介します。 このような手法の有効性を自律運転環境で検証する。
  論文  参考訳（メタデータ） (2021-04-06T16:07:22Z)
• Instance Level Affinity-Based Transfer for Unsupervised Domain Adaptation [74.71931918541748]
  ILA-DAと呼ばれる適応中のソースからターゲットへの転送に対するインスタンス親和性に基づく基準を提案する。 まず、ソースとターゲットをまたいだ類似および異種サンプルを抽出し、マルチサンプルのコントラスト損失を利用してドメインアライメントプロセスを駆動する信頼性が高く効率的な手法を提案する。 ILA-DAの有効性は、様々なベンチマークデータセットに対する一般的なドメイン適応手法よりも精度が一貫した改善を観察することによって検証する。
  論文  参考訳（メタデータ） (2021-04-03T01:33:14Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Discriminative Cross-Domain Feature Learning for Partial Domain Adaptation [70.45936509510528]
  部分的なドメイン適応は、より大きく多様なソースドメインからの知識を、より少ないクラス数でより小さなターゲットドメインに適応させることを目的としています。 ドメイン適応の最近の実践は、ターゲットドメインの擬似ラベルを組み込むことで、効果的な特徴を抽出する。 ターゲットデータを少数のソースデータのみにアライメントすることが不可欠である。
  論文  参考訳（メタデータ） (2020-08-26T03:18:53Z)
• Discriminative Feature Alignment: Improving Transferability of Unsupervised Domain Adaptation by Gaussian-guided Latent Alignment [27.671964294233756]
  本研究では,ラベル付きデータ領域から近似推論モデルを学習するための教師なし領域適応問題に着目した。 教師なしのドメイン適応の成功は、主にクロスドメイン機能アライメントに依存している。 本稿では,2つの領域の潜在特徴分布を事前分布の導出の下で整列するガウス誘導型潜時アライメント手法を提案する。 そのような間接的な方法では、2つの領域からのサンプル上の分布は共通の特徴空間、すなわち前の領域の空間上に構築される。
  論文  参考訳（メタデータ） (2020-06-23T05:33:54Z)
• Domain Adaptation by Class Centroid Matching and Local Manifold Self-Learning [8.316259570013813]
  本稿では,対象領域のデータ分散構造を徹底的に探索できる新しい領域適応手法を提案する。 対象領域内の同一クラスタ内のサンプルを個人ではなく全体とみなし、クラスセントロイドマッチングにより擬似ラベルを対象クラスタに割り当てる。 提案手法の目的関数を理論的収束保証を用いて解くために,効率的な反復最適化アルゴリズムを設計した。
  論文  参考訳（メタデータ） (2020-03-20T16:59:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。