論文の概要: Holistic Transfer: Towards Non-Disruptive Fine-Tuning with Partial Target Data

• arxiv url: http://arxiv.org/abs/2311.01420v1
• Date: Thu, 2 Nov 2023 17:35:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-03 12:20:54.781360
• Title: Holistic Transfer: Towards Non-Disruptive Fine-Tuning with Partial Target Data
• Title（参考訳）: ホロスティックトランスファー:部分目標データを用いた非破壊的微調整を目指して
• Authors: Cheng-Hao Tu, Hong-You Chen, Zheda Mai, Jike Zhong, Vardaan Pahuja, Tanya Berger-Wolf, Song Gao, Charles Stewart, Yu Su, Wei-Lun Chao
• Abstract要約: 本稿では,事前学習したソースモデルを対象領域に適応させ,ソースデータに現れるすべてのクラスを分類する学習問題を提案する。 対象のエンドユーザが適応前にすべてのクラスのデータを集めるのは現実的ではないため,この問題は現実的だ。 欠落したクラスの精度を保ち、全体的な性能を向上する有効なソリューションをいくつか提示する。
• 参考スコア（独自算出の注目度）: 32.91362206231936
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We propose a learning problem involving adapting a pre-trained source model to the target domain for classifying all classes that appeared in the source data, using target data that covers only a partial label space. This problem is practical, as it is unrealistic for the target end-users to collect data for all classes prior to adaptation. However, it has received limited attention in the literature. To shed light on this issue, we construct benchmark datasets and conduct extensive experiments to uncover the inherent challenges. We found a dilemma -- on the one hand, adapting to the new target domain is important to claim better performance; on the other hand, we observe that preserving the classification accuracy of classes missing in the target adaptation data is highly challenging, let alone improving them. To tackle this, we identify two key directions: 1) disentangling domain gradients from classification gradients, and 2) preserving class relationships. We present several effective solutions that maintain the accuracy of the missing classes and enhance the overall performance, establishing solid baselines for holistic transfer of pre-trained models with partial target data.
• Abstract（参考訳）: 本稿では,事前学習したソースモデルを対象領域に適応させて,部分ラベル空間のみをカバーするターゲットデータを用いて,ソースデータに現れるクラスを分類する学習問題を提案する。 対象のエンドユーザが適応前にすべてのクラスのデータを集めるのは現実的ではないため,この問題は現実的だ。 しかし、文献にはほとんど注目されていない。 この問題を明らかにするために、ベンチマークデータセットを構築し、固有の課題を明らかにするために広範な実験を行う。 一方,新たな対象領域に適応するジレンマは,より優れた性能を主張する上で重要である。一方,対象適応データに欠落するクラスの分類精度の維持は極めて困難である。 これに取り組むために、私たちは2つの重要な方向を特定します。 1)分類勾配からドメイン勾配を分離すること、及び 2)階級関係を維持する。 本稿では,不足するクラスの精度を維持し,全体的な性能を向上させるための有効解を提案し,部分的対象データを用いた事前学習モデルの全体的移動のためのソリッドベースラインを確立する。

関連論文リスト

• Decoupling the Class Label and the Target Concept in Machine Unlearning [81.69857244976123]
  機械学習の目的は、トレーニングデータの一部を除外した再トレーニングされたモデルを近似するために、トレーニングされたモデルを調整することだ。 過去の研究では、クラスワイド・アンラーニングが対象クラスの知識を忘れることに成功していることが示された。 我々は、TARget-aware Forgetting (TARF) という一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-12T14:53:30Z)
• Pulling Target to Source: A New Perspective on Domain Adaptive Semantic Segmentation [60.78786037080524]
  ドメイン適応セマンティックセグメンテーションは、ラベル付きソースドメインからラベルなしターゲットドメインに知識を転送することを目的としています。 我々はT2S-DAを提案し、T2S-DAはドメイン適応のためのソースにターゲットを引っ張る形式として解釈する。
  論文  参考訳（メタデータ） (2023-05-23T07:09:09Z)
• Mention Annotations Alone Enable Efficient Domain Adaptation for Coreference Resolution [8.08448832546021]
  注釈付けだけでは、注釈付けが完全なコア参照チェーンの約2倍の速さであることを示す。 提案手法はアノテーション効率を向上し,アノテータ時間の増加を伴わずにF1の平均値が7～14%向上する。
  論文  参考訳（メタデータ） (2022-10-14T07:57:27Z)
• MemSAC: Memory Augmented Sample Consistency for Large Scale Unsupervised Domain Adaptation [71.4942277262067]
  本稿では,ソースドメインとターゲットドメイン間のサンプルレベルの類似性を利用して識別的転送を実現するMemSACを提案する。 我々は,MemSACの有効性に関する詳細な分析と知見を提供する。
  論文  参考訳（メタデータ） (2022-07-25T17:55:28Z)
• Labeling Where Adapting Fails: Cross-Domain Semantic Segmentation with Point Supervision via Active Selection [81.703478548177]
  セマンティックセグメンテーションに特化したトレーニングモデルは、大量のピクセル単位のアノテートデータを必要とする。 教師なしドメイン適応手法は、ラベル付きソースとラベルなしターゲットデータとの間の特徴分布の整合化を目的としている。 以前の研究は、対象データにスパース単一ピクセルアノテーションという形で、人間のインタラクションをこのプロセスに含めようと試みていた。 アクティブな選択による注釈付きポイントを用いた意味的セグメンテーションのための新しいドメイン適応フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-01T01:52:28Z)
• On Universal Black-Box Domain Adaptation [53.7611757926922]
  実践的な展開という観点から,ドメイン適応の最小限の制約条件について検討する。 ソースモデルのインターフェースのみがターゲットドメインで利用可能であり、2つのドメイン間のラベル空間関係が異なることや未知であることが許されている。 対象試料の局所近傍における予測の整合性によって正規化された自己訓練フレームワークに統一することを提案する。
  論文  参考訳（メタデータ） (2021-04-10T02:21:09Z)
• Weak Adaptation Learning -- Addressing Cross-domain Data Insufficiency with Weak Annotator [2.8672054847109134]
  一部のターゲット問題ドメインでは、学習プロセスを妨げる可能性のあるデータサンプルがあまりありません。 類似のソースドメインからのラベルなしデータを活用した弱い適応学習(wal)手法を提案する。 本実験は,対象領域に限定されたラベル付きデータを含む正確な分類器を学習する手法の有効性を示す。
  論文  参考訳（メタデータ） (2021-02-15T06:19:25Z)
• Source Data-absent Unsupervised Domain Adaptation through Hypothesis Transfer and Labeling Transfer [137.36099660616975]
  Unsupervised Adapt Adaptation (UDA) は、関連性のある異なるラベル付きソースドメインから新しいラベルなしターゲットドメインへの知識の転送を目標としている。 既存のudaメソッドの多くはソースデータへのアクセスを必要としており、プライバシ上の懸念からデータが機密で共有できない場合は適用できない。 本稿では、ソースデータにアクセスする代わりに、トレーニング済みの分類モデルのみを用いて現実的な設定に取り組むことを目的とする。
  論文  参考訳（メタデータ） (2020-12-14T07:28:50Z)
• Semi-supervised Collaborative Filtering by Text-enhanced Domain Adaptation [32.93934837792708]
  半教師付き学習課題として、疎い暗黙のフィードバックを推奨する問題を考察する。 もっとも難しいケースにフォーカスします -- ユーザや項目の重複はありません。 我々は、潜在空間を整列させるためにアンカーポイントとして、ドメイン不変のテキスト特徴を採用する。
  論文  参考訳（メタデータ） (2020-06-28T05:28:05Z)
• Progressive Graph Learning for Open-Set Domain Adaptation [48.758366879597965]
  ドメインシフトは、典型的にはソースとターゲットデータが異なる分布に従うときに発生する視覚認識の基本的な問題である。 本稿では、ターゲットデータにソースデータに存在しない追加のクラスを含むオープンセットドメインシフトのより現実的な問題に取り組む。 本稿では,その基礎となる条件シフトを抑制するために,エピソード学習を伴うグラフニューラルネットワークを統合したエンドツーエンドのプログレッシブグラフ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-22T09:10:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。