論文の概要: Cross-Domain Transfer Learning with CoRTe: Consistent and Reliable
Transfer from Black-Box to Lightweight Segmentation Model
- arxiv url: http://arxiv.org/abs/2402.13122v1
- Date: Tue, 20 Feb 2024 16:35:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 14:30:16.640201
- Title: Cross-Domain Transfer Learning with CoRTe: Consistent and Reliable
Transfer from Black-Box to Lightweight Segmentation Model
- Title（参考訳）: CoRTeを用いたクロスドメイントランスファー学習:ブラックボックスから軽量セグメンテーションモデルへの一貫性と信頼性
- Authors: Claudia Cuttano, Antonio Tavera, Fabio Cermelli, Giuseppe Averta,
Barbara Caputo
- Abstract要約: CoRTeは、ブラックボックスソースモデルから信頼できる知識を抽出する擬似ラベリング関数である。
我々は,2つの合成から現実の環境でCoRTeをベンチマークし,ブラックボックスモデルを用いて目標データ分布の軽量モデルにおける知識を伝達する際,顕著な結果を示した。
- 参考スコア（独自算出の注目度）: 25.3403116022412
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many practical applications require training of semantic segmentation models
on unlabelled datasets and their execution on low-resource hardware.
Distillation from a trained source model may represent a solution for the first
but does not account for the different distribution of the training data.
Unsupervised domain adaptation (UDA) techniques claim to solve the domain
shift, but in most cases assume the availability of the source data or an
accessible white-box source model, which in practical applications are often
unavailable for commercial and/or safety reasons. In this paper, we investigate
a more challenging setting in which a lightweight model has to be trained on a
target unlabelled dataset for semantic segmentation, under the assumption that
we have access only to black-box source model predictions. Our method, named
CoRTe, consists of (i) a pseudo-labelling function that extracts reliable
knowledge from the black-box source model using its relative confidence, (ii) a
pseudo label refinement method to retain and enhance the novel information
learned by the student model on the target data, and (iii) a consistent
training of the model using the extracted pseudo labels. We benchmark CoRTe on
two synthetic-to-real settings, demonstrating remarkable results when using
black-box models to transfer knowledge on lightweight models for a target data
distribution.
- Abstract（参考訳）: 実用的なアプリケーションの多くは、ラベルのないデータセット上の意味セグメンテーションモデルのトレーニングと、低リソースハードウェア上での実行を必要とする。
トレーニングされたソースモデルからの蒸留は、最初のソリューションを表すかもしれないが、トレーニングデータの異なる分布を考慮しない。
教師なしドメイン適応(unsupervised domain adaptation:uda)技術はドメインシフトを解決すると主張しているが、ほとんどの場合、ソースデータやアクセス可能なホワイトボックスソースモデルが利用可能であると仮定する。
本稿では,ブラックボックスのソースモデル予測にのみアクセス可能であるという前提の下で,セマンティックセマンティックセグメンテーションを対象とする,軽量モデルをトレーニングしなければならないという,より困難な状況について検討する。
私たちのメソッドはCoRTeと呼ばれ、
(i)相対信頼度を用いてブラックボックスソースモデルから信頼できる知識を抽出する擬似ラベル機能
二 学生モデルで学習した新規情報を対象データ上に保持・強化するための擬似ラベル改質方法
(iii)抽出された擬似ラベルを用いたモデルの一貫したトレーニング。
対象データ分布の軽量モデルにおいて,ブラックボックスモデルを用いて知識を伝達する際の顕著な結果を示す。
関連論文リスト
- Incremental Pseudo-Labeling for Black-Box Unsupervised Domain Adaptation [14.596659424489223]
対象モデルの一般化能力を向上させるために,高信頼度擬似ラベルを漸進的に選択する手法を提案する。
実験により,提案手法は3つのベンチマークデータセット上で,最先端のブラックボックスによる教師なしドメイン適応性能を実現することを示した。
論文 参考訳（メタデータ） (2024-05-26T05:41:42Z) - Building a Winning Team: Selecting Source Model Ensembles using a
Submodular Transferability Estimation Approach [20.86345962679122]
公開されている事前訓練されたモデルの目標タスクへの転送可能性の推定は、伝達学習タスクにとって重要な場所となっている。
本稿では, モデルアンサンブルの下流タスクへの転送可能性を評価するために, 最適なtranSportベースのsuBmOdular tRaNsferability Metrics(OSBORN)を提案する。
論文 参考訳（メタデータ） (2023-09-05T17:57:31Z) - Curriculum Guided Domain Adaptation in the Dark [0.0]
ダークのドメイン適応は、ソースデータやソースモデルパラメータにアクセスせずに、ブラックボックスのソーストレーニングされたモデルをラベルなしのターゲットドメインに適応することを目的としている。
本稿では,対象モデルを段階的に学習するためのカリキュラム指導型適応手法であるCABBについて述べる。
本手法は,二分岐ネットワークの協調学習を利用して,確認バイアスによる誤差の蓄積を抑制する。
論文 参考訳（メタデータ） (2023-08-02T05:47:56Z) - DREAM: Domain-free Reverse Engineering Attributes of Black-box Model [51.37041886352823]
ブラックボックス対象モデルの属性をドメインに依存しないリバースエンジニアリングの新しい問題を提案する。
対象のブラックボックスモデルの属性を未知のトレーニングデータで推測するために,ドメインに依存しないモデルを学ぶ。
論文 参考訳（メタデータ） (2023-07-20T16:25:58Z) - Black-box Source-free Domain Adaptation via Two-stage Knowledge
Distillation [8.224874938178633]
ソースのないドメイン適応は、事前訓練されたソースモデルとターゲットデータのみを使用して、ディープニューラルネットワークを適用することを目的としている。
ソースモデルにアクセスするには ソースデータを漏洩する可能性がある 患者のプライバシが明らかになる
ブラックボックスのソースフリーなドメイン適応では、ソースモデルとターゲットデータの出力のみが利用可能である。
論文 参考訳（メタデータ） (2023-05-13T10:00:24Z) - TRAK: Attributing Model Behavior at Scale [79.56020040993947]
本稿では,大規模な微分モデルに対して有効かつ計算的に抽出可能なデータ属性法であるTRAK(Tracing with Randomly-trained After Kernel)を提案する。
論文 参考訳（メタデータ） (2023-03-24T17:56:22Z) - RAIN: RegulArization on Input and Network for Black-Box Domain
Adaptation [80.03883315743715]
ソースのないドメイン適応は、ソースデータを公開することなく、ソース訓練されたモデルをターゲットドメインに転送する。
このパラダイムは、ソースモデルに対する敵対的な攻撃のため、データ漏洩のリスクがある。
そこで我々は,入力レベルとネットワークレベルの両方の正規化からブラックボックスドメインを適応させる新しい手法であるRAIN(RegulArization on Input and Network)を提案する。
論文 参考訳（メタデータ） (2022-08-22T18:18:47Z) - On Universal Black-Box Domain Adaptation [53.7611757926922]
実践的な展開という観点から,ドメイン適応の最小限の制約条件について検討する。
ソースモデルのインターフェースのみがターゲットドメインで利用可能であり、2つのドメイン間のラベル空間関係が異なることや未知であることが許されている。
対象試料の局所近傍における予測の整合性によって正規化された自己訓練フレームワークに統一することを提案する。
論文 参考訳（メタデータ） (2021-04-10T02:21:09Z) - Distill and Fine-tune: Effective Adaptation from a Black-box Source
Model [138.12678159620248]
Unsupervised Domain Adapt (UDA) は、既存のラベル付きデータセット (source) の知識を新しいラベル付きデータセット (target) に転送することを目的としています。
Distill and Fine-tune (Dis-tune) という新しい二段階適応フレームワークを提案する。
論文 参考訳（メタデータ） (2021-04-04T05:29:05Z) - Do We Really Need to Access the Source Data? Source Hypothesis Transfer
for Unsupervised Domain Adaptation [102.67010690592011]
Unsupervised adaptUDA (UDA) は、ラベル付きソースデータセットから学んだ知識を活用して、新しいラベル付きドメインで同様のタスクを解決することを目的としている。
従来のUDAメソッドは、モデルに適応するためには、通常、ソースデータにアクセスする必要がある。
この作業は、訓練済みのソースモデルのみが利用できる実践的な環境に取り組み、ソースデータなしでそのようなモデルを効果的に活用してUDA問題を解決する方法に取り組みます。
論文 参考訳（メタデータ） (2020-02-20T03:13:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。