論文の概要: MetaSel: A Test Selection Approach for Fine-tuned DNN Models
- arxiv url: http://arxiv.org/abs/2503.17534v1
- Date: Fri, 21 Mar 2025 20:31:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-25 14:39:34.559451
- Title: MetaSel: A Test Selection Approach for Fine-tuned DNN Models
- Title（参考訳）: MetaSel: 微調整DNNモデルのテスト選択アプローチ
- Authors: Amin Abbasishahkoo, Mahboubeh Dadkhah, Lionel Briand, Dayi Lin,
- Abstract要約: ディープニューラルネットワーク(DNN)は、データ分散シフトによるデプロイメントの課題に直面している。
ファインチューニングは、より小さなラベル付きセットを必要とする新しいコンテキストに事前訓練されたモデルを適用する。
本稿では、ラベルなし入力からテストを選択する新しいアプローチであるMetaSelを紹介する。
- 参考スコア（独自算出の注目度）: 4.528286105252983
- License:
- Abstract: Deep Neural Networks (DNNs) face challenges during deployment due to data distribution shifts. Fine-tuning adapts pre-trained models to new contexts requiring smaller labeled sets. However, testing fine-tuned models under constrained labeling budgets remains a critical challenge. This paper introduces MetaSel, a new approach, tailored for fine-tuned DNN models, to select tests from unlabeled inputs. MetaSel assumes that fine-tuned and pre-trained models share related data distributions and exhibit similar behaviors for many inputs. However, their behaviors diverge within the input subspace where fine-tuning alters decision boundaries, making those inputs more prone to misclassification. Unlike general approaches that rely solely on the DNN model and its input set, MetaSel leverages information from both the fine-tuned and pre-trained models and their behavioral differences to estimate misclassification probability for unlabeled test inputs, enabling more effective test selection. Our extensive empirical evaluation, comparing MetaSel against 10 state-of-the-art approaches and involving 68 fine-tuned models across weak, medium, and strong distribution shifts, demonstrates that MetaSel consistently delivers significant improvements in Test Relative Coverage (TRC) over existing baselines, particularly under highly constrained labeling budgets. MetaSel shows average TRC improvements of 28.46% to 56.18% over the most frequent second-best baselines while maintaining a high TRC median and low variability. Our results confirm MetaSel's practicality, robustness, and cost-effectiveness for test selection in the context of fine-tuned models.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、データ分散シフトによるデプロイメントの課題に直面している。
ファインチューニングは、より小さなラベル付きセットを必要とする新しいコンテキストに事前訓練されたモデルを適用する。
しかし、制約付きラベル付け予算の下で微調整されたモデルをテストすることは、依然として重要な課題である。
本稿では、ラベルなし入力からテストを選択するために、微調整DNNモデルに適した新しいアプローチであるMetaSelを紹介する。
MetaSelは、微調整および事前訓練されたモデルが関連するデータ分布を共有し、多くの入力に対して同様の振る舞いを示すと仮定する。
しかし、それらの振る舞いは、細調整によって決定境界が変化する入力部分空間内で分岐し、入力が誤分類されやすい。
DNNモデルとその入力セットのみに依存する一般的なアプローチとは異なり、MetaSelは細調整されたモデルと事前訓練されたモデルの両方の情報とそれらの振る舞いの違いを利用して、ラベルなしテスト入力の誤分類確率を推定し、より効果的なテスト選択を可能にする。
私たちはMetaSelを10の最先端アプローチと比較し、弱い、中、強い分散シフトをまたいだ68の微調整モデルを含む実験的な評価を行い、MetaSelが既存のベースライン、特に高度に制約されたラベル付け予算において、テスト相対被覆(TRC)を継続的に改善していることを示した。
MetaSelは、高いTRC中央値と低い変動性を維持しながら、最も頻繁な第2ベットベースラインに対して平均TRC改善率28.46%から56.18%を示している。
実験結果から,MetaSelの実用性,ロバスト性,コスト効率を微調整モデルを用いて検証した。
関連論文リスト
- Marginal Debiased Network for Fair Visual Recognition [59.05212866862219]
本稿では,デバイアス表現を学習するための新しい限界脱バイアスネットワーク(MDN)を提案する。
我々のMDNは、表現不足のサンプルに対して顕著な性能を達成できる。
論文 参考訳（メタデータ） (2024-01-04T08:57:09Z) - Test-Time Adaptation Induces Stronger Accuracy and Agreement-on-the-Line [65.14099135546594]
最近のテスト時間適応 (TTA) 法は, モデルに非常に弱い相関関係を示すシフトであっても, ACL と AGL の傾向を大幅に強化する。
この結果から,TTAとAGLに基づく推定手法を組み合わせることで,より広い分布シフトの集合に対する高精度なモデルOOD性能を推定できることが示唆された。
論文 参考訳（メタデータ） (2023-10-07T23:21:25Z) - Continual Test-time Domain Adaptation via Dynamic Sample Selection [38.82346845855512]
本稿では,連続テスト時間領域適応(CTDA)のための動的サンプル選択法を提案する。
誤情報を誤用するリスクを低減するため,高品質と低品質の両方のサンプルに共同正負の学習を適用した。
私たちのアプローチは3Dポイントのクラウドドメインでも評価されており、その汎用性とより広範な適用可能性を示している。
論文 参考訳（メタデータ） (2023-10-05T06:35:21Z) - SRoUDA: Meta Self-training for Robust Unsupervised Domain Adaptation [25.939292305808934]
教師なしドメイン適応(UDA)は、リッチラベルデータセットから学習した知識をラベルなしターゲットデータセットに転送することができる。
本稿では,UDAモデルの対角的ロバスト性を改善するために,SRoUDAというメタ自己学習パイプラインを提案する。
論文 参考訳（メタデータ） (2022-12-12T14:25:40Z) - Meta Input: How to Leverage Off-the-Shelf Deep Neural Networks [29.975937981538664]
我々は、エンドユーザーがモデルを変更することなく、独自のテスト環境で事前訓練されたDNNモデルを活用できる新しいアプローチを導入する。
テストデータの分布をトレーニングデータと整合させる追加入力であるtextitmeta 入力を提案する。
その結果、エンドユーザは、トレーニング環境と異なるテスト環境で、よく訓練されたモデルを利用することができる。
論文 参考訳（メタデータ） (2022-10-21T02:11:38Z) - Labeling-Free Comparison Testing of Deep Learning Models [28.47632100019289]
本研究では,ラベリング作業の限界を克服し,ランダム性をサンプリングするためのラベリングフリー比較試験手法を提案する。
提案手法は,データセットや分布シフトに関わらず,Spearmanの相関値とKendallの$tau$に対して,最大0.74および0.53のベースライン手法より優れている。
論文 参考訳（メタデータ） (2022-04-08T10:55:45Z) - Predicting Out-of-Distribution Error with the Projection Norm [87.61489137914693]
射影ノルムは、地上の真理ラベルにアクセスすることなく、分布外データ上でモデルのパフォーマンスを予測する。
対数例で非自明な検出性能を実現するには,プロジェクションノルムが唯一の方法であることがわかった。
論文 参考訳（メタデータ） (2022-02-11T18:58:21Z) - RoMA: Robust Model Adaptation for Offline Model-based Optimization [115.02677045518692]
入力出力クエリの静的データセットからブラックボックス目的関数を最大化する入力を探索する問題を考える。
この問題を解決するための一般的なアプローチは、真の客観的関数を近似するプロキシモデルを維持することである。
ここでの大きな課題は、検索中に逆最適化された入力を避ける方法である。
論文 参考訳（メタデータ） (2021-10-27T05:37:12Z) - Delving Deep into Label Smoothing [112.24527926373084]
ディープニューラルネットワーク(DNN)の効果的な正規化ツールとしてのラベル平滑化
対象カテゴリのモデル予測の統計に基づいてソフトラベルを生成するオンラインラベル平滑化(OLS)戦略を提案する。
論文 参考訳（メタデータ） (2020-11-25T08:03:11Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。