論文の概要: DOMINO++: Domain-aware Loss Regularization for Deep Learning
Generalizability
- arxiv url: http://arxiv.org/abs/2308.10453v1
- Date: Mon, 21 Aug 2023 03:58:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-22 15:09:45.257400
- Title: DOMINO++: Domain-aware Loss Regularization for Deep Learning
Generalizability
- Title(参考訳): domino++: ディープラーニングの一般化のためのドメインアウェアロス正規化
- Authors: Skylar E. Stolte, Kyle Volle, Aprinda Indahlastari, Alejandro Albizu,
Adam J. Woods, Kevin Brink, Matthew Hale, and Ruogu Fang
- Abstract要約: OODの一般化性に着目した二重誘導および動的ドメイン認識損失正規化であるDOMINO++を提案する。
DOMINO++はその正規化において専門家誘導とデータ誘導の知識を統合している。
その優れたパフォーマンスは、実際の臨床データに対する深層学習の信頼性の高い展開を改善する可能性を示している。
- 参考スコア(独自算出の注目度): 38.39529977679506
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Out-of-distribution (OOD) generalization poses a serious challenge for modern
deep learning (DL). OOD data consists of test data that is significantly
different from the model's training data. DL models that perform well on
in-domain test data could struggle on OOD data. Overcoming this discrepancy is
essential to the reliable deployment of DL. Proper model calibration decreases
the number of spurious connections that are made between model features and
class outputs. Hence, calibrated DL can improve OOD generalization by only
learning features that are truly indicative of the respective classes. Previous
work proposed domain-aware model calibration (DOMINO) to improve DL
calibration, but it lacks designs for model generalizability to OOD data. In
this work, we propose DOMINO++, a dual-guidance and dynamic domain-aware loss
regularization focused on OOD generalizability. DOMINO++ integrates
expert-guided and data-guided knowledge in its regularization. Unlike DOMINO
which imposed a fixed scaling and regularization rate, DOMINO++ designs a
dynamic scaling factor and an adaptive regularization rate. Comprehensive
evaluations compare DOMINO++ with DOMINO and the baseline model for head tissue
segmentation from magnetic resonance images (MRIs) on OOD data. The OOD data
consists of synthetic noisy and rotated datasets, as well as real data using a
different MRI scanner from a separate site. DOMINO++'s superior performance
demonstrates its potential to improve the trustworthy deployment of DL on real
clinical data.
- Abstract(参考訳): アウト・オブ・ディストリビューション(OOD)の一般化は、現代のディープラーニング(DL)に深刻な課題をもたらす。
OODデータは、モデルのトレーニングデータと大きく異なるテストデータで構成される。
ドメイン内のテストデータでうまく機能するDLモデルは、OODデータで苦労する可能性がある。
この矛盾を克服することは、DLの信頼性の確保に不可欠である。
適切なモデルキャリブレーションは、モデル特徴とクラス出力の間に作られるスプリアス接続の数を減らす。
したがって、校正されたDLは、各クラスに真に適応する特徴のみを学習することで、OODの一般化を改善することができる。
以前の研究では、dlキャリブレーションを改善するためにドメインアウェアモデルキャリブレーション(domino)を提案したが、oodデータのモデル一般化設計に欠けていた。
本研究では,OODの一般化性に着目した動的ドメイン認識損失正規化であるDOMINO++を提案する。
DOMINO++はその正規化において専門家誘導とデータ誘導の知識を統合している。
固定スケーリングと正規化レートを課したDOMINOとは異なり、DOMINO++は動的スケーリング係数と適応正規化レートを設計した。
総合的な評価は、DOMINO++とDOMINOを比較し、OODデータ上の磁気共鳴画像(MRI)から頭部組織セグメンテーションのベースラインモデルと比較する。
OODデータは合成ノイズと回転したデータセットと、別の場所から異なるMRIスキャナを使用して実際のデータで構成される。
DOMINO++の優れたパフォーマンスは、実際の臨床データに対するDLの信頼性の高い展開を改善する可能性を示している。
関連論文リスト
- Deep Metric Learning-Based Out-of-Distribution Detection with Synthetic Outlier Exposure [0.0]
Denoising Diffusion Probabilistic Models (DDPM) を用いたOODデータ生成のためのラベル混合手法を提案する。
実験の結果,メトリック学習に基づく損失関数はソフトマックスよりも優れていた。
提案手法は従来のOOD検出指標において高いベースラインを達成している。
論文 参考訳(メタデータ) (2024-05-01T16:58:22Z) - On Diversified Preferences of Large Language Model Alignment [51.26149027399505]
本研究では,多彩な嗜好が報酬モデルに及ぼす影響について検討する。
その結果,様々な選好データが報酬モデルのキャリブレーション性能に悪影響を及ぼすことがわかった。
本稿では,RMの校正性能を高めるための多目的リワード学習手法を提案する。
論文 参考訳(メタデータ) (2023-12-12T16:17:15Z) - Efficient Model Adaptation for Continual Learning at the Edge [15.334881190102895]
ほとんどの機械学習(ML)システムは、トレーニングとデプロイメントの間、定常的で一致したデータ分散を前提としている。
データ分布は、環境要因、センサー特性、タスク・オブ・関心などの変化により、時間とともに変化することが多い。
本稿では,ドメインシフト下での効率的な連続学習のためのアダプタ・リコンフィグレータ(EAR)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-03T23:55:17Z) - LINe: Out-of-Distribution Detection by Leveraging Important Neurons [15.797257361788812]
本稿では,分布内データとOODデータ間のモデル出力の差を解析するための新しい側面を紹介する。
本稿では,分布検出のポストホックアウトのための新しい手法であるLINe( Leveraging Important Neurons)を提案する。
論文 参考訳(メタデータ) (2023-03-24T13:49:05Z) - Out-of-distribution Detection with Implicit Outlier Transformation [72.73711947366377]
外周露光(OE)は、オフ・オブ・ディストリビューション(OOD)検出において強力である。
我々は,未確認のOOD状況に対してモデルの性能を良くする,新しいOEベースのアプローチを提案する。
論文 参考訳(メタデータ) (2023-03-09T04:36:38Z) - Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。
GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
論文 参考訳(メタデータ) (2023-02-06T16:38:43Z) - How robust are pre-trained models to distribution shift? [82.08946007821184]
自己教師付き学習(SSL)と自己エンコーダベースモデル(AE)の相互関係が相互関係に与える影響を示す。
本研究では, 線形ヘッドの潜在バイアスから事前学習したモデルの性能を分離するために, アウト・オブ・ディストリビューション(OOD)データに基づいて訓練された線形ヘッドを用いた新しい評価手法を開発した。
論文 参考訳(メタデータ) (2022-06-17T16:18:28Z) - Understanding and Testing Generalization of Deep Networks on
Out-of-Distribution Data [30.471871571256198]
ディープネットワークモデルは、In-Distributionデータでは優れた性能を発揮するが、Out-Of-Distributionデータでは著しく失敗する可能性がある。
本研究は,実験的なIDテストの問題を分析し,OODテストパラダイムを設計することを目的とする。
論文 参考訳(メタデータ) (2021-11-17T15:29:07Z) - BEDS-Bench: Behavior of EHR-models under Distributional Shift--A
Benchmark [21.040754460129854]
OOD設定下でのEHRデータ上でのMLモデルの振る舞いを定量化するベンチマークであるBEDS-Benchをリリースする。
BEDS-Bench の学習アルゴリズムを複数評価した結果,一般に分布シフト下での一般化性能の低下が判明した。
論文 参考訳(メタデータ) (2021-07-17T05:53:24Z) - Enhancing the Generalization for Intent Classification and Out-of-Domain
Detection in SLU [70.44344060176952]
インテント分類は、音声言語理解(SLU)における主要な課題である
近年の研究では、余分なデータやラベルを使用することで、OOD検出性能が向上することが示されている。
本稿では、IND意図分類とOOD検出の両方をサポートしながら、INDデータのみを用いてモデルを訓練することを提案する。
論文 参考訳(メタデータ) (2021-06-28T08:27:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。