論文の概要: Reliability-Aware Checkpoint Selection for Domain Generalization
- arxiv url: http://arxiv.org/abs/2609.39934v2
- Date: Mon, 05 Oct 2026 06:54:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-07 04:43:28.473348
- Title: Reliability-Aware Checkpoint Selection for Domain Generalization
- Title(参考訳): 信頼性を考慮した領域一般化のためのチェックポイント選択
- Abstract要約: 精度制約付き信頼性選択(AC)について検討する。
ACは、最適なソースバリデーション精度の許容範囲内にチェックポイントを保持し、ソース信頼性でランク付けする。
ACは目標データを使用しず、追加のトレーニングも重量平均化も必要としない。
- 参考スコア(独自算出の注目度): 40.17114894052837
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Checkpoint selection in domain generalization often relies on source-validation accuracy, yet the selected checkpoint need not provide reliable probabilities on unseen target domains. Source-target distribution shifts can alter accuracy rankings, while accuracy alone does not measure predictive probability quality. We identify an empirical selection opportunity within fixed training trajectories: reselecting among checkpoints with near-optimal source accuracy can improve mean target probability quality with small observed changes in mean target accuracy. We study accuracy-constrained reliability selection (AC), which retains checkpoints within a tolerance of the best source-validation accuracy and ranks them by source reliability. Our reference rule aggregates within-set normalized negative log-likelihood (NLL) and class-wise calibration error (CwECE) using $D_\infty$. AC uses no target data and requires neither additional training nor weight averaging. We evaluate five domain generalization training algorithms on three benchmarks, using PACS to develop the objectives and a 0.5-percentage-point tolerance. In exploratory aggregation comparisons on 360 OfficeHome and TerraIncognita runs, the reference rule reduces mean target soft-bin squared-gap ECE and CwECE by 0.240% and 0.182%, respectively, and NLL by 0.030 relative to Source-Acc. Mean target accuracy changes by +0.213 percentage points. These results identify opportunities for reliability-aware reselection, while the additional benefit of joint over single-objective ranking remains unresolved.
- Abstract(参考訳): ドメインの一般化におけるチェックポイントの選択は、しばしばソースバリデーションの精度に依存するが、選択されたチェックポイントは、未確認のターゲットドメインに対して信頼性の高い確率を提供する必要はない。
ソースターゲットの分布シフトは精度ランキングを変更することができるが、精度だけでは予測可能な確率品質を測ることはできない。
我々は,固定訓練軌道における経験的選択機会を同定し,ほぼ最適なソース精度でチェックポイント間で再選択することで,平均目標精度に小さな変化を伴って平均目標品質を向上させることができることを示した。
本研究では,最適なソースバリデーション精度の許容範囲内でチェックポイントを保持できる信頼性制約付き信頼性選択(AC)について検討し,ソース信頼性でランク付けする。
基準法則は,NLL と CwECE を$D_\infty$ で集約する。
ACは目標データを使用しず、追加のトレーニングも重量平均化も必要としない。
5つの領域一般化学習アルゴリズムを3つのベンチマークで評価し、PACSを用いて目的と0.5パーセントの耐障害性を開発した。
360 OfficeHomeとTerraIncognitaの探索的アグリゲーション比較において、基準ルールは平均的ソフトビン2乗ギャップCEとCwECEをそれぞれ0.240%、0.182%、NLLを0.030削減する。
平均目標精度は+0.213ポイント変化する。
これらの結果は信頼性に配慮した再選の機会を明らかにし、一方、単目的格付けよりもジョイントのメリットは未解決のままである。
関連論文リスト
- CATTO: Balancing Preferences and Confidence in Language Models [4.678970068275123]
大規模言語モデル(LLM)は、しばしば正確な次のトークン予測を行うが、これらの予測に対する信頼度は不十分である。
本稿では,予測信頼度と経験的予測正しさを一致させる予測キャリブレーションを意識した目標を提案する。
出力トークンのベイズ最適選択に校正トークン確率を活用するテスト時間スケーリング機構であるConfidence@kを導入する。
論文 参考訳(メタデータ) (2026-01-30T15:43:38Z) - Calibration of Network Confidence for Unsupervised Domain Adaptation Using Estimated Accuracy [13.22445242068721]
本稿では,対象領域上でのネットワークの精度を推定するキャリブレーション手法を提案する。
提案アルゴリズムは,推定精度と計算された信頼度との差を最小化することにより,目標領域の予測信頼度を直接調整する。
論文 参考訳(メタデータ) (2024-09-06T12:46:43Z) - Cal-SFDA: Source-Free Domain-adaptive Semantic Segmentation with
Differentiable Expected Calibration Error [50.86671887712424]
ドメイン適応型セマンティックセグメンテーションの流行は、ソースドメインデータの漏洩に関する懸念を引き起こしている。
ソースデータの要求を回避するため、ソースフリーなドメイン適応が実現可能なソリューションとして登場した。
校正誘導型ソースフリーなドメイン適応型セマンティックセマンティックセマンティクスフレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-06T03:28:34Z) - Beyond calibration: estimating the grouping loss of modern neural
networks [68.8204255655161]
適切なスコアリングルール理論は、キャリブレーション損失が与えられた場合、個々のエラーを特徴づける欠片がグループ化損失であることを示している。
視覚およびNLPにおける現代のニューラルネットワークアーキテクチャは、特に分散シフト設定においてグループ化損失を示す。
論文 参考訳(メタデータ) (2022-10-28T07:04:20Z) - Uncertainty-guided Source-free Domain Adaptation [77.3844160723014]
ソースフリードメイン適応(SFDA)は、事前訓練されたソースモデルのみを使用することで、未ラベルのターゲットデータセットに分類器を適応させることを目的としている。
本稿では、ソースモデル予測の不確実性を定量化し、ターゲット適応の導出に利用することを提案する。
論文 参考訳(メタデータ) (2022-08-16T08:03:30Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳(メタデータ) (2022-01-11T23:01:12Z) - On-target Adaptation [82.77980951331854]
ドメイン適応は、Emphtargetドメインでのトレーニングとテストの間のシフトを軽減することを目指している。
ほとんどの適応法は、ソースデータとターゲットデータに対する共同最適化によるソースデータに依存している。
対象データから純粋に表現を学習するオン・ターゲット適応による大幅な改善を示す。
論文 参考訳(メタデータ) (2021-09-02T17:04:18Z) - Estimating and Evaluating Regression Predictive Uncertainty in Deep
Object Detectors [9.273998041238224]
負の対数確率(nll)を持つトレーニング分散ネットワークは、高いエントロピー予測分布をもたらす可能性がある。
我々は,エネルギースコアを非局所的適切なスコアリングルールとして使用し,トレーニングに使用すると,エネルギースコアがより校正され,エントロピーの予測分布が低くなることを示す。
論文 参考訳(メタデータ) (2021-01-13T12:53:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。