論文の概要: Uncertainty Modeling for Out-of-Distribution Generalization

• arxiv url: http://arxiv.org/abs/2202.03958v1
• Date: Tue, 8 Feb 2022 16:09:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-09 14:07:58.978251
• Title: Uncertainty Modeling for Out-of-Distribution Generalization
• Title（参考訳）: 分散一般化のための不確実性モデリング
• Authors: Xiaotong Li, Yongxing Dai, Yixiao Ge, Jun Liu, Ying Shan, Ling-Yu Duan
• Abstract要約: 特徴統計を適切に操作することで、ディープラーニングモデルの一般化能力を向上させることができると論じる。 一般的な手法では、特徴統計を学習した特徴から測定された決定論的値とみなすことが多い。 我々は、学習中に合成された特徴統計を用いて、領域シフトの不確かさをモデル化することにより、ネットワークの一般化能力を向上させる。
• 参考スコア（独自算出の注目度）: 56.957731893992495
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Though remarkable progress has been achieved in various vision tasks, deep neural networks still suffer obvious performance degradation when tested in out-of-distribution scenarios. We argue that the feature statistics (mean and standard deviation), which carry the domain characteristics of the training data, can be properly manipulated to improve the generalization ability of deep learning models. Common methods often consider the feature statistics as deterministic values measured from the learned features and do not explicitly consider the uncertain statistics discrepancy caused by potential domain shifts during testing. In this paper, we improve the network generalization ability by modeling the uncertainty of domain shifts with synthesized feature statistics during training. Specifically, we hypothesize that the feature statistic, after considering the potential uncertainties, follows a multivariate Gaussian distribution. Hence, each feature statistic is no longer a deterministic value, but a probabilistic point with diverse distribution possibilities. With the uncertain feature statistics, the models can be trained to alleviate the domain perturbations and achieve better robustness against potential domain shifts. Our method can be readily integrated into networks without additional parameters. Extensive experiments demonstrate that our proposed method consistently improves the network generalization ability on multiple vision tasks, including image classification, semantic segmentation, and instance retrieval. The code will be released soon at https://github.com/lixiaotong97/DSU.
• Abstract（参考訳）: さまざまなビジョンタスクで顕著な進歩が達成されているが、ディープニューラルネットワークは、分散外のシナリオでテストした場合、依然として明らかにパフォーマンス低下を被っている。 訓練データのドメイン特性を持つ特徴統計(平均偏差と標準偏差)を適切に操作することで、ディープラーニングモデルの一般化能力を向上させることができると論じる。 一般的な手法では、特徴統計を学習した特徴から測定された決定論的値とみなし、テスト中の潜在的なドメインシフトに起因する不確実な統計の相違を明示的に考慮しない。 本稿では,学習中の特徴量の合成による領域シフトの不確かさをモデル化することにより,ネットワークの一般化能力を向上させる。 具体的には、潜在的な不確実性を考慮して、特徴統計は多変量ガウス分布に従うと仮定する。 したがって、各特徴統計はもはや決定論的価値ではなく、多様な分布可能性を持つ確率的ポイントである。 不確定な特徴統計により、モデルはドメインの摂動を緩和し、潜在的なドメインシフトに対するロバスト性を改善するように訓練することができる。 本手法は追加パラメータなしでネットワークに容易に統合できる。 提案手法は画像分類,セマンティックセグメンテーション,インスタンス検索など,複数の視覚タスクにおけるネットワーク一般化能力を一貫して改善することを示した。 コードは近くhttps://github.com/lixiaotong97/dsuでリリースされる。

関連論文リスト

• Toward Robust Uncertainty Estimation with Random Activation Functions [3.0586855806896045]
  本稿では,ランダムアクティベーション関数(RAF)アンサンブルを用いた不確実性定量化手法を提案する。 RAF アンサンブルは、合成データセットと実世界のデータセットの両方において、最先端のアンサンブル不確実性定量化手法より優れている。
  論文  参考訳（メタデータ） (2023-02-28T13:17:56Z)
• Modeling Uncertain Feature Representation for Domain Generalization [49.129544670700525]
  提案手法は,複数の視覚タスクにおけるネットワーク一般化能力を常に改善することを示す。 我々の手法は単純だが有効であり、トレーニング可能なパラメータや損失制約を伴わずにネットワークに容易に統合できる。
  論文  参考訳（メタデータ） (2023-01-16T14:25:02Z)
• Feature Shift Detection: Localizing Which Features Have Shifted via Conditional Distribution Tests [12.468665026043382]
  軍用センサーネットワークでは、ユーザーがセンサーの1つ以上の障害を検知する。 まず、この問題の形式化を複数の条件分布仮説テストとして定義する。 効率性と柔軟性の両面から,密度モデルスコア関数に基づくテスト統計法を提案する。
  論文  参考訳（メタデータ） (2021-07-14T18:23:24Z)
• Predicting with Confidence on Unseen Distributions [90.68414180153897]
  ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。 分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。 具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
  論文  参考訳（メタデータ） (2021-07-07T15:50:18Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。