論文の概要: On the Out-of-distribution Generalization of Probabilistic Image
Modelling
- arxiv url: http://arxiv.org/abs/2109.02639v1
- Date: Sat, 4 Sep 2021 17:00:37 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-08 14:44:41.293900
- Title: On the Out-of-distribution Generalization of Probabilistic Image
Modelling
- Title(参考訳): 確率的画像モデリングの分布外一般化について
- Authors: Mingtian Zhang, Andi Zhang, Steven McDonagh
- Abstract要約: 画像モデルの場合、OOD能力は局所的な特徴に支配されていることを示す。
これは、OODの性能向上に向け、ローカルな画像特徴のみをモデル化するローカル自動回帰モデルの提案を動機付けます。
- 参考スコア(独自算出の注目度): 6.908460960191626
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Out-of-distribution (OOD) detection and lossless compression constitute two
problems that can be solved by the training of probabilistic models on a first
dataset with subsequent likelihood evaluation on a second dataset, where data
distributions differ. By defining the generalization of probabilistic models in
terms of likelihood we show that, in the case of image models, the OOD
generalization ability is dominated by local features. This motivates our
proposal of a Local Autoregressive model that exclusively models local image
features towards improving OOD performance. We apply the proposed model to OOD
detection tasks and achieve state-of-the-art unsupervised OOD detection
performance without the introduction of additional data. Additionally, we
employ our model to build a new lossless image compressor: NeLLoC (Neural Local
Lossless Compressor) and report state-of-the-art compression rates and model
size.
- Abstract(参考訳): out-of-distribution (ood) 検出とロスレス圧縮は、データ分布が異なる第1データセット上の確率モデルのトレーニングによって解決できる2つの問題である。
確率モデルの一般化を定義することによって、画像モデルの場合、OOD一般化能力は局所的な特徴に支配されていることを示す。
これは、OODの性能向上に向け、ローカル画像の特徴のみをモデル化するローカル自動回帰モデルの提案を動機付けます。
提案手法をOOD検出タスクに適用し、追加データを導入することなく最先端の未監視OOD検出性能を実現する。
さらに,新しいロスレス画像圧縮機であるneroc(neural local lossless compressor)を構築し,最先端の圧縮速度とモデルサイズを報告した。
関連論文リスト
- ResEnsemble-DDPM: Residual Denoising Diffusion Probabilistic Models for
Ensemble Learning [3.2564047163418754]
本稿では,アンサンブル学習を通じて拡散モデルとエンドツーエンドモデルをシームレスに統合するResEnsemble-DDPMを提案する。
実験の結果,ResEnsemble-DDPMは既存のモデルの性能をさらに向上させることができることがわかった。
論文 参考訳(メタデータ) (2023-12-04T07:14:20Z) - Steerable Conditional Diffusion for Out-of-Distribution Adaptation in
Imaging Inverse Problems [78.76955228709241]
我々は、ステアブル条件拡散と呼ばれる新しいサンプリングフレームワークを導入する。
このフレームワークは、利用可能な測定データに特化してデノイングネットワークを適用する。
我々は多様な画像モダリティをまたいだOOD性能の大幅な向上を実現した。
論文 参考訳(メタデータ) (2023-08-28T08:47:06Z) - Masked Images Are Counterfactual Samples for Robust Fine-tuning [77.82348472169335]
微調整の深層学習モデルは、分布内(ID)性能と分布外(OOD)堅牢性の間のトレードオフにつながる可能性がある。
そこで本研究では,マスク付き画像を対物サンプルとして用いて,ファインチューニングモデルのロバスト性を向上させる新しいファインチューニング手法を提案する。
論文 参考訳(メタデータ) (2023-03-06T11:51:28Z) - Exploring Optimal Substructure for Out-of-distribution Generalization
via Feature-targeted Model Pruning [23.938392334438582]
本研究では,不均一な部分構造を自動探索するために,SFPと呼ばれる新しいSpurious Feature-targeted Model Pruningフレームワークを提案する。
SFP は構造ベースおよび非構造 OOD 一般化 SOTA をそれぞれ4.72% と 23.35% に向上させることができる。
論文 参考訳(メタデータ) (2022-12-19T13:51:06Z) - Watermarking for Out-of-distribution Detection [76.20630986010114]
Out-of-Distribution (OOD) 検出は、よく訓練された深層モデルから抽出された表現に基づいてOODデータを識別することを目的としている。
本稿では,透かしという一般的な手法を提案する。
我々は,元データの特徴に重畳される統一パターンを学習し,ウォーターマーキング後にモデルの検出能力が大きく向上する。
論文 参考訳(メタデータ) (2022-10-27T06:12:32Z) - SimSCOOD: Systematic Analysis of Out-of-Distribution Generalization in
Fine-tuned Source Code Models [58.78043959556283]
本研究は,Low-Rank Adaptation (LoRA)ファインチューニング手法を含む,異なる微調整手法によるモデルの挙動について検討する。
解析の結果、LoRAファインチューニングは様々なシナリオにおけるフルファインチューニングよりも、OODの一般化性能が大幅に向上していることが判明した。
論文 参考訳(メタデータ) (2022-10-10T16:07:24Z) - PatchNR: Learning from Small Data by Patch Normalizing Flow
Regularization [57.37911115888587]
正規化フローに基づく画像の逆問題に対する変分モデリングのための正規化器を提案する。
patchNRと呼ばれる我々の正規化器は、ごく少数の画像のパッチで学習したフローを正規化します。
論文 参考訳(メタデータ) (2022-05-24T12:14:26Z) - Generalizability of Machine Learning Models: Quantitative Evaluation of
Three Methodological Pitfalls [1.3870303451896246]
いくつかの医用画像データセットを用いてランダムフォレストとディープ畳み込みニューラルネットワークモデルを実装した。
独立仮定の違反はモデル一般化可能性に大きく影響する可能性が示唆された。
不適切なパフォーマンス指標は誤った結論につながる可能性がある。
論文 参考訳(メタデータ) (2022-02-01T05:07:27Z) - General Greedy De-bias Learning [163.65789778416172]
本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。
GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
論文 参考訳(メタデータ) (2021-12-20T14:47:32Z) - Robust Out-of-Distribution Detection on Deep Probabilistic Generative
Models [0.06372261626436676]
アウト・オブ・ディストリビューション(OOD)検出は機械学習システムにおいて重要な課題である。
深い確率的生成モデルは、データサンプルの可能性を推定することによって、OODの検出を容易にする。
本稿では,外周露光を伴わない新しい検出指標を提案する。
論文 参考訳(メタデータ) (2021-06-15T06:36:10Z) - Uncertainty-aware Generalized Adaptive CycleGAN [44.34422859532988]
unpaired image-to-image translationは、教師なしの方法で画像ドメイン間のマッピングを学ぶことを指す。
既存の手法はしばしば、外れ値への堅牢性や予測不確実性を明示的にモデル化せずに決定論的マッピングを学習する。
Uncertainty-aware Generalized Adaptive Cycle Consistency (UGAC) という新しい確率論的手法を提案する。
論文 参考訳(メタデータ) (2021-02-23T15:22:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。