Fugu-MT 論文翻訳(概要): OOD Detection with immature Models

論文の概要: OOD Detection with immature Models

arxiv url: http://arxiv.org/abs/2502.00820v1
Date: Sun, 02 Feb 2025 15:14:17 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-05 15:02:24.160509
Title: OOD Detection with immature Models
Title（参考訳）: 未熟モデルを用いたOOD検出
Authors: Behrooz Montazeran, Ullrich Köthe,
Abstract要約: 高次元データの分布を近似する能力について, 類似性に基づくDGM (Deep Generative Model) が注目されている。これらのモデルには、In-distriion (ID) インプットに高い確率値を割り当てる性能保証がないため、モデルがトレーニングするデータはout-of-distriion (OOD) インプットよりも優れている。本研究は,未成熟モデルを用いた学習の初期段階において,この下流タスクにおいて,ほぼ同等あるいは優れた結果が得られることを実証する。
参考スコア（独自算出の注目度）: 8.477943884416023
License:
Abstract: Likelihood-based deep generative models (DGMs) have gained significant attention for their ability to approximate the distributions of high-dimensional data. However, these models lack a performance guarantee in assigning higher likelihood values to in-distribution (ID) inputs, data the models are trained on, compared to out-of-distribution (OOD) inputs. This counter-intuitive behaviour is particularly pronounced when ID inputs are more complex than OOD data points. One potential approach to address this challenge involves leveraging the gradient of a data point with respect to the parameters of the DGMs. A recent OOD detection framework proposed estimating the joint density of layer-wise gradient norms for a given data point as a model-agnostic method, demonstrating superior performance compared to the Typicality Test across likelihood-based DGMs and image dataset pairs. In particular, most existing methods presuppose access to fully converged models, the training of which is both time-intensive and computationally demanding. In this work, we demonstrate that using immature models,stopped at early stages of training, can mostly achieve equivalent or even superior results on this downstream task compared to mature models capable of generating high-quality samples that closely resemble ID data. This novel finding enhances our understanding of how DGMs learn the distribution of ID data and highlights the potential of leveraging partially trained models for downstream tasks. Furthermore, we offer a possible explanation for this unexpected behaviour through the concept of support overlap.
Abstract（参考訳）: 高次元データの分布を近似する能力について, 類似性に基づくDGM (Deep Generative Model) が注目されている。しかし、これらのモデルには、非分配(ID)入力に高い可能性値を割り当てる性能保証がない。この反直感的行動は、ID入力がOODデータポイントよりも複雑であるときに特に顕著である。この課題に対処する潜在的なアプローチの1つは、DGMのパラメータに関するデータポイントの勾配の活用である。最近のOOD検出フレームワークでは、与えられたデータポイントの層次勾配ノルムの結合密度をモデルに依存しない方法として推定し、可能性に基づくDGMと画像データセットのペア間の典型性テストよりも優れた性能を示す。特に、既存のほとんどの方法は完全に収束したモデルへのアクセスを前提としており、そのトレーニングは時間集約的かつ計算的に要求される。本研究は,IDデータに類似した高品質なサンプルを生成できる成熟したモデルと比較して,初期訓練時に停止した未成熟モデルを使用することで,この下流タスクにおいて同等あるいはそれ以上の成果が得られることを示した。この新たな発見は、DGMがIDデータの分散を学ぶ方法の理解を深め、下流タスクに部分的に訓練されたモデルを活用する可能性を強調します。さらに、サポートオーバーラップという概念を通じて、この予期せぬ振る舞いについて、可能な説明を提供する。

関連論文リスト

MITA: Bridging the Gap between Model and Data for Test-time Adaptation [68.62509948690698]
テスト時間適応(TTA)は、モデルの一般化性を高めるための有望なパラダイムとして登場した。本稿では,Met-In-The-MiddleをベースとしたMITAを提案する。
論文参考訳（メタデータ） (2024-10-12T07:02:33Z)
Sub-graph Based Diffusion Model for Link Prediction [43.15741675617231]
拡散確率モデル(Denoising Diffusion Probabilistic Models, DDPM)は、例外的な品質を持つ同時代の生成モデルである。本研究では,ベイズ式による確率推定過程を分解するために,専用設計を用いたリンク予測のための新しい生成モデルを構築した。提案手法は,(1)再トレーニングを伴わないデータセット間の転送可能性,(2)限られたトレーニングデータに対する有望な一般化,(3)グラフ敵攻撃に対する堅牢性など,多くの利点を示す。
論文参考訳（メタデータ） (2024-09-13T02:23:55Z)
Exploring Beyond Logits: Hierarchical Dynamic Labeling Based on Embeddings for Semi-Supervised Classification [49.09505771145326]
モデル予測に依存しない階層型動的ラベル付け(HDL)アルゴリズムを提案し,画像埋め込みを用いてサンプルラベルを生成する。本手法は,半教師付き学習における擬似ラベル生成のパラダイムを変える可能性がある。
論文参考訳（メタデータ） (2024-04-26T06:00:27Z)
DetDiffusion: Synergizing Generative and Perceptive Models for Enhanced Data Generation and Perception [78.26734070960886]
現在の知覚モデルは、リソース集約的なデータセットに大きく依存している。セグメンテーションを通じて知覚認識損失(P.A.損失)を導入し、品質と制御性の両方を改善した。本手法は,世代間における知覚認識属性(P.A. Attr)の抽出と利用により,データ拡張をカスタマイズする。
論文参考訳（メタデータ） (2024-03-20T04:58:03Z)
Approximations to the Fisher Information Metric of Deep Generative Models for Out-Of-Distribution Detection [2.3749120526936465]
深層生成モデルは、訓練されたデータよりも高いログ類似度をOODデータに対して常に推測することを示す。我々は,OODデータに対して,トレーニングデータよりも勾配基準が大きいという単純な直観に基づいて,OOD検出のための深部生成モデルのパラメータに関するデータ点の勾配を利用する。実験結果から,本手法は,ほとんどの深層生成モデルと画像データセットのペアリングにおいて,典型性試験よりも優れていたことが示唆された。
論文参考訳（メタデータ） (2024-03-03T11:36:35Z)
Unleashing Mask: Explore the Intrinsic Out-of-Distribution Detection Capability [70.72426887518517]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイする際に、セキュアAIの必須の側面である。本稿では,IDデータを用いた学習モデルのOOD識別能力を復元する新しい手法であるUnleashing Maskを提案する。本手法では, マスクを用いて記憶した非定型サンプルを抽出し, モデルを微調整するか, 導入したマスクでプルーする。
論文参考訳（メタデータ） (2023-06-06T14:23:34Z)
Watermarking for Out-of-distribution Detection [76.20630986010114]
Out-of-Distribution (OOD) 検出は、よく訓練された深層モデルから抽出された表現に基づいてOODデータを識別することを目的としている。本稿では,透かしという一般的な手法を提案する。我々は,元データの特徴に重畳される統一パターンを学習し,ウォーターマーキング後にモデルの検出能力が大きく向上する。
論文参考訳（メタデータ） (2022-10-27T06:12:32Z)
Robust Out-of-Distribution Detection on Deep Probabilistic Generative Models [0.06372261626436676]
アウト・オブ・ディストリビューション(OOD)検出は機械学習システムにおいて重要な課題である。深い確率的生成モデルは、データサンプルの可能性を推定することによって、OODの検出を容易にする。本稿では,外周露光を伴わない新しい検出指標を提案する。
論文参考訳（メタデータ） (2021-06-15T06:36:10Z)
Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。 CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
論文参考訳（メタデータ） (2021-05-18T15:13:00Z)
Hierarchical VAEs Know What They Don't Know [6.649455007186671]
我々はOOD検出のための高速でスケーラブルで完全に教師なしの確率比スコアを開発する。分散検出において最先端の結果を得る。
論文参考訳（メタデータ） (2021-02-16T16:08:04Z)
Bigeminal Priors Variational auto-encoder [5.430048915427229]
変分自動エンコーダ(VAEs)は、教師なし学習における可能性に基づく生成モデルに影響を及ぼし、一般的に使用される。本稿では,この現象に対処するための新しいモデル,すなわちBigeminal Priors Variational Auto-Encoder(BPVAE)を提案する。 BPVAEは2つのデータセットの特徴を学習し、単純なデータセットよりもトレーニングデータセットの可能性が高くなる。
論文参考訳（メタデータ） (2020-10-05T07:10:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。