論文の概要: Deep Networks Favor Simple Data

• arxiv url: http://arxiv.org/abs/2604.00394v1
• Date: Wed, 01 Apr 2026 02:23:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-02 16:44:31.798044
• Title: Deep Networks Favor Simple Data
• Title（参考訳）: ディープ・ネットワークは単純なデータを好む
• Authors: Weyl Lu, Chenjie Hao, Yubei Chen,
• Abstract要約: 推定密度はしばしば、サンプルがモデルの下でどのように典型的であるかを示すものとして解釈される。 しかし、あるデータセットでトレーニングされたディープモデルは、分散テストデータよりも単純なアウト・オブ・ディストリビューション(OOD)データにエンフハイ密度を割り当てることができる。 ヤコビアンベース推定器と自己回帰自己推定器の2つの推定器を導入し、密度解析を広範囲のモデルに適用する。
• 参考スコア（独自算出の注目度）: 10.927849392827406
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Estimated density is often interpreted as indicating how typical a sample is under a model. Yet deep models trained on one dataset can assign \emph{higher} density to simpler out-of-distribution (OOD) data than to in-distribution test data. We refer to this behavior as the OOD anomaly. Prior work typically studies this phenomenon within a single architecture, detector, or benchmark, implicitly assuming certain canonical densities. We instead separate the trained network from the density estimator built from its representations or outputs. We introduce two estimators: Jacobian-based estimators and autoregressive self-estimators, making density analysis applicable to a wide range of models. Applying this perspective to a range of models, including iGPT, PixelCNN++, Glow, score-based diffusion models, DINOv2, and I-JEPA, we find the same striking regularity that goes beyond the OOD anomaly: \textbf{lower-complexity samples receive higher estimated density, while higher-complexity samples receive lower estimated density}. This ordering appears within a test set and across OOD pairs such as CIFAR-10 and SVHN, and remains highly consistent across independently trained models. To quantify these orderings, we introduce Spearman rank correlation and find striking agreement both across models and with external complexity metrics. Even when trained only on the lowest-density (most complex) samples or \textbf{even a single such sample} the resulting models still rank simpler images as higher density. These observations lead us beyond the original OOD anomaly to a more general conclusion: deep networks consistently favor simple data. Our goal is not to close this question, but to define and visualize it more clearly. We broaden its empirical scope and show that it appears across architectures, objectives, and density estimators.
• Abstract（参考訳）: 推定密度はしばしば、サンプルがモデルの下でどのように典型的であるかを示すものとして解釈される。 しかし、あるデータセットでトレーニングされたディープモデルは、分散テストデータよりも単純なアウト・オブ・ディストリビューション(OOD)データに \emph{higher} 密度を割り当てることができる。 我々はこの挙動をOOD異常と呼ぶ。 以前の研究は通常、この現象を単一のアーキテクチャ、検出器、またはベンチマークで研究し、特定の正準密度を暗黙的に仮定する。 代わりに、トレーニングされたネットワークを、その表現や出力から構築された密度推定器から分離する。 ヤコビアンに基づく推定器と自己回帰自己推定器という2つの推定器を導入し、密度解析を広範囲のモデルに適用する。 この視点をiGPT、PixelCNN++、Glow、スコアベース拡散モデル、DINOv2、I-JEPAといったモデルに適用すると、OOD異常を超える顕著な規則性が得られる。 この順序はテストセット内やCIFAR-10やSVHNのようなOODペアにまたがって現れ、独立に訓練されたモデル間で高度に一貫性が保たれている。 これらの順序を定量化するために、スピアマンのランク相関を導入し、モデルと外部複雑さメトリクスの両方で顕著な一致を見出す。 最も密度の低い(最も複雑な)サンプルや単一のサンプルであるtextbf{even} でのみ訓練されたとしても、結果として得られるモデルはより単純なイメージを高い密度としてランク付けする。 これらの観測は、元のOOD異常をはるかに越え、より一般的な結論へと導いた:ディープネットワークは、常に単純なデータを好む。 私たちの目標は、この問題を解決するのではなく、より明確に定義し、視覚化することにあります。 経験的スコープを広げ、アーキテクチャ、目的、密度推定器にまたがって現れることを示す。

関連論文リスト

• Approximations to the Fisher Information Metric of Deep Generative Models for Out-Of-Distribution Detection [2.3749120526936465]
  深層生成モデルは、訓練されたデータよりも高いログ類似度をOODデータに対して常に推測することを示す。 我々は,OODデータに対して,トレーニングデータよりも勾配基準が大きいという単純な直観に基づいて,OOD検出のための深部生成モデルのパラメータに関するデータ点の勾配を利用する。 実験結果から,本手法は,ほとんどの深層生成モデルと画像データセットのペアリングにおいて,典型性試験よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-03-03T11:36:35Z)
• RGM: A Robust Generalizable Matching Model [49.60975442871967]
  RGM(Robust Generalist Matching)と呼ばれる疎密マッチングのための深部モデルを提案する。 合成トレーニングサンプルと実世界のシナリオのギャップを狭めるために、我々は、疎対応基盤真理を持つ新しい大規模データセットを構築した。 さまざまな密集したスパースなデータセットを混ぜ合わせることができ、トレーニングの多様性を大幅に改善しています。
  論文  参考訳（メタデータ） (2023-10-18T07:30:08Z)
• Anomaly Detection with Variance Stabilized Density Estimation [49.46356430493534]
  本稿では, 観測試料の確率を最大化するための分散安定化密度推定問題を提案する。 信頼性の高い異常検知器を得るために,分散安定化分布を学習するための自己回帰モデルのスペクトルアンサンブルを導入する。 我々は52のデータセットで広範なベンチマークを行い、我々の手法が最先端の結果につながることを示した。
  論文  参考訳（メタデータ） (2023-06-01T11:52:58Z)
• Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
  本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。 特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
  論文  参考訳（メタデータ） (2023-04-04T17:54:32Z)
• Hierarchical VAEs Know What They Don't Know [6.649455007186671]
  我々はOOD検出のための高速でスケーラブルで完全に教師なしの確率比スコアを開発する。 分散検出において最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-02-16T16:08:04Z)
• MOCCA: Multi-Layer One-Class ClassificAtion for Anomaly Detection [16.914663209964697]
  我々は,Multi-Layer One-Class Classification (MOCCA) と呼ばれる異常検出問題に対するディープラーニングアプローチを提案する。 異なる深さで抽出された情報を利用して異常なデータインスタンスを検出することで、ディープニューラルネットワークのピースワイズ的性質を明示的に活用します。 本稿では,本手法が文献で利用可能な最先端手法と比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2020-12-09T08:32:56Z)
• An Empirical Comparison of GANs and Normalizing Flows for Density Estimation [5.837881923712393]
  GAN(Generative Adversarial Network)と正規化フローは、ディープニューラルネットワークを用いた密度推定へのアプローチである。 GANと正規化フローは、画像以外のデータをモデリングするために比較されることはめったにない。 GANは私たちの単純な低次元データをうまくモデル化することができず、汎用統計モデリングに適したアプローチの前提条件として私たちが考えるタスクである。
  論文  参考訳（メタデータ） (2020-06-17T21:56:58Z)
• TraDE: Transformers for Density Estimation [101.20137732920718]
  TraDEは自己回帰密度推定のための自己アテンションに基づくアーキテクチャである。 本稿では, 生成したサンプルを用いた回帰, 分布外検出, トレーニングデータにおける雑音に対する頑健性などのタスクについて述べる。
  論文  参考訳（メタデータ） (2020-04-06T07:32:51Z)
• On the Discrepancy between Density Estimation and Sequence Generation [92.70116082182076]
  log-likelihoodは、同じファミリー内のモデルを考えるとき、BLEUと非常に相関している。 異なる家族間でのモデルランキングの相関はみられない。
  論文  参考訳（メタデータ） (2020-02-17T20:13:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。