論文の概要: Biased Generalization in Diffusion Models

• arxiv url: http://arxiv.org/abs/2603.03469v1
• Date: Tue, 03 Mar 2026 19:25:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-05 21:29:15.06703
• Title: Biased Generalization in Diffusion Models
• Title（参考訳）: 拡散モデルにおけるバイアス一般化
• Authors: Jerome Garnier-Brun, Luca Biggio, Davide Beltrame, Marc Mézard, Luca Saglietti,
• Abstract要約: 生成モデリングの一般化は、有限データセットから基礎となる分布を学習し、新しいサンプルを生成する能力として定義される。 実際には、テスト損失の最小限でトレーニングが停止されることがしばしばあり、一般化の運用上の指標として捉えられる。 トレーニングデータに不規則に近接するサンプルを選好しながら、モデルがテスト損失を減らし続け、トレーニング中のバイアス付き一般化のフェーズを特定することで、この視点に挑戦する。
• 参考スコア（独自算出の注目度）: 4.602851365305176
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generalization in generative modeling is defined as the ability to learn an underlying distribution from a finite dataset and produce novel samples, with evaluation largely driven by held-out performance and perceived sample quality. In practice, training is often stopped at the minimum of the test loss, taken as an operational indicator of generalization. We challenge this viewpoint by identifying a phase of biased generalization during training, in which the model continues to decrease the test loss while favoring samples with anomalously high proximity to training data. By training the same network on two disjoint datasets and comparing the mutual distances of generated samples and their similarity to training data, we introduce a quantitative measure of bias and demonstrate its presence on real images. We then study the mechanism of bias, using a controlled hierarchical data model where access to exact scores and ground-truth statistics allows us to precisely characterize its onset. We attribute this phenomenon to the sequential nature of feature learning in deep networks, where coarse structure is learned early in a data-independent manner, while finer features are resolved later in a way that increasingly depends on individual training samples. Our results show that early stopping at the test loss minimum, while optimal under standard generalization criteria, may be insufficient for privacy-critical applications.
• Abstract（参考訳）: 生成モデリングの一般化は、有限データセットから基礎となる分布を学習し、新しいサンプルを生成する能力として定義される。 実際には、テスト損失の最小限でトレーニングが停止されることがしばしばあり、一般化の運用上の指標として捉えられる。 トレーニングデータに不規則に近接するサンプルを選好しながら、モデルがテスト損失を減らし続け、トレーニング中のバイアス付き一般化のフェーズを特定することで、この視点に挑戦する。 2つの解離データセット上で同じネットワークをトレーニングし、生成したサンプルの相互距離とトレーニングデータとの類似性を比較することにより、バイアスの定量的尺度を導入し、実画像上での存在を実証する。 次に、正確なスコアと地味統計にアクセスできる制御階層型データモデルを用いて、バイアスのメカニズムを研究し、そのオンセットを正確に特徴づける。 この現象は、データに依存しない方法で粗い構造を早期に学習する深層ネットワークにおける特徴学習のシーケンシャルな性質に起因している。 以上の結果から,プライバシクリティカルなアプリケーションでは,テスト損失が最小限に抑えられるのに対して,標準一般化基準では最適ではあるものの,早期停止は不十分である可能性が示唆された。

関連論文リスト

• Correcting False Alarms from Unseen: Adapting Graph Anomaly Detectors at Test Time [60.341117019125214]
  グラフ異常検出(GAD)における未確認正規pattErnsの修正のための,軽量かつプラグアンドプレイなテスト時間適応フレームワークを提案する。 意味的混乱に対処するために、シフトしたデータと元のデータとをグラフ属性レベルで整合させるグラフ整合器を用いる。 10個の実世界のデータセットに対する大規模な実験により、TUNEは事前学習されたGADモデルの合成パターンと実際の見えない正常パターンの両方への一般化性を著しく向上することが示された。
  論文  参考訳（メタデータ） (2025-11-10T12:10:05Z)
• Leveraging Learning Bias for Noisy Anomaly Detection [19.23861148116995]
  本稿では、フル教師なし画像異常検出(FUIAD)の課題に対処する。 従来の方法では、異常のないトレーニングデータを仮定するが、実世界の汚染により、モデルは通常通り異常を吸収する。 モデルに固有の学習バイアスを利用する2段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-10T17:47:21Z)
• Semi-supervised Learning For Robust Speech Evaluation [30.593420641501968]
  音声評価は、自動モデルを用いて学習者の口頭習熟度を測定する。 本稿では,半教師付き事前学習と客観的正規化を活用することで,このような課題に対処することを提案する。 アンカーモデルは、発音の正しさを予測するために擬似ラベルを用いて訓練される。
  論文  参考訳（メタデータ） (2024-09-23T02:11:24Z)
• Two Is Better Than One: Aligned Representation Pairs for Anomaly Detection [56.57122939745213]
  異常検出は、標準から逸脱するサンプルを特定することに焦点を当てる。 近年の自己教師型手法は, 異常に関する事前知識を用いて, トレーニング中に合成外れ値を生成することによって, それらの表現をうまく学習している。 この制限は、通常のサンプルにおける対称性に関する事前の知識を活用して、異なるコンテキストでデータを観測する、新しいアプローチであるCon$で対処する。
  論文  参考訳（メタデータ） (2024-05-29T07:59:06Z)
• Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
  拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。 本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。 そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
  論文  参考訳（メタデータ） (2024-01-17T07:58:18Z)
• Mixture Data for Training Cannot Ensure Out-of-distribution Generalization [21.801115344132114]
  トレーニングデータのサイズが大きくなると、必ずしもテスト一般化誤差が減少するとは限らない。 本研究では,OODデータを混合学習データの凸内外にあるデータとして定量的に再定義する。 新たなリスクバウンドの証明は、よく訓練されたモデルの有効性が、目に見えないデータに対して保証されることに同意する。
  論文  参考訳（メタデータ） (2023-12-25T11:00:38Z)
• A Generic Machine Learning Framework for Fully-Unsupervised Anomaly Detection with Contaminated Data [0.0]
  本稿では,ADタスクに対する汚染されたトレーニングデータの完全教師なし改善のためのフレームワークを提案する。 このフレームワークは汎用的であり、任意の残差ベースの機械学習モデルに適用することができる。 本研究は, 改質を伴わない汚染データを用いた学習において, ナイーブなアプローチよりも明らかに優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-25T12:47:59Z)
• Semantic Self-adaptation: Enhancing Generalization with a Single Sample [45.111358665370524]
  セマンティックセグメンテーションのための自己適応型アプローチを提案する。 整合正則化を用いて畳み込み層のパラメータを入力画像に微調整する。 実験により, 自己適応は訓練時のモデル正規化の確立した実践を補完する可能性が示唆された。
  論文  参考訳（メタデータ） (2022-08-10T12:29:01Z)
• Dense Out-of-Distribution Detection by Robust Learning on Synthetic Negative Data [1.7474352892977458]
  道路走行シーンとリモートセンシング画像における分布外異常の検出方法を示す。 我々は,カバレッジ指向学習の目的と異なる解像度でサンプルを生成する能力により,共同で訓練された正規化フローを活用する。 結果として得られたモデルは、道路走行シーンとリモートセンシング画像におけるアウト・オブ・ディストリビューション検出のためのベンチマークに、新たな技術状況を設定した。
  論文  参考訳（メタデータ） (2021-12-23T20:35:10Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• Bayesian analysis of the prevalence bias: learning and predicting from imbalanced data [10.659348599372944]
  本稿では,モデル学習のための理論的および計算的枠組みと,有病率バイアスの存在下での予測について述べる。 原則的なトレーニング損失の代替として,要約曲線から操作点を選択することで,テスト時の手順を補完するものだ。 バックプロパゲーションを用いた(深い)学習の現在のパラダイムにシームレスに統合され、ベイズモデルと自然に結合する。
  論文  参考訳（メタデータ） (2021-07-31T14:36:33Z)
• Understanding Classifier Mistakes with Generative Models [88.20470690631372]
  ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。 本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。 我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
  論文  参考訳（メタデータ） (2020-10-05T22:13:21Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。