論文の概要: Generative Myopia: Why Diffusion Models Fail at Structure

• arxiv url: http://arxiv.org/abs/2511.18593v1
• Date: Sun, 23 Nov 2025 19:27:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-25 18:34:24.91574
• Title: Generative Myopia: Why Diffusion Models Fail at Structure
• Title（参考訳）: 発生性近視:なぜ拡散モデルが構造において機能しないのか
• Authors: Milad Siami,
• Abstract要約: グラフ拡散モデル(GDM)は統計確率を最適化し、textbf frequency filters(英語版)として暗黙的に機能する。 我々は、この失敗がtextbfGradient Starvation によって引き起こされることを理論的、実証的に証明する。 textbfSpectrally-Weighted Diffusionを導入する。
• 参考スコア（独自算出の注目度）: 0.6768558752130311
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Diffusion Models (GDMs) optimize for statistical likelihood, implicitly acting as \textbf{frequency filters} that favor abundant substructures over spectrally critical ones. We term this phenomenon \textbf{Generative Myopia}. In combinatorial tasks like graph sparsification, this leads to the catastrophic removal of ``rare bridges,'' edges that are structurally mandatory ($R_{\text{eff}} \approx 1$) but statistically scarce. We prove theoretically and empirically that this failure is driven by \textbf{Gradient Starvation}: the optimization landscape itself suppresses rare structural signals, rendering them unlearnable regardless of model capacity. To resolve this, we introduce \textbf{Spectrally-Weighted Diffusion}, which re-aligns the variational objective using Effective Resistance. We demonstrate that spectral priors can be amortized into the training phase with zero inference overhead. Our method eliminates myopia, matching the performance of an optimal Spectral Oracle and achieving \textbf{100\% connectivity} on adversarial benchmarks where standard diffusion fails completely (0\%).
• Abstract（参考訳）: グラフ拡散モデル(GDM)は統計的確率を最適化し、スペクトル的に臨界な部分構造よりも豊富なサブ構造を優先する「textbf{ frequency filters}」として暗黙的に作用する。 この現象をtextbf{Generative Myopia} と呼ぶ。 グラフのスパーシフィケーションのような組合せタスクでは、これは構造的に必須だが統計的に不足している 'rare bridges'' エッジの破滅的な除去につながる(R_{\text{eff}} \approx 1$)。 最適化ランドスケープ自体が希少な構造的信号を抑制し、モデルキャパシティによらず誘導不能となる。 これを解決するために, 有効抵抗を用いて変分目的を再調整する \textbf{Spectrally-Weighted Diffusion} を導入する。 スペクトル先行値をトレーニングフェーズにアモールト化して,推論オーバーヘッドをゼロにすることが可能であることを実証する。 提案手法は,標準拡散が完全に(0\%)失敗する対向ベンチマークにおいて,最適なスペクトルOracleの性能を一致させるとともに,テキストbf{100\%接続性を達成し,ミオピアを除去する。

関連論文リスト

• Spectral Collapse in Diffusion Inversion [44.781674986581244]
  条件拡散反転は、ソースドメインがターゲットドメインに比べてスペクトル的にスパースであるときに失敗する。 理論的ガウス雑音等級を強制するためにODEダイナミクスを補正する推定時間法であるオルソゴン可変誘導法(OVG)を提案する。 OVGは構造的忠実性を維持しながら、光現実的なテクスチャを効果的に復元する。
  論文  参考訳（メタデータ） (2026-02-09T17:53:21Z)
• Hessian Spectral Analysis at Foundation Model Scale [1.9244735303181757]
  我々は、真のヘッセンの忠実スペクトル解析がフロンティアスケールで抽出可能であることを示す。 我々は、サブ10B体制を超えて、最初の大規模スペクトル密度推定を行う。
  論文  参考訳（メタデータ） (2026-01-31T16:57:06Z)
• Latent Sculpting for Zero-Shot Generalization: A Manifold Learning Approach to Out-of-Distribution Anomaly Detection [2.8547732086436306]
  教師付きディープラーニングの基本的限界は「一般化崩壊」である 階層型2段階表現学習フレームワークであるLatent Sculptingを提案する。 我々は「浸潤」のシナリオについて88.89%の検知率を報告した。
  論文  参考訳（メタデータ） (2025-12-19T11:37:02Z)
• Sparse Attention Post-Training for Mechanistic Interpretability [55.030850996535776]
  本稿では,トランスフォーマーの注意を犠牲にすることなく,簡易なポストトレーニング手法を提案する。 制約された余剰目的の下でフレキシブルな空間規則化を適用することで、1Bパラメータまでのモデルで、初期トレーニング損失を抑えつつ、注意接続性を$approx 0.3 %に抑えることができることを示す。
  論文  参考訳（メタデータ） (2025-12-05T16:40:08Z)
• HybSpecNet: A Critical Analysis of Architectural Instability in Hybrid-Domain Spectral GNNs [0.0]
  スペクトルグラフニューラルネットワークは、グラフフィルタリングに対する原則的なアプローチを提供する。 基本的な"安定性-vs.適応性"のトレードオフに直面しています。 我々は,安定なChebyNetブランチと適応的なKrawtchoukNetブランチを組み合わせたハイブリッドドメインGNNHybSpecNetを提案する。
  論文  参考訳（メタデータ） (2025-11-20T06:47:44Z)
• Learning What Matters: Steering Diffusion via Spectrally Anisotropic Forward Noise [43.07594740645669]
  Diffusion Probabilistic Models (DPM) は強力な生成性能を達成しているが、その帰納的バイアスは大半が暗黙的である。 本研究では,拡散モデルのトレーニングとサンプリングに帰納的バイアスを組み込むことにより,モデルの目的とするデータ分布をよりよく適応することを目的とする。 異方性前方共分散を周波数対角共分散に置き換えることで、これらのバイアスを形作る異方性雑音演算子を導入する。
  論文  参考訳（メタデータ） (2025-10-07T16:08:39Z)
• Graph-based Clustering Revisited: A Relaxation of Kernel $k$-Means Perspective [73.18641268511318]
  本稿では,クラスタリング結果を導出するための正規制約のみを緩和するグラフベースのクラスタリングアルゴリズムを提案する。 二重制約を勾配に変換するために、非負の制約をクラス確率パラメータに変換する。
  論文  参考訳（メタデータ） (2025-09-23T09:14:39Z)
• LLM Probability Concentration: How Alignment Shrinks the Generative Horizon [13.184240238106016]
  また,アライメント調整によってモデル出力分布が大幅に向上することを示す。 この洞察に基づいて、この一貫性は複雑な推論に驚くべき意味を持つ。
  論文  参考訳（メタデータ） (2025-06-22T02:00:37Z)
• Generalized Interpolating Discrete Diffusion [65.74168524007484]
  仮面拡散はその単純さと有効性のために一般的な選択である。 ノイズ発生過程の設計において、より柔軟性の高い離散拡散(GIDD)を補間する新しいファミリを一般化する。 GIDDの柔軟性をエクスプロイトし、マスクと均一ノイズを組み合わせたハイブリッドアプローチを探索し、サンプル品質を向上する。
  論文  参考訳（メタデータ） (2025-03-06T14:30:55Z)
• Rao-Blackwell Gradient Estimators for Equivariant Denoising Diffusion [55.95767828747407]
  分子やタンパク質の生成のようなドメインでは、物理系はモデルにとって重要な固有の対称性を示す。 学習のばらつきを低減し、確率的に低い分散勾配推定器を提供するフレームワークを提案する。 また,軌道拡散法(Orbit Diffusion)と呼ばれる手法を用いて,損失とサンプリングの手順を取り入れた推定器の実用的実装を提案する。
  論文  参考訳（メタデータ） (2025-02-14T03:26:57Z)
• Rectified Diffusion Guidance for Conditional Generation [94.83538269086613]
  CFGの背後にある理論を再検討し、不適切な組合せ係数(textiti.e.)が生成分布を期待的にシフトさせることを厳密に確認する。 提案手法は, 強みを考慮すれば, textbftextitform ソリューションが有効であることを示す。 実世界のデータに関する実証的な証拠は、我々の設計と既存の最先端拡散モデルとの整合性を実証している。
  論文  参考訳（メタデータ） (2024-10-24T13:41:32Z)
• Amortizing intractable inference in diffusion models for vision, language, and control [89.65631572949702]
  本稿では,p(mathbfx)$以前の拡散生成モデルとブラックボックス制約,あるいは関数$r(mathbfx)$からなるモデルにおいて,データ上の後部サンプルである $mathbfxsim prm post(mathbfx)propto p(mathbfx)r(mathbfx)$について検討する。 我々は,データフリー学習目標である相対軌道バランスの正しさを,サンプルから抽出した拡散モデルの訓練のために証明する。
  論文  参考訳（メタデータ） (2024-05-31T16:18:46Z)
• Closed-Loop Unsupervised Representation Disentanglement with $β$-VAE Distillation and Diffusion Probabilistic Feedback [26.935057415769876]
  表現の混乱は、AIが現実世界を根本的に理解し、差別と生成の両方に利益をもたらす可能性がある。 我々はtextbfCL-Dis と呼ばれる textbfCL-Disentanglement アプローチを提案する。 実画像操作や視覚解析といったアプリケーションにおけるCL-Disの優位性を示す実験がある。
  論文  参考訳（メタデータ） (2024-02-04T05:03:22Z)
• Optimization-Induced Graph Implicit Nonlinear Diffusion [64.39772634635273]
  我々はGIND(Graph Implicit Diffusion)と呼ばれる新しいグラフ畳み込み変種を提案する。 GINDは暗黙的に隣人の無限のホップにアクセスでき、非線型拡散を伴う特徴を適応的に集約することで過度な平滑化を防いでいる。 学習された表現は、明示的な凸最適化目標の最小化として定式化できることを示す。
  論文  参考訳（メタデータ） (2022-06-29T06:26:42Z)
• Gaussian MRF Covariance Modeling for Efficient Black-Box Adversarial Attacks [86.88061841975482]
  我々は,ゼロオーダーのオラクルにのみアクセス可能なブラックボックス設定において,逆例を生成する問題について検討する。 我々はこの設定を用いて、FGSM(Fast Gradient Sign Method)のブラックボックス版と同様に、高速な1ステップの敵攻撃を見つける。 提案手法はクエリを少なくし,現在の技術よりも攻撃成功率が高いことを示す。
  論文  参考訳（メタデータ） (2020-10-08T18:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。