論文の概要: A Connection Between Score Matching and Local Intrinsic Dimension

• arxiv url: http://arxiv.org/abs/2510.12975v1
• Date: Tue, 14 Oct 2025 20:35:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-16 20:13:28.414332
• Title: A Connection Between Score Matching and Local Intrinsic Dimension
• Title（参考訳）: スコアマッチングと局所固有次元の関連性
• Authors: Eric Yeats, Aaron Jacobson, Darryl Hannan, Yiran Jia, Timothy Doster, Henry Kvinge, Scott Mahan,
• Abstract要約: 局所固有データ(英: local intrinsic data, LID)は、信号処理と学習理論における基本的な次元量である。 近年の研究では、拡散モデルがスコア推定のスペクトルを通してデータのLIDを捉えていることが判明している。 その結果, LID は denoising score matching loss よりも低く, この denoising score matching loss を LID 推定器として活用することが示唆された。
• 参考スコア（独自算出の注目度）: 6.169320217928575
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The local intrinsic dimension (LID) of data is a fundamental quantity in signal processing and learning theory, but quantifying the LID of high-dimensional, complex data has been a historically challenging task. Recent works have discovered that diffusion models capture the LID of data through the spectra of their score estimates and through the rate of change of their density estimates under various noise perturbations. While these methods can accurately quantify LID, they require either many forward passes of the diffusion model or use of gradient computation, limiting their applicability in compute- and memory-constrained scenarios. We show that the LID is a lower bound on the denoising score matching loss, motivating use of the denoising score matching loss as a LID estimator. Moreover, we show that the equivalent implicit score matching loss also approximates LID via the normal dimension and is closely related to a recent LID estimator, FLIPD. Our experiments on a manifold benchmark and with Stable Diffusion 3.5 indicate that the denoising score matching loss is a highly competitive and scalable LID estimator, achieving superior accuracy and memory footprint under increasing problem size and quantization level.
• Abstract（参考訳）: データの局所固有次元(LID)は信号処理と学習理論の基本的な量であるが、高次元の複雑なデータのLIDを定量化することは歴史的に難しい課題である。 近年の研究では、拡散モデルがスコア推定のスペクトルおよび様々なノイズ摂動下での密度推定の変化率を通してデータのLIDを捉えていることが判明している。 これらの手法はLIDを正確に定量化できるが、拡散モデルの多くの前方通過と勾配計算のどちらかを必要とし、計算やメモリ制約のあるシナリオで適用性を制限する。 その結果, LID は denoising score matching loss よりも低く, この denoising score matching loss を LID 推定器として活用することが示唆された。 さらに、等価な暗黙スコアマッチング損失は、正規次元を通してLIDを近似し、最近のLID推定器であるFLIPDと密接に関連していることを示す。 本実験は, 安定拡散3.5を用いて, 精度とメモリフットプリントが向上し, 問題サイズと量子化レベルが向上し, 高い競争力と拡張性を有する LID 推定器であることが示唆された。

関連論文リスト

• Sequential Change Point Detection via Denoising Score Matching [8.22915954499148]
  本稿では,データ分布のスコア関数をノイズ注入により推定するスコアベースCUSUM変化点検出法を提案する。 2つの合成データセットと実世界の地震前兆検出タスクの数値実験により,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2025-01-22T06:04:57Z)
• Data value estimation on private gradients [84.966853523107]
  勾配に基づく機械学習(ML)法では、デファクト微分プライバシー技術がランダムノイズで勾配を乱している。 データバリュエーションは、トレーニングデータにMLのパフォーマンスを特性付け、DPの強制を必要とするプライバシーに配慮したアプリケーションで広く使用されている。 我々は,データ値推定の不確かさをパラドックス的に線形に評価し,評価予算を増大させるため,勾配に不規則な雑音を注入するというデフォルトのアプローチを伴わないことを示す。 提案手法は, 予測の不確実性の線形化を確実に除去するために, 慎重に相関ノイズを注入することである。
  論文  参考訳（メタデータ） (2024-12-22T13:15:51Z)
• A Geometric View of Data Complexity: Efficient Local Intrinsic Dimension Estimation with Diffusion Models [12.636148533844882]
  低次元部分多様体の局所次元内在(LID)を推定することは長年の問題である。 本研究では,拡散モデルに付随するFokker-Planck方程式がLID推定器となることを示す。 FLIPDを合成LID推定ベンチマークに適用すると、完全に接続されたネットワークとして実装されたDMは、非常に効果的なLID推定器であることが分かる。
  論文  参考訳（メタデータ） (2024-06-05T18:00:02Z)
• A Data-driven Loss Weighting Scheme across Heterogeneous Tasks for Image Denoising [67.02529586335473]
  変分分解モデルでは、データ忠実度項の重みはノイズ除去能力を高める役割を担っている。 本研究では,これらの問題に対処するデータ駆動型損失重み付け手法を提案する。 DLWの顕著な性能を検証し,様々な変分復調モデルの複素雑音処理能力の向上に寄与することを示した。
  論文  参考訳（メタデータ） (2022-12-09T03:28:07Z)
• FP-Diffusion: Improving Score-based Diffusion Models by Enforcing the Underlying Score Fokker-Planck Equation [72.19198763459448]
  雑音が増大する傾向にあるデータ密度に対応する雑音条件スコア関数の族を学習する。 これらの摂動データ密度は、密度の時空間進化を管理する偏微分方程式(PDE)であるフォッカー・プランク方程式(Fokker-Planck equation, FPE)によって結合される。 我々は、摂動データ密度の雑音条件スコアを特徴付けるスコアFPEと呼ばれる対応する方程式を導出する。
  論文  参考訳（メタデータ） (2022-10-09T16:27:25Z)
• Local Intrinsic Dimensionality Signals Adversarial Perturbations [28.328973408891834]
  局所次元(Local dimensionality, LID)は、各データポイントを記述するのに必要な潜伏変数の最小数を記述する局所計量である。 本稿では、摂動データポイントのLID値に対する下界と上界を導出し、特に下界は摂動の大きさと正の相関を持つことを示す。
  論文  参考訳（メタデータ） (2021-09-24T08:29:50Z)
• SignalNet: A Low Resolution Sinusoid Decomposition and Estimation Network [79.04274563889548]
  本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。 基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。 シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
  論文  参考訳（メタデータ） (2021-06-10T04:21:20Z)
• Learning Optical Flow from a Few Matches [67.83633948984954]
  密な相関体積表現は冗長であり、その中の要素のほんの一部で正確なフロー推定が達成できることを示した。 実験により,高い精度を維持しつつ計算コストとメモリ使用量を大幅に削減できることを示した。
  論文  参考訳（メタデータ） (2021-04-05T21:44:00Z)
• Unsupervised Domain Adaptation in the Dissimilarity Space for Person Re-identification [11.045405206338486]
  そこで本稿では,ペア距離の整合性を実現するために,D-MMD(Dissimilarity-based Maximum Mean Discrepancy)の新たな損失を提案する。 3つの挑戦的なベンチマークデータセットによる実験結果から、D-MMDの損失は、ソースとドメインの分布がよりよくなるにつれて減少することが示された。
  論文  参考訳（メタデータ） (2020-07-27T22:10:46Z)
• Localized Debiased Machine Learning: Efficient Inference on Quantile Treatment Effects and Beyond [69.83813153444115]
  因果推論における(局所)量子化処理効果((L)QTE)の効率的な推定式を検討する。 Debiased Machine Learning (DML)は、高次元のニュアンスを推定するデータ分割手法である。 本稿では、この負担のかかるステップを避けるために、局所的脱バイアス機械学習(LDML)を提案する。
  論文  参考訳（メタデータ） (2019-12-30T14:42:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。