論文の概要: Sampling through Algorithmic Diffusion in non-convex Perceptron problems

• arxiv url: http://arxiv.org/abs/2502.16292v1
• Date: Sat, 22 Feb 2025 16:43:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:52:04.822231
• Title: Sampling through Algorithmic Diffusion in non-convex Perceptron problems
• Title（参考訳）: 非凸パーセプトロン問題におけるアルゴリズム拡散によるサンプリング
• Authors: Elizaveta Demyanenko, Davide Straziota, Carlo Baldassi, Carlo Lucibello,
• Abstract要約: 複製法に基づく形式化を導入し,数桁のパラメータで実現可能性を示す。 負の安定性を持つパーセプトロン問題の場合、レプリカ領域全体にわたって近似均一サンプリングが達成可能であることを示す。 対照的に、二元パーセプトロンの場合、典型的な解の集合によって示される重なり合いのギャップ特性により拡散による一様サンプリングは必ず失敗する。
• 参考スコア（独自算出の注目度）: 2.860608352191896
• License:
• Abstract: We analyze the problem of sampling from the solution space of simple yet non-convex neural network models by employing a denoising diffusion process known as Algorithmic Stochastic Localization, where the score function is provided by Approximate Message Passing. We introduce a formalism based on the replica method to characterize the process in the infinite-size limit in terms of a few order parameters, and, in particular, we provide criteria for the feasibility of sampling. We show that, in the case of the spherical perceptron problem with negative stability, approximate uniform sampling is achievable across the entire replica symmetric region of the phase diagram. In contrast, for the binary perceptron, uniform sampling via diffusion invariably fails due to the overlap gap property exhibited by the typical set of solutions. We discuss the first steps in defining alternative measures that can be efficiently sampled.
• Abstract（参考訳）: 我々は、アルゴリズム確率的局所化(英語版)と呼ばれる偏微分拡散プロセスを用いて、単純で非凸なニューラルネットワークモデルの解空間からサンプリングする問題を解析し、そこでスコア関数は近似メッセージパッシングによって提供される。 本稿では,数桁のパラメータの点から無限大の極限における過程を特徴付けるレプリカ法に基づくフォーマリズムを導入し,特にサンプリングの実現可能性の基準を提供する。 負の安定性を持つ球面パーセプトロン問題の場合、位相図のレプリカ対称領域全体にわたって近似均一サンプリングが達成可能であることを示す。 対照的に、二元パーセプトロンの場合、典型的な解の集合によって示される重なり合いのギャップ特性により拡散による一様サンプリングは必ず失敗する。 効率的なサンプル化が可能な代替手段を定義するための第一歩について論じる。

関連論文リスト

• Information-Theoretic Proofs for Diffusion Sampling [13.095978794717007]
  本稿では, 拡散法に基づくジェネレーティブ・モデリング手法の基本的, 自己完結型分析法を提案する。 拡散ステップサイズが十分に小さい場合、サンプリング分布はターゲット分布に確実に近いことを示す。 また,各ステップに追加のランダム性を導入して,比較過程における高次モーメントに一致させることにより,収束を促進させる方法についての透過的なビューを提供する。
  論文  参考訳（メタデータ） (2025-02-04T13:19:21Z)
• Solving High-dimensional Inverse Problems Using Amortized Likelihood-free Inference with Noisy and Incomplete Data [43.43717668587333]
  本研究では,高次元逆問題に対する正規化フローに基づく確率論的逆転法を提案する。 提案手法は,データ圧縮のための要約ネットワークとパラメータ推定のための推論ネットワークの2つの補完ネットワークで構成されている。 提案手法を地下水水文学における逆問題に適用し,空間的に疎らな時系列観測に基づく対流電界の後方分布を推定する。
  論文  参考訳（メタデータ） (2024-12-05T19:13:17Z)
• Harmonic Path Integral Diffusion [0.4527270266697462]
  本稿では,連続多変量確率分布から抽出する新しい手法を提案する。 本手法では,状態空間の起点を中心とするデルタ関数を$t=0$とし,ターゲット分布に$t=1$で変換する。 これらのアルゴリズムは他のサンプリング手法、特にシミュレートおよびパス積分サンプリングと対比し、解析制御、精度、計算効率の点でそれらの利点を強調した。
  論文  参考訳（メタデータ） (2024-09-23T16:20:21Z)
• Total Uncertainty Quantification in Inverse PDE Solutions Obtained with Reduced-Order Deep Learning Surrogate Models [50.90868087591973]
  機械学習サロゲートモデルを用いて得られた逆PDE解の総不確かさを近似したベイズ近似法を提案する。 非線型拡散方程式に対する反復的アンサンブルスムーズおよび深層アンサンブル法との比較により,提案手法を検証した。
  論文  参考訳（メタデータ） (2024-08-20T19:06:02Z)
• Amortized Posterior Sampling with Diffusion Prior Distillation [55.03585818289934]
  逆問題の解法として, 後方分布からのサンプルの変分推論手法を提案する。 本手法はユークリッド空間の標準信号や多様体上の信号に適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-07-25T09:53:12Z)
• Solving Linear Inverse Problems Provably via Posterior Sampling with Latent Diffusion Models [98.95988351420334]
  本稿では,事前学習した潜在拡散モデルを利用した線形逆問題の解法を初めて提案する。 線形モデル設定において,証明可能なサンプル回復を示すアルゴリズムを理論的に解析する。
  論文  参考訳（メタデータ） (2023-07-02T17:21:30Z)
• A Variational Perspective on Solving Inverse Problems with Diffusion Models [101.831766524264]
  逆タスクは、データ上の後続分布を推測するものとして定式化することができる。 しかし、拡散過程の非線形的かつ反復的な性質が後部を引き付けるため、拡散モデルではこれは困難である。 そこで我々は,真の後続分布を近似する設計手法を提案する。
  論文  参考訳（メタデータ） (2023-05-07T23:00:47Z)
• Restoration-Degradation Beyond Linear Diffusions: A Non-Asymptotic Analysis For DDIM-Type Samplers [90.45898746733397]
  本研究では拡散生成モデルに用いる決定論的サンプリング器の非漸近解析のためのフレームワークを開発する。 確率フローODEに沿った1ステップは,1) 条件付き対数線上を無限に先行して上昇する回復ステップ,2) 雑音を現在の勾配に向けて前向きに進行する劣化ステップの2段階で表すことができる。
  論文  参考訳（メタデータ） (2023-03-06T18:59:19Z)
• Inverse Models for Estimating the Initial Condition of Spatio-Temporal Advection-Diffusion Processes [5.814371485767541]
  逆問題とは、観測データを用いて物理過程の未知のパラメータについて推論することである。 本稿では,空間的に疎いデータストリームを用いた時空間対流拡散過程の初期状態の推定について検討する。
  論文  参考訳（メタデータ） (2023-02-08T15:30:16Z)
• SNIPS: Solving Noisy Inverse Problems Stochastically [25.567566997688044]
  本稿では,線形逆問題の後部分布からサンプルを抽出するSNIPSアルゴリズムを提案する。 我々の解はランゲヴィン力学とニュートン法からのアイデアを取り入れ、事前訓練された最小二乗誤差(MMSE)を利用する。 得られたサンプルは、与えられた測定値と鋭く、詳細で一致しており、それらの多様性は、解決される逆問題に固有の不確実性を明らかにする。
  論文  参考訳（メタデータ） (2021-05-31T13:33:21Z)
• Spatially Adaptive Inference with Stochastic Feature Sampling and Interpolation [72.40827239394565]
  スパースサンプリングされた場所のみの機能を計算することを提案する。 次に、効率的な手順で特徴写像を密に再構築する。 提案したネットワークは、様々なコンピュータビジョンタスクの精度を維持しながら、かなりの計算を省くために実験的に示されている。
  論文  参考訳（メタデータ） (2020-03-19T15:36:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。