論文の概要: Flow-Induced Diagonal Gaussian Processes

• arxiv url: http://arxiv.org/abs/2509.17153v2
• Date: Thu, 02 Oct 2025 18:17:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-06 16:35:51.984853
• Title: Flow-Induced Diagonal Gaussian Processes
• Title（参考訳）: 流れ誘起対角ガウス過程
• Authors: Moule Lin, Andrea Patane, Weipeng Jing, Shuhao Guan, Goetz Botterweck,
• Abstract要約: フロー誘起対角ガウス過程(フロー誘起対角ガウス過程、FiD-GP)は、コンパクトな誘導重み行列を組み込んだ圧縮フレームワークである。 本稿では,FiD-GPがOoD(Out-of-Distribution)検出のための単一パスプロジェクションの設計にどのように役立つかを示す。
• 参考スコア（独自算出の注目度）: 7.720921989821054
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present Flow-Induced Diagonal Gaussian Processes (FiD-GP), a compression framework that incorporates a compact inducing weight matrix to project a neural network's weight uncertainty into a lower-dimensional subspace. Critically, FiD-GP relies on normalising-flow priors and spectral regularisations to augment its expressiveness and align the inducing subspace with feature-gradient geometry through a numerically stable projection mechanism objective. Furthermore, we demonstrate how the prediction framework in FiD-GP can help to design a single-pass projection for Out-of-Distribution (OoD) detection. Our analysis shows that FiD-GP improves uncertainty estimation ability on various tasks compared with SVGP-based baselines, satisfies tight spectral residual bounds with theoretically guaranteed OoD detection, and significantly compresses the neural network's storage requirements at the cost of increased inference computation dependent on the number of inducing weights employed. Specifically, in a comprehensive empirical study spanning regression, image classification, semantic segmentation, and out-of-distribution detection benchmarks, it cuts Bayesian training cost by several orders of magnitude, compresses parameters by roughly 51%, reduces model size by about 75%, and matches state-of-the-art accuracy and uncertainty estimation.
• Abstract（参考訳）: 本稿では,フロー誘導対角ガウス過程(FiD-GP)について述べる。これは,ニューラルネットワークの重みの不確かさを低次元部分空間に投影するために,コンパクトな誘導重み行列を組み込んだ圧縮フレームワークである。 批判的に、FiD-GPはその表現性を高め、数値的に安定なプロジェクション機構の目的を通じて誘導部分空間を特徴次幾何学と整合させるため、正規化-フローの先行とスペクトル正規化に依存している。 さらに、FiD-GPの予測フレームワークが、OoD(Out-of-Distribution)検出のための単一パスプロジェクションを設計するのにどう役立つかを示す。 解析の結果, SVGPベースのベースラインと比較して, 各種タスクにおける不確実性推定能力を向上し, 理論的に保証されたOoD検出による厳密なスペクトル残差境界を満足し, 推論計算の増大を犠牲にして, ニューラルネットワークの記憶要求を著しく圧縮することがわかった。 具体的には、回帰、画像分類、セマンティックセグメンテーション、およびアウト・オブ・ディストリビューション検出ベンチマークを対象とする総合的な実証研究において、ベイズトレーニングコストを数桁の規模で削減し、パラメータを約51%圧縮し、モデルサイズを約75%削減し、最先端の精度と不確実性の推定とを一致させる。

関連論文リスト

• An End-to-End Differentiable, Graph Neural Network-Embedded Pore Network Model for Permeability Prediction [0.42970700836450487]
  細孔ネットワークモデル (PNMs) は細孔スケールの油圧コンダクタンスを推定し、その精度を複雑な構造で制限する。 本稿では,グラフニューラルネットワーク(GNN)をPNMに組み込む,エンドツーエンドの差別化可能なハイブリッドフレームワークを提案する。 このモデルは高い精度を達成し、様々なスケールでうまく結合し、純粋なデータ駆動型アプローチと従来のPNMアプローチの両方より優れている。
  論文  参考訳（メタデータ） (2025-09-17T09:15:23Z)
• A Computable Measure of Suboptimality for Entropy-Regularised Variational Objectives [17.212481754312048]
  ベイズ以降のいくつかの手法は、エントロピー規則化された変分目的が最小化される確率分布をターゲットにしている。 この柔軟性の向上は、目標に対する明示的な非正規化密度へのアクセスを失うことにより、計算上の課題をもたらす。 そこで我々は,「漸進的不一致」と呼ばれる新たな準最適度尺度を導入し,これを明示的に計算する。
  論文  参考訳（メタデータ） (2025-09-12T16:38:41Z)
• On the Convergence of DP-SGD with Adaptive Clipping [56.24689348875711]
  勾配クリッピングによるグラディエントDescentは、微分プライベート最適化を実現するための強力な技術である。 本稿では,量子クリッピング(QC-SGD)を用いたSGDの総合収束解析について述べる。 本稿では,QC-SGDが一定閾値クリッピングSGDに類似したバイアス問題にどのように悩まされているかを示す。
  論文  参考訳（メタデータ） (2024-12-27T20:29:47Z)
• Validation Diagnostics for SBI algorithms based on Normalizing Flows [55.41644538483948]
  本研究は,NFに基づく多次元条件(後)密度推定器の検証診断を容易にすることを提案する。 また、局所的な一貫性の結果に基づいた理論的保証も提供する。 この作業は、より良い特定モデルの設計を支援したり、新しいSBIアルゴリズムの開発を促進するのに役立つだろう。
  論文  参考訳（メタデータ） (2022-11-17T15:48:06Z)
• On the optimization and pruning for Bayesian deep learning [1.0152838128195467]
  重み空間上でニューラルネットワークを学習するための適応型変分ベイズアルゴリズムを提案する。 EM-MCMCアルゴリズムにより,ワンショットで最適化とモデルプルーニングを行うことができる。 我々の密度モデルは最先端の性能に到達でき、スパースモデルは以前提案したプルーニング方式と比較して非常によく機能する。
  論文  参考訳（メタデータ） (2022-10-24T05:18:08Z)
• Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
  本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。 我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
  論文  参考訳（メタデータ） (2022-09-19T18:48:00Z)
• Design of Compressed Sensing Systems via Density-Evolution Framework for Structure Recovery in Graphical Models [10.667885727418705]
  観測データからベイズネットワークの構造を学習することはNP-Hard問題であることが示されている。 圧縮線形測定システムを最適化するための新しい密度進化に基づくフレームワークを提案する。 GBNの構造は実際に圧縮された測定結果から復元可能であることを示す。
  論文  参考訳（メタデータ） (2022-03-17T22:16:38Z)
• Monocular Depth Estimation Primed by Salient Point Detection and Normalized Hessian Loss [43.950140695759764]
  本稿では,単眼深度推定のための高精度で軽量なフレームワークを提案する。 深度方向のスケーリングとせん断に不変な正規化ヘッセン損失項を導入し,精度を著しく向上させることを示した。 提案手法は,NYU-Depth-v2 と KITTI の3.1-38.4 倍小さいモデルを用いて,ベースライン手法よりもパラメータ数が多い場合の最先端結果を実現する。
  論文  参考訳（メタデータ） (2021-08-25T07:51:09Z)
• Precise characterization of the prior predictive distribution of deep ReLU networks [45.46732383818331]
  ガウス重み付き有限幅ReLUネットワークの事前予測分布を正確に推定する。 この結果は,例えば,ネットワークの重みについて,深さと幅にインフォームドされた事前の予測分散を制御するなど,事前設計に関する貴重なガイダンスを提供する。
  論文  参考訳（メタデータ） (2021-06-11T21:21:52Z)
• The Heavy-Tail Phenomenon in SGD [7.366405857677226]
  最小損失のHessianの構造に依存すると、SGDの反復はエンフェビーテールの定常分布に収束する。 深層学習におけるSGDの行動に関する知見に分析結果を変換する。
  論文  参考訳（メタデータ） (2020-06-08T16:43:56Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。