論文の概要: Optimal Pruning for Neural Architectures using Fisher Information Distances
- arxiv url: http://arxiv.org/abs/2609.16129v1
- Date: Mon, 14 Sep 2026 18:00:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.158476
- Title: Optimal Pruning for Neural Architectures using Fisher Information Distances
- Title（参考訳）: 漁業情報距離を用いたニューラルネットワークの最適プルーニング
- Abstract要約: パラメータのプルーニングはその値を0に設定し、パラメータが消滅する超曲面へのモデルの変位を表す。
未舗装のモデルからこの超曲面への最小距離は、モデル空間の測地線距離を通して自然に計算される。
この測地距離のより忠実な近似を徐々に分析することにより、プルーニング法における最適性の自然な階層が決定される。
- 参考スコア（独自算出の注目度）: 0.15554979526414522
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A new scheme for parameter pruning is introduced, derived from the differential-geometric distance in model space. Pruning a parameter sets its value to zero, representing a displacement of the model to the hypersurface on which that parameter vanishes. The minimal distance from the unpruned model to this hypersurface is naturally computed via the geodesic distance in the model space as determined by the Fisher information metric. This distance determines the true change in the model, and its performance, under pruning. By analysing progressively more faithful approximations of this geodesic distance a natural hierarchy of optimality for pruning methods is determined. This starts with the traditional magnitude pruning, then develops into new more sophisticated and effective pruning schemes. The method is demonstrated for both fully-connected networks and vision transformers, on MNIST and CIFAR-10, over the complete $0$-$100\%$ pruning range and across five random seeds. It outperforms pruning by parameter magnitude and by the local Fisher information alone in every architecture and dataset combination considered, on both accuracy and the Matthews correlation coefficient. Additionally, analysis of different levels of geodesic approximation produces intermediate pruning schemes that are computationally efficient and maintain near-optimal performance. This geometric picture supplies not only a state-of-the-art pruning methodology for AI models, but also a verified and mathematically-motivated justification for pruning schemes.
- Abstract（参考訳）: モデル空間における微分幾何学的距離から導いた新しいパラメータプルーニング手法が導入された。
パラメータのプルーニングはその値を0に設定し、パラメータが消滅する超曲面へのモデルの変位を表す。
未舗装モデルからこの超曲面への最小距離は、フィッシャー情報計量によって決定されるモデル空間の測地線距離によって自然に計算される。
この距離は、プルーニングの下でモデルとその性能の真の変化を決定する。
この測地距離のより忠実な近似を徐々に分析することにより、プルーニング法における最適性の自然な階層が決定される。
これは従来の等級プルーニングから始まり、さらに高度で効果的なプルーニングスキームへと発展する。
この方法は、MNISTとCIFAR-10上で、0$-100\%$プルーニング範囲と5つのランダムシードに対して、完全に接続されたネットワークとビジョントランスフォーマーの両方に対して実証されている。
パラメータ等級と局所フィッシャー情報のみにより、精度とマシューズ相関係数の両方で考慮された全てのアーキテクチャとデータセットの組み合わせにおいて、プルーニングよりも優れる。
さらに、測地近似の異なるレベルの解析は、計算効率が良く、最適に近い性能を維持する中間的なプルーニングスキームを生成する。
この幾何学図は、AIモデルのための最先端のプルーニング方法論だけでなく、プルーニングスキームの検証と数学的動機付けの正当化も提供する。
関連論文リスト
- A Defense of the Quadratic Model [71.57026347416729]
最も単純な最適化モデル -- 二次モデル -- をテストする。
1億5000万のパラメータと3Bのトレーニングトークンを持つLLM設定で驚くほど予測可能であることを示す。
論文 参考訳（メタデータ） (2026-07-23T18:02:03Z) - Tubular Riemannian Laplace Approximations for Bayesian Neural Networks [0.0]
ラプラス近似はニューラルネットワークにおけるベイズ近似の最も単純かつ実用的な方法の一つである。
近年の研究では、この構造に適応する幾何ガウス近似が提案されている。
本稿では,Tubular Riemannian Laplace (TRL)近似を導入する。
論文 参考訳（メタデータ） (2025-12-30T17:50:55Z) - Lotus-2: Advancing Geometric Dense Prediction with Powerful Image Generative Model [32.831576387973875]
安定, 高精度, 微粒な幾何的密度予測のための2段階決定的フレームワークを提案する。
特に、第1段階では、コア予測器は、クリーンデータ目的の単一ステップ決定論的定式化を採用する。
第2段階では、ディテールシャープナーは、コア予測器によって定義される多様体内で制約付き多段階整流補正を行う。
論文 参考訳（メタデータ） (2025-11-30T18:57:25Z) - An End-to-End Differentiable, Graph Neural Network-Embedded Pore Network Model for Permeability Prediction [0.42970700836450487]
細孔ネットワークモデル (PNMs) は細孔スケールの油圧コンダクタンスを推定し、その精度を複雑な構造で制限する。
本稿では,グラフニューラルネットワーク(GNN)をPNMに組み込む,エンドツーエンドの差別化可能なハイブリッドフレームワークを提案する。
このモデルは高い精度を達成し、様々なスケールでうまく結合し、純粋なデータ駆動型アプローチと従来のPNMアプローチの両方より優れている。
論文 参考訳（メタデータ） (2025-09-17T09:15:23Z) - Geometric Operator Learning with Optimal Transport [77.16909146519227]
複素測地上での偏微分方程式(PDE)に対する演算子学習に最適輸送(OT)を統合することを提案する。
表面に焦点を当てた3次元シミュレーションでは、OTベースのニューラルオペレーターが表面形状を2次元パラメータ化潜在空間に埋め込む。
ShapeNet-Car と DrivAerNet-Car を用いたレイノルズ平均化 Navier-Stokes 方程式 (RANS) を用いた実験により,提案手法は精度の向上と計算コストの削減を図った。
論文 参考訳（メタデータ） (2025-07-26T21:28:25Z) - A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳（メタデータ） (2024-04-18T16:46:08Z) - Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
線形化されたラプラス近似に下界を導入する。
これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
論文 参考訳（メタデータ） (2023-06-06T19:02:57Z) - Numerically Stable Sparse Gaussian Processes via Minimum Separation
using Cover Trees [57.67528738886731]
誘導点に基づくスケーラブルスパース近似の数値安定性について検討する。
地理空間モデリングなどの低次元タスクに対しては,これらの条件を満たす点を自動計算する手法を提案する。
論文 参考訳（メタデータ） (2022-10-14T15:20:17Z) - Structured Optimal Variational Inference for Dynamic Latent Space Models [16.531262817315696]
動的ネットワークの潜在空間モデルについて検討し、その目的は、ペアの内積と潜在位置のインターセプトを推定することである。
後部推論と計算スケーラビリティのバランスをとるために、構造的平均場変動推論フレームワークを検討する。
論文 参考訳（メタデータ） (2022-09-29T22:10:42Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳（メタデータ） (2021-12-07T11:26:41Z) - Inverting brain grey matter models with likelihood-free inference: a
tool for trustable cytoarchitecture measurements [62.997667081978825]
脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。
我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。
次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
論文 参考訳（メタデータ） (2021-11-15T09:08:27Z) - An Artificial Intelligence System for Combined Fruit Detection and
Georeferencing, Using RTK-Based Perspective Projection in Drone Imagery [0.0]
この研究では、商業用果樹園の空中ドローン画像からリンゴを検出してカウントする人工知能(AI)システムを紹介します。
計算コストを低減するため、ネットワークの新たな前駆的段階は、個々の木の切り抜き画像に生画像を前処理するように設計されている。
ユニークな地理空間識別子は、遠近法投影モデルを用いてこれらに割り当てられる。
実験により、より高速なR-CNNの文献に見ることのないk平均クラスタリング手法が、校正されたmAPの最も重要な改善をもたらすことが示された。
論文 参考訳（メタデータ） (2021-01-01T23:39:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。