論文の概要: Geometry-Aware Bayesian Parameter-Efficient Fine-Tuning on the Stiefel Manifold via Stein Variational Gradient Descent

• arxiv url: http://arxiv.org/abs/2609.08354v1
• Date: Tue, 08 Sep 2026 07:24:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.606264
• Title: Geometry-Aware Bayesian Parameter-Efficient Fine-Tuning on the Stiefel Manifold via Stein Variational Gradient Descent
• Title（参考訳）: 定常変分勾配の時効によるスティフェル多様体上の幾何学的ベイズパラメータの効率的な微調整
• Abstract要約: 特異値分解分解分解分解アダプタ上に構築し,Stein variational gradient descent (SVGD) に基づくフレームワークを開発する。 本手法は, モデルキャリブレーションの精度をSVGDよりも高めるとともに, ユークリッド空間で定式化される不確実性推定手法を提案する。
• 参考スコア（独自算出の注目度）: 16.900185930373315
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Several geometry-aware approaches to low-rank adaptation have emerged for parameter-efficient fine-tuning of large pre-trained models. These methods aim to take full advantage of the geometric structure of low-rank manifolds for improving the efficiency in subspace utilization and reducing redundancy by enforcing orthogonality constraints during optimization. The strong empirical results of these techniques have motivated further study into whether predictions from such geometry-based adaptation methods could be overconfident. In this paper, we build on the singular value decomposition factorization of adapters to develop a framework based on Stein variational gradient descent (SVGD). In this formulation, the low-rank matrices are transported along the Stiefel manifold to match the targeted distributions while retaining their crucial geometric structure. Since this geometry-aware SVGD approach provides multiple solutions during inference, it supports uncertainty quantification and produces better-calibrated adapters on the Stiefel manifold. Extensive experiments show that our method delivers strong model calibration and attains higher prediction accuracy than SVGD and related uncertainty estimation methods that are formulated in Euclidean space.
• Abstract（参考訳）: 低ランク適応に対する幾何的アプローチは、大きな事前訓練されたモデルのパラメータ効率の良い微調整のために現れた。 これらの手法は、低階多様体の幾何学的構造をフル活用して、部分空間利用の効率を改善し、最適化中に直交制約を課すことにより冗長性を低減することを目的としている。 これらの手法の強い実証結果は、このような幾何学に基づく適応法からの予測が過信されるかどうかをさらに研究する動機となった。 本稿では,アダプタの特異値分解分解分解分解に基づいて,Stein variational gradient descent (SVGD) に基づくフレームワークを開発する。 この定式化において、低ランク行列はスティーフェル多様体に沿って輸送され、その決定的な幾何学的構造を維持しながら対象の分布に一致する。 この幾何対応のSVGDアプローチは推論中に複数の解を提供するので、不確実な定量化をサポートし、スティフェル多様体上でより良い校正されたアダプタを生成する。 実験の結果,本手法はモデルキャリブレーションの精度がSVGDよりも高いこと,およびユークリッド空間で定式化される不確実性推定法が得られた。

関連論文リスト

• Convolutional Symmetric AutoEncoders: enhancing latent stability via differential geometry [0.0]
  この研究は、畳み込み層の表現整合性を拡張することにより、arXiv:2307.15288v2とarXiv:2506.11641v1による研究に基づいている。 本稿では, 対称畳み込み自己エンコーダ (CAE) の新たなクラスを導入し, 多様体パラメトリゼーション写像の一次特性を具現化する。
  論文  参考訳（メタデータ） (2026-07-01T09:16:37Z)
• Geometry-Aware Neural Optimizer for Shape Optimization and Inversion [14.303592801147225]
  幾何学はPDEが支配するシステムの中心であり、形状最適化と反転を動機付けている。 textbftextscGANOは、幾何学表現、フィールドレベルの予測、および単一の潜在空間ループにおける自動最適化/反転を統一する。 textscGANOはヌルスペースプロジェクションによる部分的制御をサポートし、レメッシングフリープロジェクションを使用して幾何学処理を高速化する。
  論文  参考訳（メタデータ） (2026-05-06T03:51:22Z)
• Constrained Extreme Gradient Boosting for Adapting Reduced-Order Models [4.028552544912019]
  計算流体力学や有限要素解析のような高忠実度シミュレーションは複雑な工学系のモデリングに不可欠である。 プロジェクションベースのリダクションオーダーモデル(ROM)は、低次元部分空間に制御力学を投影することにより、このコストを軽減する。 しかし、それらの性能はパラメータの変動によって劣化し、適応的なベース構築の必要性を動機付けている。
  論文  参考訳（メタデータ） (2026-05-05T16:58:09Z)
• Adaptive regularization parameter selection for high-dimensional inverse problems: A Bayesian approach with Tucker low-rank constraints [1.6936594801109557]
  高次元空間からタッカー分解による低次元コアテンソル空間への変分推論を変換することにより、計算複雑性を低減する。 鍵となる革新は、異方性構造に対する適応正則化を可能にするモードごとの精度パラメータの導入である。 この手法は110,000の変数を持つ問題にスケールし、従来の手法を0.73-2.09dB、熱伝導率6.75dBで上回っている。
  論文  参考訳（メタデータ） (2026-03-17T02:23:44Z)
• Learning Geometry: A Framework for Building Adaptive Manifold Models through Metric Optimization [8.201374511929538]
  本稿では,従来のパラメータ最適化を超越した機械学習のパラダイムを提案する。 既定位相を持つ多様体上の計量テンソル場を最適化することにより、モデル空間の幾何学的構造を動的に形成する。 この研究は、その幾何学とトポロジーを自律的に進化させることができる完全にダイナミックな「メタ・ラーナー」を構築するための確固たる基礎を築いた。
  論文  参考訳（メタデータ） (2025-10-30T01:53:32Z)
• On the Optimal Construction of Unbiased Gradient Estimators for Zeroth-Order Optimization [57.179679246370114]
  既存の手法の潜在的な制限は、ステップサイズが提案されない限り、ほとんどの摂動推定器に固有のバイアスである。 本稿では, 良好な構成を維持しつつ, バイアスを排除した非バイアス勾配スケーリング推定器のファミリーを提案する。
  論文  参考訳（メタデータ） (2025-10-22T18:25:43Z)
• CP$^2$: Leveraging Geometry for Conformal Prediction via Canonicalization [51.716834831684004]
  幾何データシフトにおける共形予測(CP)の問題について検討する。 本稿では,幾何的ポーズなどの幾何学的情報を統合することを提案する。
  論文  参考訳（メタデータ） (2025-06-19T10:12:02Z)
• Scaling Riemannian Diffusion Models [68.52820280448991]
  非自明な多様体上の高次元タスクにスケールできることを示す。 我々は、$SU(n)$格子上のQCD密度と高次元超球面上の対照的に学習された埋め込みをモデル化する。
  論文  参考訳（メタデータ） (2023-10-30T21:27:53Z)
• Last-Iterate Convergence of Adaptive Riemannian Gradient Descent for Equilibrium Computation [52.73824786627612]
  本稿では,テクスト幾何学的強単調ゲームに対する新たな収束結果を確立する。 我々のキーとなる結果は、RGDがテクスト幾何学的手法で最終定位線形収束を実現することを示しています。 全体として、ユークリッド設定を超えるゲームに対して、幾何学的に非依存な最終点収束解析を初めて提示する。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• Geometric Methods for Sampling, Optimisation, Inference and Adaptive Agents [102.42623636238399]
  我々は,サンプリング,最適化,推論,適応的意思決定といった問題に根ざした基本的な幾何学的構造を同定する。 これらの問題を効率的に解くためにこれらの幾何学的構造を利用するアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2022-03-20T16:23:17Z)
• Optimization on manifolds: A symplectic approach [127.54402681305629]
  本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。 我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
  論文  参考訳（メタデータ） (2021-07-23T13:43:34Z)
• Robust, Accurate Stochastic Optimization for Variational Inference [68.83746081733464]
  また, 共通最適化手法は, 問題が適度に大きい場合, 変分近似の精度が低下することを示した。 これらの結果から,基礎となるアルゴリズムをマルコフ連鎖の生成とみなして,より堅牢で正確な最適化フレームワークを開発する。
  論文  参考訳（メタデータ） (2020-09-01T19:12:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。