論文の概要: Riemannian Structure and Optimization for a Class of Low-Parametric Orthogonal Matrices

• arxiv url: http://arxiv.org/abs/2609.27982v1
• Date: Wed, 23 Sep 2026 12:07:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:18.010975
• Title: Riemannian Structure and Optimization for a Class of Low-Parametric Orthogonal Matrices
• Title（参考訳）: 低パラメトリック直交行列のクラスに対するリーマン構造と最適化
• Abstract要約: ブロック対角係数を固定置換した行列について検討する。 本稿では,その実装のための効率的なアルゴリズムを提案する。 また,多くのブロック対角因子をもつ因子分解の幾何学的および行列論的性質について検討した。
• 参考スコア（独自算出の注目度）: 2.244025488125748
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we are concerned with matrices formed by block-diagonal factors interleaved with fixed permutations -- a flexible family of structured matrices. This class has recently drawn interest in deep learning architectures for its balanced expressivity-efficiency trade-off, yet efficient computational strategies for working with it remain to be found. We approach this problem through Riemannian geometry and examine under what conditions this class admits a smooth manifold structure. For the practically important case of orthogonal two-factor matrices, we derive the essential Riemannian tools and propose efficient algorithms for their implementation. The algorithms leverage automatic differentiation, support parameter sharing within each factor, and avoid explicit dense matrix construction. We test them within the Riemannian optimization framework on the best matrix approximation problem and for parameter-efficient fine-tuning of large language models. Beyond the two-factor setting, we study the geometric and matrix-theoretic properties of factorizations with a larger number of block-diagonal factors.
• Abstract（参考訳）: 本稿では, 構造行列のフレキシブルな系である固定置換と交差するブロック対角因子によって形成される行列について検討する。 このクラスは最近、バランスの取れた表現効率のトレードオフのためにディープラーニングアーキテクチャに関心を寄せているが、それを扱うための効率的な計算戦略は見つからない。 我々はリーマン幾何学を通してこの問題にアプローチし、このクラスが滑らかな多様体構造を持つことを条件として検討する。 直交二要素行列の実用上重要な場合、本質的なリーマンツールを導出し、その実装に効率的なアルゴリズムを提案する。 アルゴリズムは自動微分を活用し、各因子におけるパラメータ共有をサポートし、明示的な高密度行列構成を避ける。 本稿では,行列近似問題とパラメータ効率のよい大規模言語モデルの微調整について,リーマン最適化フレームワーク内で検証する。 2因子設定の他に、多くのブロック対角因子を持つ因子化の幾何学的および行列論的性質について検討する。

関連論文リスト

• Riemannian Optimization for Hadamard Products of Low-Rank Matrices [8.444687277893827]
  2つの低ランク行列の要素的アダマール積は、乗法構造を持つデータに対してパラメータ効率のモデルを提供するが、追加の対称性が存在するため、そのモデリングは困難である。 空間の幾何学を活用するために、リーマン商多様体上の最適化としてそのような行列の学習を定式化する。 我々は、チューニング不要ガウスを用いた勾配のないガウス-ニュートン降下アルゴリズムを開発し、イテレーション毎に観測されたエントリ数に対して、ニュートンステップサイズと線形にスケールする。
  論文  参考訳（メタデータ） (2026-05-31T13:10:23Z)
• Generalized Tensor-based Parameter-Efficient Fine-Tuning via Lie Group Transformations [50.010924231754856]
  さまざまな下流タスクに事前訓練された基礎モデルを適用することは、人工知能のコアプラクティスである。 これを解決するために、LoRAのようなパラメータ効率細調整(PEFT)手法が登場し、研究の焦点となっている。 本稿では,行列型PEFT法を高次元パラメータ空間に拡張する一般化法を提案する。
  論文  参考訳（メタデータ） (2025-04-01T14:36:45Z)
• Structured Regularization for Constrained Optimization on the SPD Manifold [1.1126342180866644]
  対称ゲージ関数に基づく構造化正規化器のクラスを導入し、より高速な非制約手法でSPD多様体上の制約付き最適化を解けるようにする。 構造正規化器は望ましい構造(特に凸性や凸の差)を保存または誘導するために選択できることを示す。
  論文  参考訳（メタデータ） (2024-10-12T22:11:22Z)
• Understanding Matrix Function Normalizations in Covariance Pooling through the Lens of Riemannian Geometry [63.694184882697435]
  グローバル共分散プーリング(GCP)は、高レベルの表現の2階統計を利用して、ディープニューラルネットワーク(DNN)の性能を向上させることが実証されている。 本稿では、リーマン幾何学の観点から行列対数とパワーの包括的かつ統一的な理解を提供する。
  論文  参考訳（メタデータ） (2024-07-15T07:11:44Z)
• A Unified Framework for Discovering Discrete Symmetries [17.687122467264487]
  対称性を尊重する関数を対称性のクラスから学習する問題を考察する。 我々は、幅広いサブグループにわたる対称性の発見を可能にする統一的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2023-09-06T10:41:30Z)
• Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
  本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。 この問題は楕円分布のペナルティ化された最大推定値として表される。 楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
  論文  参考訳（メタデータ） (2022-10-21T13:19:45Z)
• On a class of geodesically convex optimization problems solved via Euclidean MM methods [50.428784381385164]
  ユークリッド凸化関数の違いは、統計学と機械学習の異なるタイプの問題の違いとして記述できることを示す。 最終的に、より広い範囲、より広い範囲の作業を支援するのです。
  論文  参考訳（メタデータ） (2022-06-22T23:57:40Z)
• Computing Large-Scale Matrix and Tensor Decomposition with Structured Factors: A Unified Nonconvex Optimization Perspective [33.19643734230432]
  本稿では、構造化行列とテンソル因子化の計算的側面に関する包括的なチュートリアルを提供する。 まず、多種多様な制約を伴う幅広い因数分解問題をカバーする一般化最適化理論から始める。 そして、私たちは、これらの導入原則の下で、特定のアルゴリズム設計を示すために、フードの下に進みます。
  論文  参考訳（メタデータ） (2020-06-15T07:19:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。