論文の概要: Orthogonal Polynomial Approximation for Matrix Log Normalization in Global Covariance Pooling

• arxiv url: http://arxiv.org/abs/2608.19021v1
• Date: Wed, 19 Aug 2026 15:17:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-20 20:13:55.439945
• Title: Orthogonal Polynomial Approximation for Matrix Log Normalization in Global Covariance Pooling
• Title（参考訳）: 大域的共分散プールにおける行列ログ正規化のための直交多項式近似
• Abstract要約: Global Covariance Pooling (GCP)は、二階特徴統計をキャプチャすることでディープネットワークを改善し、特にきめ細かい認識に有効である。 鍵となる要素は、平均固有値事前正規化(英語版)であり、ログの特異点から離れた1付近のスペクトルを中心とし、閉じた形でlog(A)の特異部分を返すポスト補償(英語版)である。
• 参考スコア（独自算出の注目度）: 11.561251776738324
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Global Covariance Pooling (GCP) improves deep networks by capturing second-order feature statistics, and is especially effective for fine-grained recognition. Because covariance matrices live on the Symmetric Positive Definite (SPD) manifold, a normalization step is required before the Euclidean classifier. The faithful choice is the matrix logarithm (MLN-COV), which maps the SPD manifold to its tangent space; in practice it was abandoned in favour of the matrix square root because its eigendecomposition-based gradient is numerically unstable. We show that this instability is an artifact of computing the logarithm spectrally, not of the logarithm itself. Approximating the logarithm with finite polynomials in the covariance matrix removes the eigendecomposition from both passes: every operation becomes a General Matrix Multiplication (GEMM), the gradient stays bounded on the spectral support of the pre-normalized covariance, and the unstable 1/(lambda_i-lambda_j) term never appears. The key ingredient is a mean-eigenvalue pre-normalization that centres the spectrum near 1, away from the singularity of log, with a scalar post-compensation that returns the singular part of log(A) in closed form. Our recommended normalizer is a degree-8 Chebyshev expansion evaluated by a three-term matrix recurrence, with a matching reverse recurrence for the backward pass; Legendre, Laguerre, Taylor and Pade expansions are studied as controls that isolate the roles of the basis and of the target function. On three fine-grained benchmarks and ImageNet-1k the decomposition-free logarithm is both faster and more accurate than the spectral logarithm and than the square-root approximations it replaces, and at matched basis and degree the log target beats the square-root target, confirming that the gain comes from the faithful Riemannian map rather than from a better polynomial family.
• Abstract（参考訳）: Global Covariance Pooling (GCP)は、二階特徴統計をキャプチャすることでディープネットワークを改善し、特にきめ細かい認識に有効である。 共分散行列は対称正定値(SPD)多様体上に存在するので、ユークリッド分類器の前に正規化ステップが必要である。 忠実な選択は行列対数(MLN-COV)であり、SPD多様体をその接空間に写すが、実際にはその固有分解に基づく勾配が数値的に不安定であるため、行列平方根を好まなかった。 この不安定性は対数自体ではなくスペクトル的に対数を計算する人工物であることを示す。 対数と共分散行列の有限多項式を近似すると、両方のパスから固有分解が取り除かれる: 全ての演算が一般行列乗法(GEMM)となり、勾配は前正規化共分散のスペクトル的支持に束縛され、不安定な 1/(lambda_i-lambda_j) 項は決して現れない。 鍵となる要素は、平均固有値事前正規化(英語版)であり、ログの特異点から1に近いスペクトルを中心とし、閉じた形でlog(A)の特異部分を返すスカラー後補償(英語版)である。 推奨正規化器は3段階の行列再帰で評価された次数8のチェビシェフ展開であり,後方通過の逆再帰と一致し,Randre,Laguerre,Taylor,Pade展開は,基本機能と目的機能の分離を制御した制御として検討される。 3つのきめ細かいベンチマークとImageNet-1kでは、分解自由対数法はスペクトル対数法よりも高速かつ正確であり、それが置き換える平方根近似よりも正確である。

関連論文リスト

• VORT: Adaptive Power-Law Memory for NLP Transformers [0.913755431537592]
  学習可能な分数次 _iin[,1] をそれぞれ割り当てるメモリアーキテクチャを導入する。 分数重み付け和は非マルコフ和であるため、ガウス・ラゲール二次方程式によって計算された指数和(SOE)分解によって近似する。 リトリーバルは、正確にO(KSd_d_v)-per-stepの再発を有するリニアアテンションアキュムレータを介してキーと連想する。
  論文  参考訳（メタデータ） (2026-05-09T14:20:17Z)
• Muon Dynamics as a Spectral Wasserstein Flow [21.689846521201588]
  正半定値行列に関するワッサーシュタインノルムの族を導入する。 静的ベナモ・ブレニエ式と動的ベナモ・ブレニエ式との同値性を証明する。 流れモデルに付随する厳密な勾配を同定する。
  論文  参考訳（メタデータ） (2026-04-06T17:41:12Z)
• Robust Automatic Differentiation of Square-Root Kalman Filters via Gramian Differentials [3.542663650865005]
  平方根カルマンフィルタは、Colesky-factor形式の状態共分散を数値安定性のために伝播する。 彼らの中心となる演算、mathbbRn × m$ の行列 $M の三角化は、実際にはQR分解によって計算される。 これはムーア-ペンローズ擬逆数に基づく列空間項と、M$の列空間の外の摂動に対するヌル空間補正である。
  論文  参考訳（メタデータ） (2026-03-13T19:55:08Z)
• Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
  一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。 一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。 グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
  論文  参考訳（メタデータ） (2026-02-26T15:27:53Z)
• Linear combination of unitaries with exponential convergence [0.0]
  単項演算子の線形結合に非単項演算子を分解する一般的な方法を提案する。 量子回路で実装されると、結果のブロックエンコーディングのサブ正規化は逆誤差の二重対数でスケールする。
  論文  参考訳（メタデータ） (2026-01-25T22:47:21Z)
• Understanding Matrix Function Normalizations in Covariance Pooling through the Lens of Riemannian Geometry [63.694184882697435]
  グローバル共分散プーリング(GCP)は、高レベルの表現の2階統計を利用して、ディープニューラルネットワーク(DNN)の性能を向上させることが実証されている。 本稿では、リーマン幾何学の観点から行列対数とパワーの包括的かつ統一的な理解を提供する。
  論文  参考訳（メタデータ） (2024-07-15T07:11:44Z)
• Stochastic Parallelizable Eigengap Dilation for Large Graph Clustering [12.544602297450533]
  私たちは、ほとんどのエッジがクラスタ内に落ち、わずかにエッジがクラスタ間に落ちているノードのクラスタを特定することを目的としています。 スペクトルクラスタリングのコアステップは、対応するグラフラプラシア行列の固有分解を行う。 本稿では,SVDソルバを高速化し,スペクトルクラスタリングを行うために,スペクトルを並列化可能なアプローチを提案する。
  論文  参考訳（メタデータ） (2022-07-29T10:13:07Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• On Linear Stochastic Approximation: Fine-grained Polyak-Ruppert and Non-Asymptotic Concentration [115.1954841020189]
  The inequality and non-asymptotic properties of approximation procedure with Polyak-Ruppert averaging。 一定のステップサイズと無限大となる反復数を持つ平均的反復数に対する中心極限定理(CLT)を証明する。
  論文  参考訳（メタデータ） (2020-04-09T17:54:18Z)
• Multi-Objective Matrix Normalization for Fine-grained Visual Recognition [153.49014114484424]
  双線形プールは細粒度視覚認識(FGVC)において大きな成功を収める 近年,行列パワー正規化は双線形特徴量において2次情報を安定化させることができることが示されている。 両線形表現を同時に正規化できる効率的な多目的行列正規化法(MOMN)を提案する。
  論文  参考訳（メタデータ） (2020-03-30T08:40:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。