論文の概要: Implicit Bias and Convergence of Matrix Stochastic Mirror Descent

• arxiv url: http://arxiv.org/abs/2602.18997v1
• Date: Sun, 22 Feb 2026 00:59:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-24 17:42:02.435321
• Title: Implicit Bias and Convergence of Matrix Stochastic Mirror Descent
• Title（参考訳）: マトリックス確率鏡の入射バイアスと収束性
• Authors: Danil Akhtiamov, Reza Ghane, Babak Hassibi,
• Abstract要約: 本稿では,行列パラメータとベクトル値予測を用いたミラー・ディクセント(SMD)について検討する。 行列ミラー関数 $(cdot)$ が指数関数的に大域補間子に収束することを証明する。 これらの結果は,行列ミラーマップが高次元多出力問題において帰納バイアスを定式化することを示す。
• 参考スコア（独自算出の注目度）: 14.991382702354924
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate Stochastic Mirror Descent (SMD) with matrix parameters and vector-valued predictions, a framework relevant to multi-class classification and matrix completion problems. Focusing on the overparameterized regime, where the total number of parameters exceeds the number of training samples, we prove that SMD with matrix mirror functions $ψ(\cdot)$ converges exponentially to a global interpolator. Furthermore, we generalize classical implicit bias results of vector SMD by demonstrating that the matrix SMD algorithm converges to the unique solution minimizing the Bregman divergence induced by $ψ(\cdot)$ from initialization subject to interpolating the data. These findings reveal how matrix mirror maps dictate inductive bias in high-dimensional, multi-output problems.
• Abstract（参考訳）: 本稿では,行列パラメータとベクトル値予測を併用したSMD(Stochastic Mirror Descent)について検討する。 パラメータの総数がトレーニングサンプル数を超える過度パラメータ化状態に着目して、行列ミラー関数が $(\cdot)$ の SMD が指数関数的に大域的補間子に収束することを証明した。 さらに、行列SMDアルゴリズムがデータを補間する初期化対象から$(\cdot)$で誘導されるブレグマンの発散を最小限に抑える一意解に収束することを示し、ベクトルSMDの古典的な暗黙バイアス結果を一般化する。 これらの結果は,行列ミラーマップが高次元多出力問題において帰納バイアスを定式化することを示す。

関連論文リスト

• Testing for latent structure via the Wilcoxon--Wigner random matrix of normalized rank statistics [0.20052993723676893]
  我々は、Wilcoxon--Wignerランダム行列と呼ばれるある種の対称行列を導入し、体系的に研究する。 Wilcoxon-Wignerランダム行列の先頭固有値と対応する固有ベクトルは、明示的なスケーリング項による変動を許容する。 その結果、2つの仮説テスト問題に対処するための厳密なパラメータフリーおよび分布フリースペクトル手法が実現された。
  論文  参考訳（メタデータ） (2025-12-21T23:49:22Z)
• Efficient Adaptation of Pre-trained Vision Transformer underpinned by Approximately Orthogonal Fine-Tuning Strategy [57.54306942529943]
  約直交微調整(AOFT)による低ランク重量行列の表現法を提案する。 本手法は,下流画像分類タスクにおける競合性能を実現する。
  論文  参考訳（メタデータ） (2025-07-17T16:09:05Z)
• Fundamental Limits of Matrix Sensing: Exact Asymptotics, Universality, and Applications [34.781211988554425]
  複数のサンプルからベイズ最適学習性能を特徴付ける厳密な方程式を提案する。 我々は統計物理学から非厳密な手法を用いて得られた予測を数学的に確立する。
  論文  参考訳（メタデータ） (2025-03-18T10:36:30Z)
• Understanding Matrix Function Normalizations in Covariance Pooling through the Lens of Riemannian Geometry [63.694184882697435]
  グローバル共分散プーリング(GCP)は、高レベルの表現の2階統計を利用して、ディープニューラルネットワーク(DNN)の性能を向上させることが実証されている。 本稿では、リーマン幾何学の観点から行列対数とパワーの包括的かつ統一的な理解を提供する。
  論文  参考訳（メタデータ） (2024-07-15T07:11:44Z)
• Regularized Projection Matrix Approximation with Applications to Community Detection [1.3761665705201904]
  本稿では,アフィニティ行列からクラスタ情報を復元するための正規化プロジェクション行列近似フレームワークを提案する。 3つの異なるペナルティ関数について検討し, それぞれが有界, 正, スパースシナリオに対応するように調整した。 合成および実世界の両方のデータセットで行った数値実験により、我々の正規化射影行列近似アプローチはクラスタリング性能において最先端の手法を著しく上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-05-26T15:18:22Z)
• The Generalization Error of Stochastic Mirror Descent on Over-Parametrized Linear Models [37.6314945221565]
  ディープネットワークは、目に見えないデータにうまく一般化することが知られている。 正規化特性は「良い」性質を持つ補間解が見つかることを保証している。 理論を検証し、2つのデータモデルを導入するシミュレーション結果を提案する。
  論文  参考訳（メタデータ） (2023-02-18T22:23:42Z)
• Adversarially-Trained Nonnegative Matrix Factorization [77.34726150561087]
  非負行列ファクタリゼーションの逆学習版を検討する。 我々の定式化では、攻撃者は与えられたデータ行列に有界ノルムの任意の行列を追加する。 辞書と係数行列を最適化するために, 逆学習に触発された効率的なアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2021-04-10T13:13:17Z)
• Robust Low-rank Matrix Completion via an Alternating Manifold Proximal Gradient Continuation Method [47.80060761046752]
  ロバスト低ランク行列補完(RMC)は、コンピュータビジョン、信号処理、機械学習アプリケーションのために広く研究されている。 この問題は、部分的に観察された行列を低ランク行列とスパース行列の重ね合わせに分解することを目的とした。 RMCに取り組むために広く用いられるアプローチは、低ランク行列の核ノルム(低ランク性を促進するために)とスパース行列のl1ノルム(空間性を促進するために)を最小化する凸定式化を考えることである。 本稿では、近年のローワークの動機付けについて述べる。
  論文  参考訳（メタデータ） (2020-08-18T04:46:22Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Information-Theoretic Limits for the Matrix Tensor Product [8.206394018475708]
  本稿では,ランダム行列の行列テンソル積を含む高次元推論問題について検討する。 本稿では,高次元行列保存信号の解析のための新しい手法を紹介する。
  論文  参考訳（メタデータ） (2020-05-22T17:03:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。