論文の概要: When Parameter Gradient Flows Close in Representation Space
- arxiv url: http://arxiv.org/abs/2610.27474v1
- Date: Tue, 20 Oct 2026 01:43:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.581503
- Title: When Parameter Gradient Flows Close in Representation Space
- Title(参考訳): 表現空間におけるパラメータ勾配流の閉じた時
- Abstract要約: パラメータ化モデルの表現された勾配フローは、隠れパラメータ情報を保持できるモビリティに依存する。
両出力次元よりも広い2要素行列表現に対して許容されるすべての関節ランクを分類する。
一定の周囲表現と勾配-リー階数を持つ一般表現に対して、通常の閉包は局所不変度計量と同値である。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The represented gradient flow of a parameterized model depends on a mobility that can retain hidden parameter information. We study when one entire represented mobility map works for every autonomous loss from one fixed initialization. For two-factor matrix representations wider than both output dimensions, with individually full-row-rank factors, we classify all admissible joint ranks: closure occurs precisely at effective scalar-balanced minimal joint rank or a two-value signed spectral family at full joint rank. All intermediate ranks are excluded; positive represented flows belong to known square-root families. For general representations with constant ambient representation and gradient-Lie ranks, ordinary closure is equivalent to a local invariant-level metric in the analytic case and specified smooth regimes. An endpoint section forces the initially unrestricted mobility map to admit a locally smooth representative on the represented image. We also separate testing families: linear losses locally admit closure at every submersion, whereas one fixed translated strongly convex quadratic family fails it on a delayed-bracket example. A fixed output readout gives an ordinary squared-loss witness. These supporting results do not characterize quadratic-only closure in general. We retain the unresolved smooth output-rank-two case with Lie rank at least four. A frozen deterministic experiment checks a separate engineered-loss construction; it is distinguished from the squared-loss proof, universal theorems and empirical learning performance.
- Abstract(参考訳): パラメータ化モデルの表現された勾配フローは、隠れパラメータ情報を保持できるモビリティに依存する。
1つの固定初期化から全ての自律的損失に対して、1つの代表モビリティマップがいつ機能するかを研究する。
両出力次元よりも広い2要素行列表現に対して、各完全ローランク因子は、すべての許容関節ランクを分類する: 閉包は、有効スカラーバランスの最小関節ランクまたは完全関節ランクの2値符号付きスペクトルファミリーで正確に発生する。
すべての中間ランクは除外され、正の表現フローは既知の平方根族に属する。
一定の周囲表現と勾配-リー階数を持つ一般表現に対して、通常の閉包は解析ケースにおける局所不変度計量と等価であり、指定された滑らかな状態である。
エンドポイント部は、当初制限されていないモビリティマップに、表示された画像に局所的に滑らかな代表を付与するように強制する。
線形損失は各沈み込みにおける閉包を局所的に認め、一方、固定された変換された凸二次族は遅延ブラケットの例で失敗する。
固定出力読み出しは、通常の正方形の証人を与える。
これらの支持結果は一般に二次閉包を特徴づけるものではない。
我々は、リーランクが少なくとも4の未解決な滑らかな出力ランク2のケースを維持している。
凍結決定論的な実験は、別のエンジニアリングされたロバストな構成をチェックし、正方形のロバスト証明、普遍定理、経験的学習性能と区別される。
関連論文リスト
- Microscopically informed self-consistent multi-resolvent closure for dense many-body spectra [1.751364577113718]
密集多体スペクトルの多値階層は高次スペクトル-重み相関を符号化する。
近似有限パラメータ閉包から正確な代数的階層を分離する多解自己整合方程式を導入する。
論文 参考訳(メタデータ) (2026-10-20T11:20:23Z) - Approximating Measures on Function Spaces: Transport and Truncation [46.84909842613666]
関数空間の測度は逆問題や生成的モデリングを通して生じる。
参照測度$$と異なる測度のクラス$mathcalP_()$を有限次元写像$$でのみ導入する。
我々は$mathcalP_()$に対する近似理論を開発し、その内部に収まるための誤差解析を行う。
論文 参考訳(メタデータ) (2026-09-15T20:13:30Z) - Exact Contraction Rates via the Berkson--Porta Representation: A Sharp Threshold and Its Herglotz-Kernel Obstruction [0.0]
内部固定点を持つ単位円板の正則自己写像の半群は、古典的ベルクソン-ポルタ表現(英語版)により、単一の正則函数によって完全に決定される。
本稿では,この表現を用いて,ディスクのコバヤシ計量を最大速度でいつ収縮するかを正確に決定する。
論文 参考訳(メタデータ) (2026-08-01T17:42:02Z) - A Compositional Theory of Causally Masked Transformers [50.88598486616582]
モデルが実装した力学から直接表現性を導出する形式化を開発する。
各アテンションヘッドは、レイヤ内で独立して自身の状態を更新する。
修正されたソフトアテンションは、不可逆なチェックリストのような状態をサポートする。
論文 参考訳(メタデータ) (2026-07-29T14:47:19Z) - Information-Induced Training Geometry: Exact Reduction, Canonical Completion, and Structured Expressivity [0.0]
トレーニングデータは、宣言された情報チャネルに可視なコベクターを通して幾何学を制約する。
このような部分的な情報が参照に対して完全な正の彗星をどのように決定するかを考察する。
論文 参考訳(メタデータ) (2026-07-11T17:59:41Z) - Finite-Sample Selected Covariance Spectra in Classical Shadows [45.85698554568285]
主定理は任意のシャドウプロトコルに適用される。
固定された局所的次元を持つ一般の局所積影プロトコルでは、有限重積オブザーバブルは、サポートサイズと局所再構成係数によって制御される境界に導かれる。
偏りのある局所パウリ影に対しては、選択されたパウリ支援と局所基底選択確率から閉形式の有界性を評価する。
論文 参考訳(メタデータ) (2026-05-30T04:46:49Z) - A Mathematical Theory of Ranking [0.0]
ランキングシステムはスカラースコアから順序付きリストを生成するが、ランキングそのものはペア比較にのみ依存する。
我々はこの観測を真面目に行う数学的理論を開発し、絶対的なスコアではなく対の辺りの分析を中心とする。
論文 参考訳(メタデータ) (2026-04-09T17:00:49Z) - Deterministic Zeroth-Order Mirror Descent via Vector Fields with A Posteriori Certification [45.85698554568285]
我々は、勾配を一般的なベクトル場に置き換えることで、決定論的ゼロ階ミラー降下フレームワークを開発する。
我々の分析は、最終段階の不等式評価のための評価テンプレートを提供する。
これらの結果は、ブレグマンのアイデンティティ、決定論的証明、およびゼロ階ミラー降下におけるロバストな円錐幾何学を隠蔽した幾何学的リンクを明らかにする。
論文 参考訳(メタデータ) (2026-01-31T10:05:05Z) - The Implicit Bias of Gradient Descent on Separable Multiclass Data [38.05903703331163]
我々は、指数的尾特性のマルチクラス拡張を導入するために、置換同変と相対マージンベース(PERM)損失の枠組みを用いる。
提案手法は二分法の場合をよく反映しており,二分法と多分法のギャップを埋めるためのPERMフレームワークの威力を示すものである。
論文 参考訳(メタデータ) (2024-11-02T19:39:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。