論文の概要: When the Gradient Sees Rank: Provable Necessity, Causal Recruitment, and Composition in Trained Matrix Memories

• arxiv url: http://arxiv.org/abs/2609.17594v1
• Date: Sat, 12 Sep 2026 04:44:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.449474
• Title: When the Gradient Sees Rank: Provable Necessity, Causal Recruitment, and Composition in Trained Matrix Memories
• Title（参考訳）: グラディエントがランクを得たとき--トレーニングマトリックス記憶における必然性, 因果性, 組成
• Abstract要約: 勾配に基づくトレーニングは、マトリクスメモリにアソシエーションを格納し構成するのに必要なランクを学習することができる。 5種のうち4種は21倍の自己申告を通じて少なくとも0.9996の回復を維持している。 K$以下の1つの収束種子に対して、エンティティ・サブスペース演算子を用いた計算は、0.008から7つの応用を通して測定されたコサインを予測する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Can gradient-based training learn the rank needed to store and compose associations in a matrix memory? In our earlier study, we used a matrix-augmented reasoner on a task that admits a rank-1 solution, leaving this question open. We train matrix memories on $K$ fresh key-value bindings whose exact linear recovery requires $\mathrm{rank}(Z) \geq K$. A fixed linear readout queries a single matrix state without access to the original bindings. Experiments measure recovery by cosine similarity greater than 0.9, a threshold distinct from mathematical equality. Learned effective rank increases with $K$ across the tested grid (Spearman $ρ= 1.0$ at $d = 16$). Training-time rank caps produce a recovery transition near $k = K$: at $d = 8$, $K = 4$, rank 3 gives at most 0.0004 recovery and rank 4 gives 0.97. Four of five seeds retain at least 0.9996 recovery through 21-fold self-application of the trained operator. On the entity subspace, the learned operator has effective rank close to $K$ and approximates the ideal cycle. For the single converged seed capped below $K$, a calculation using the entity-subspace operator and ideal cycle predicts the measured cosine within 0.008 through seven applications. Extending training resolves several initial failures, but recovery still declines at larger matrix dimensions with encoder width fixed.
• Abstract（参考訳）: 勾配に基づくトレーニングは、マトリクスメモリにアソシエーションを格納し構成するのに必要なランクを学習できるだろうか? 先程の研究では、ランク1の解を許容するタスクに対して、行列拡張推論を用いて、この問題を解き放ったままにしました。 正確な線形リカバリが$\mathrm{rank}(Z) \geq K$である新しいキー値バインディングで行列記憶を訓練する。 固定線形読み出しは、元のバインディングにアクセスすることなく単一のマトリックス状態にクエリする。 実験は、数学的等式とは別の閾値である0.9以上のコサイン類似性による回復を測定する。 学習された有効ランクは、テストグリッド全体の$K$で増加する(Spearman $ρ=1.0$ at $d = 16$)。 トレーニングタイムのランクキャップは、$k = K$に近いリカバリ遷移を生成する: at $d = 8$, $K = 4$, rank 3 は少なくとも 0.0004 のリカバリを与え、ランク 4 は 0.97 を与える。 5種のうち4種は、訓練されたオペレーターの21倍の自己適用を通じて少なくとも0.9996の回復を維持している。 実体部分空間において、学習作用素は有効ランクが$K$に近く、イデアルサイクルを近似する。 K$以下の1つの収束種子に対して、エンティティ・サブスペース演算子とイデアルサイクルを用いた計算は、0.008のコサインを7つのアプリケーションを通して予測する。 拡張トレーニングはいくつかの初期失敗を解決するが、エンコーダ幅を固定した大きな行列次元ではリカバリは依然として減少する。

関連論文リスト

• The Rank the Task Demands: A Causal Rank Law for Matrix Memories Trained on Group Composition [0.0]
  固定デコーダを用いた単一状態ボトルネック下で訓練した群分解試験場における因果的証拠を報告する。 コンパニオンペーパーは、$K$-pairのアソシエイト結合テストベッド上で、類似した採用パターンと因果的必要パターンを確立する。
  論文  参考訳（メタデータ） (2026-09-10T22:35:08Z)
• Generalized Linear Bandits with Memory [30.756127188585907]
  メモリを用いた一般化線形バンドレットについて検討し, メモリ行列による報酬の過去の行動に依存する内因性非定常的設定について検討した。 既知の $tildeO(T3/4)$ regret bound はゆるい解析から生じるものであり、線形の場合の $tildeO(sqrtT)$ regret rate を回復するシャープな解析を提供する。
  論文  参考訳（メタデータ） (2026-08-16T16:39:09Z)
• Training Transformers in Cosine Coefficient Space [0.0]
  キャラクターレベルのシェイクスピアのスクラッチから訓練されたトランスフォーマーは、検証損失が1.604$で$K = mn/2$に達した。 同じトレーニング可能なパラメータ数でのランク48のLoRA分解は、わずか1.801$である。 ランダムな正規直交基底はノイズ中のDCTを$K = mn/2$で一致させ、$K = mn/10$と$K = mn/20$で圧縮すると、高階行列をホストできる部分空間が損失を低く保つことを示す。
  論文  参考訳（メタデータ） (2026-04-06T05:39:31Z)
• Optimal Sketching for Residual Error Estimation for Matrix and Vector Norms [50.15964512954274]
  線形スケッチを用いた行列とベクトルノルムの残差誤差推定問題について検討する。 これは、前作とほぼ同じスケッチサイズと精度で、経験的にかなり有利であることを示す。 また、スパースリカバリ問題に対して$Omega(k2/pn1-2/p)$低いバウンダリを示し、これは$mathrmpoly(log n)$ factorまで厳密である。
  論文  参考訳（メタデータ） (2024-08-16T02:33:07Z)
• Low-rank Matrix Bandits with Heavy-tailed Rewards [55.03293214439741]
  アンダーライン重み付きアンダーラインリワード(LowHTR)を用いたアンダーラインローランク行列バンディットの問題点について検討する。 観測されたペイオフに対するトランケーションと動的探索を利用して,LOTUSと呼ばれる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-04-26T21:54:31Z)
• Improved Algorithm for Adversarial Linear Mixture MDPs with Bandit Feedback and Unknown Transition [71.33787410075577]
  線形関数近似,未知遷移,および逆損失を用いた強化学習について検討した。 我々は高い確率で$widetildeO(dsqrtHS3K + sqrtHSAK)$ regretを実現する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-07T15:03:50Z)
• One-sided Matrix Completion from Two Observations Per Row [95.87811229292056]
  行列の欠落値を$XTX$で計算する自然アルゴリズムを提案する。 合成データの一方の回収と低被覆ゲノムシークエンシングについて,本アルゴリズムの評価を行った。
  論文  参考訳（メタデータ） (2023-06-06T22:35:16Z)
• Can Learning Be Explained By Local Optimality In Robust Low-rank Matrix Recovery? [18.49274803854387]
  我々は、$Xstar$に対応する真の解が局所最適として現れるのではなく、厳密なサドル点として現れることを示した。 我々の発見は、すべての厳格なサドルポイントは望ましくないものであり、避けるべきであるという従来の信念に異議を唱えた。
  論文  参考訳（メタデータ） (2023-02-21T19:47:31Z)
• Low-rank Matrix Recovery With Unknown Correspondence [62.634051913953485]
  我々は、M$の回復のために証明不可能な非漸近誤差を伴い、M$の適切な低ランク条件下で核ノルム最小化問題を解くことで、M$を回復可能であることを示す。 シミュレーションデータの実験、MovieLens 100KデータセットとYale Bデータベースは、$textM3textOがいくつかのベースラインで最先端のパフォーマンスを達成し、高精度な地上真実対応を回復できることを示した。
  論文  参考訳（メタデータ） (2021-10-15T09:27:50Z)
• Rank $2r$ iterative least squares: efficient recovery of ill-conditioned low rank matrices from few entries [4.230158563771147]
  低階行列補完のための新しい,単純で,計算効率のよい反復法を提案する。 我々のアルゴリズムは、R2RILS(R2RILS for rank $2r$peterative least squares)と呼ばれ、メモリ要件が低い。
  論文  参考訳（メタデータ） (2020-02-05T16:20:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。