論文の概要: LASER: Low-Rank Activation SVD for Efficient Recursion

• arxiv url: http://arxiv.org/abs/2604.17224v1
• Date: Sun, 19 Apr 2026 03:11:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.40245
• Title: LASER: Low-Rank Activation SVD for Efficient Recursion
• Title（参考訳）: レーザー: 効率的な再帰のための低域活性化SVD
• Authors: Ege Çakar, Ketan Ali Raghu, Lia Zheng,
• Abstract要約: Tiny Recursive Models(TRMs)の幾何学的構造について検討する。 動的圧縮フレームワークであるLASER(Low-Rank Activation SVD for Efficient Recursion)を用いて,この構造を利用する。 重み分担は,少数の支配的固有方向に沿って反復計算に集中しており,その集中度は計算部位によって大きく異なることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recursive architectures such as Tiny Recursive Models (TRMs) perform implicit reasoning through iterative latent computation, yet the geometric structure of these reasoning trajectories remains poorly understood. We investigate the activation manifold of TRMs during recursive unrolling and find that activations occupy an effectively linear, low-dimensional subspace whose principal directions can be tracked dynamically with cheap power iterations. This suggests that weight-sharing concentrates iterative computation along a small number of dominant eigendirections, and we find that this concentration varies sharply across computational sites. We exploit this structure through LASER (Low-Rank Activation SVD for Efficient Recursion), a dynamic compression framework that maintains an evolving low-rank basis via matrix-free subspace tracking with a fidelity-triggered reset mechanism, achieving ${\sim}60\%$ activation memory savings with no statistically significant accuracy degradation. Our analysis raises questions about how recursive architectures allocate representational capacity during implicit reasoning, and whether this concentration can be exploited to improve the efficiency and stability of latent computation.
• Abstract（参考訳）: Tiny Recursive Models (TRMs) のような再帰的アーキテクチャは反復潜在計算を通じて暗黙的な推論を行うが、これらの推論軌道の幾何学的構造はいまだに理解されていない。 再帰的アンロール中のTRMの活性化多様体について検討し、低消費電力の繰り返しで主方向を動的に追従できる、効果的に線形で低次元の部分空間を活性化が占めることを示した。 このことは、重み共有が少数の支配的固有方向に沿って反復計算に集中していることを示し、この集中度が計算現場で急激に変化することを示唆している。 この構造をLASER (Low-Rank Activation SVD for Efficient Recursion) という動的圧縮フレームワークを用いて利用し, 行列のない部分空間追跡と不確実性トリガーリセット機構を用いて, 統計的に有意な精度劣化を伴わずに, アクティベーションメモリの節約を${\sim}60\%で達成した。 本分析では,暗黙的推論において再帰的アーキテクチャが表現能力をどのように割り当てるか,また,この濃度を利用して潜在計算の効率と安定性を向上させることができるのか,という疑問を提起する。

関連論文リスト

• ODELoRA: Training Low-Rank Adaptation by Solving Ordinary Differential Equations [54.886931928255564]
  低ランク適応(LoRA)は、深層移動学習においてパラメータ効率の高い微調整法として広く採用されている。 常微分方程式(ODE)の形でLoRA因子行列に対する新しい連続時間最適化ダイナミクスを提案する。 ODELoRAは,問題次元の異なるスケールのディープニューラルネットワークのトレーニングに不可欠な特性である,安定した特徴学習を実現する。
  論文  参考訳（メタデータ） (2026-02-07T10:19:36Z)
• Learning by Steering the Neural Dynamics: A Statistical Mechanics Perspective [0.0]
  我々は、ニューラルネットワークが完全に局所的な分散学習をサポートする方法について研究する。 そこで本研究では,任意のバイナリ再帰ネットワークを用いた教師あり学習のための生物学的に妥当なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-10-13T22:28:34Z)
• Dynamical Learning in Deep Asymmetric Recurrent Neural Networks [1.3421746809394772]
  非対称なディープリカレントニューラルネットワークは、指数関数的に大きく、密度の高い内部表現の多様体を生み出すことを示す。 本稿では,再帰的ダイナミクスからインプット・アウトプット・アソシエーションが自然に出現する分散学習手法を提案する。
  論文  参考訳（メタデータ） (2025-09-05T12:05:09Z)
• Generative System Dynamics in Recurrent Neural Networks [56.958984970518564]
  リカレントニューラルネットワーク(RNN)の連続時間ダイナミクスについて検討する。 線形および非線形構成の両方において安定な極限サイクルを実現するためには,スキュー対称性の重み行列が基本であることを示す。 数値シミュレーションは、非線形活性化関数が極限周期を維持するだけでなく、システム統合プロセスの数値安定性を高めることを示す。
  論文  参考訳（メタデータ） (2025-04-16T10:39:43Z)
• Reinforcement Learning under Latent Dynamics: Toward Statistical and Algorithmic Modularity [51.40558987254471]
  強化学習の現実的な応用は、エージェントが複雑な高次元の観察を行う環境を含むことが多い。 本稿では,統計的・アルゴリズム的な観点から,textit General$ latent dynamicsの下での強化学習の課題に対処する。
  論文  参考訳（メタデータ） (2024-10-23T14:22:49Z)
• Enhancing Zeroth-order Fine-tuning for Language Models with Low-rank Structures [21.18741772731095]
  ゼロ階数(ZO)アルゴリズムは、関数値の有限差を用いて勾配を近似することで、有望な代替手段を提供する。 既存のZO法は、LLM微調整で一般的な低ランク勾配構造を捉えるのに苦労し、準最適性能をもたらす。 本稿では,LLMにおけるこの構造を効果的に捕捉する低ランクZOアルゴリズム(LOZO)を提案する。
  論文  参考訳（メタデータ） (2024-10-10T08:10:53Z)
• From Low Rank Gradient Subspace Stabilization to Low-Rank Weights: Observations, Theories, and Applications [85.17672240603011]
  大規模言語モデルにおける重み行列の非一様低ランク特性について検討する。 WeLore(Weight Low-Rank Projection)は、重み圧縮とメモリ効率の微調整を一体化したものである。
  論文  参考訳（メタデータ） (2024-07-15T21:05:20Z)
• Improved Model based Deep Learning using Monotone Operator Learning (MOL) [25.077510176642807]
  アンローリングに依存するMoDLアルゴリズムは、イメージリカバリのための強力なツールとして登場している。 我々は,現在展開されていないフレームワークに関連するいくつかの課題を克服するために,新しいモノトーン演算子学習フレームワークを導入する。 並列MRIにおける提案手法の有用性を実証する。
  論文  参考訳（メタデータ） (2021-11-22T17:42:27Z)
• Investigating the Scalability and Biological Plausibility of the Activation Relaxation Algorithm [62.997667081978825]
  アクティベーション・リラクシエーション(AR)アルゴリズムは、誤りアルゴリズムのバックプロパゲーションを近似するためのシンプルでロバストなアプローチを提供する。 このアルゴリズムは、学習可能な後方重みセットを導入することにより、さらに単純化され、生物学的に検証可能であることを示す。 また、元のARアルゴリズム(凍結フィードフォワードパス)の別の生物学的に信じられない仮定が、パフォーマンスを損なうことなく緩和できるかどうかについても検討する。
  論文  参考訳（メタデータ） (2020-10-13T08:02:38Z)
• Untangling tradeoffs between recurrence and self-attention in neural networks [81.30894993852813]
  本稿では,再帰的ネットワークにおける自己注意が勾配伝播に与える影響を公式に分析する。 長期的な依存関係を捉えようとするとき、勾配をなくすことの問題を緩和することを証明する。 本稿では,スパース自己アテンションを反復的にスケーラブルに利用するための関連性スクリーニング機構を提案する。
  論文  参考訳（メタデータ） (2020-06-16T19:24:25Z)
• Multivariate Functional Regression via Nested Reduced-Rank Regularization [2.730097437607271]
  多変量関数応答と予測器を備えた回帰モデルに適用するネスト型低ランク回帰(NRRR)手法を提案する。 非漸近解析により、NRRRは少なくとも低ランク回帰と同等の誤差率を達成できることを示す。 NRRRを電力需要問題に適用し、日中電力消費の軌跡と日中電力消費の軌跡を関連づける。
  論文  参考訳（メタデータ） (2020-03-10T14:58:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。