論文の概要: LARC: Low-Rank Adaptive Residual Connections for Learning in Frozen Models

• arxiv url: http://arxiv.org/abs/2609.40063v1
• Date: Wed, 30 Sep 2026 16:21:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:28.035392
• Title: LARC: Low-Rank Adaptive Residual Connections for Learning in Frozen Models
• Title（参考訳）: LARC:凍結モデルにおける学習のための低ランク適応残差接続
• Abstract要約: 本稿では,メモリ・メディア・ラーニング・アーキテクチャにおける数値ポリシ・キャリアの入力側実現について述べる。 凍結したMiniCPM5-1B-SFT基板上で12,288個のトレーニング可能なパラメータを持つランク4入力残基について検討した。
• 参考スコア（独自算出の注目度）: 0.5371337604556311
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-Rank Adaptive Residual Connections (LARC) give a frozen model a compact numerical state that can learn from feedback. The map $h+BAh$ adds a low-rank correction to a hidden representation. A slow state $ρ$ learns starting factors across tasks; a private fast state $Φ$ copies them, changes with feedback, and resets to the trained initialization. This report specifies an input-side realization of the numerical policy carrier in Memory-Mediated Learning Architecture and examines its factor-space dynamics and learning lifetime. We study a rank-4 input residual with 12,288 trainable parameters on a frozen MiniCPM5-1B-SFT substrate. In a four-candidate program-selection task, two feedback-gradient steps reduce expected query execution error by 24.65 and 36.65 percentage points relative to resetting to the respective trained static and post-adaptation initializations. These development results cover 16 parameter groups and three paired training seeds. A direct support-loss selection rule is much more accurate, reaching 0.78125% error. In a repository-balanced chronological replay of public continuous-integration jobs, retaining online updates raises half-Brier loss from 0.1274 to 0.1808. A fixed follow-up intervention records same-batch non-descent and inconsistent future benefit from shrinking updates. Together, the algebra and measurements distinguish residual capacity, adaptation relative to a starting point, and usefulness on later decisions.
• Abstract（参考訳）: LARC(Low-Rank Adaptive Residual Connections)は、フリーズモデルに、フィードバックから学習可能なコンパクトな数値状態を与える。 マップ $h+BAh$ は、隠された表現に低ランクの補正を加える。 遅い状態の$ρ$はタスク間の開始要素を学習し、プライベートなファストステートの$\$はそれらをコピーし、フィードバックで変更し、トレーニングされた初期化にリセットする。 本稿では,メモリ・メディア・ラーニング・アーキテクチャにおける数値ポリシ・キャリアの入力側実現を提案し,その因子空間のダイナミクスと学習期間について検討する。 凍結したMiniCPM5-1B-SFT基板上で12,288個のトレーニング可能なパラメータを持つランク4入力残基について検討した。 4つの候補プログラム選択タスクでは、2つのフィードバック段階のステップにより、トレーニングされた静的および後適応の初期化に対するリセットに対して、予測クエリ実行エラーを24.65と36.65のパーセンテージで削減する。 これらの開発結果は、16のパラメータ群と3つのペアのトレーニング種子をカバーしている。 直接サポートロス選択規則はより正確であり、0.78125%の誤差に達する。 公開継続的統合ジョブのリポジトリバランスの時間的リプレイでは、オンライン更新を維持することで、半ブリアの損失が0.1274から0.1808に増加した。 固定されたフォローアップ介入は、更新の縮小による非未成熟で一貫性のない将来の利益を記録する。 代数と測度は共に、余剰容量、出発点に対する適応、そして後の決定における有用性を区別する。

関連論文リスト

• Jacobian Rank Collapse in Decision-Focused Learning [0.5097809301149341]
  決定中心学習(DFL)は、下流目標を通じて予測者を訓練するが、異なる損失は独立したパラメータ更新方向を提供する必要はない。 我々は,この制約を予測者ヤコビアンによって特徴付け,スパースインデックストラッキングを用いて,予測者が読み取った共分散エントリと学習に利用できるパラメータ方向とを識別する。 実験では、幾何がいつ決定品質に変換されるかを調べる。
  論文  参考訳（メタデータ） (2026-09-30T08:21:32Z)
• Self-Confirming Superposition Traps in Reinforcement Learning [62.71685993550818]
  強化学習はエージェントのポリシーによって選択されたデータに基づいて表現し、その結果のリターンを使って次の選択を導く。 これらのデータに対して表現フィッティングがグローバルに最適である場合でも,このループは低リターンポリシーを維持可能であることを示す。
  論文  参考訳（メタデータ） (2026-09-26T21:56:26Z)
• Common-Mode Collapse and Recovery in Direct Feedback Alignment [0.764671395172401]
  直接フィードバックアライメントは、出力誤差の固定されたランダムな投影を通して隠れた層を訓練する。 MNISTでは、クラス陰性性は大部分が崩壊するが、読み出し学習は一定の学習速度で遅いままである。 ベースラインの読み出しをクラスにキャリブレーションすることは、崩壊を抑制し、学習を高速化する。
  論文  参考訳（メタデータ） (2026-09-25T17:43:40Z)
• Dynamics-Induced Commitment in Learning-Based Robotic Penalty Kicks [31.095840839156065]
  ロボットゲームでの学習は、身体がまだ実行可能であることによって制限される。 我々はこれを,ゲームレベルの自己プレーポリシーがサッカー全体のコントローラを固定する階層型ヒューマノイド四段式ペナルティシステムで研究する。
  論文  参考訳（メタデータ） (2026-09-17T21:21:35Z)
• Behaviorally Effective LoRA Writes Are Sparse and Structured [0.0]
  低ランク適応では更新のランクが固定されるが、トレーニング済みの書き込みのどの部分が実際に動作しているかは特定できない。 動作に有効なLoRA書き込みは、生の低ランクパラメータ化が示唆するよりも疎く、構造化され、はるかに集中していることを示す。
  論文  参考訳（メタデータ） (2026-09-01T15:09:43Z)
• Zero2Skill: Bootstrapping Robot Skills through Autonomous Data Collection, Training, and Deployment [53.913175773174636]
  既存のパイプラインは、自己リセット、VLM検証、言語指導による修正を通じて、人間の労力を減らす。 Zero2Skill(ゼロ2スキル)は、人ロボットの共生型エージェントシステムで、丸ごとの修正を維持・再利用する。
  論文  参考訳（メタデータ） (2026-07-15T17:16:24Z)
• REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
  本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。 我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
  論文  参考訳（メタデータ） (2026-06-17T10:37:23Z)
• AdaPaD: Adaptive Parallel Deflation for PEFT with Self-Correcting Rank Discovery [10.176501817419371]
  本稿では,AdaPaD(Adaptive Parallel Deflation)について述べる。 我々は、各成分の誤差がウォームアップ期間後に指数関数的に崩壊することを証明する。 AdaPaDは、GLUE上の適応ランクのLoRAベースラインとDeBERTaV3ベースとの整合パラメータ予算で競合する。
  論文  参考訳（メタデータ） (2026-05-11T15:44:13Z)
• Gumbel Reranking: Differentiable End-to-End Reranker Optimization [61.16471123356738]
  RAGシステムは関連する文書を識別するためにリランカーに依存している。 注釈付きクエリ-ドキュメントペアが不足しているため、これらのモデルの微調整は依然として難しい。 我々は,トレーニングと推論のギャップを最小限に抑えることを目的とした,リランカーのためのエンドツーエンドのトレーニングフレームワークであるGumbel Re rankを提案する。
  論文  参考訳（メタデータ） (2025-02-16T13:23:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。