論文の概要: Static Gradient Attribution Underperforms a Density-Matched Random Mask on Loss-Based Forgetting Within LoRA B-Matrix

• arxiv url: http://arxiv.org/abs/2610.12744v1
• Date: Thu, 08 Oct 2026 21:44:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.288342
• Title: Static Gradient Attribution Underperforms a Density-Matched Random Mask on Loss-Based Forgetting Within LoRA B-Matrix
• Title（参考訳）: LoRA B-Matrix内における損失ベースゲッティングにおける密度整合ランダムマスクの静的グラディエント属性
• Abstract要約: 均一なランダムマスクは,Qwen2.5-3B上の7種の種子にまたがる勾配属性よりも連続的に損失ベースの後方移動を実現することを示す。 この利点は、試験されたタスクシーケンスの下での安定性-塑性トレードオフと一致している。
• 参考スコア（独自算出の注目度）: 8.614876658128056
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parameter-efficient continual learning updates a restricted subset of adapter parameters to incorporate sequential tasks while limiting catastrophic forgetting. Gradient attribution is a common rule for selecting that subset, but it requires an additional backward pass over calibration data. We identify a parameter-pool confound in comparisons between initialization-time gradient masks and unrestricted random masks under standard zero-initialized LoRA ($B=0$): the gradient with respect to $A$ is identically zero ($\partial\mathcal{L}/\partial A=0$), so gradient masks select strictly from the $B$ matrix whereas unrestricted random masks draw from both $A$ and $B$. Such a comparison changes both the selection rule and the candidate parameter pool. Isolating the selection criterion by restricting both approaches to the same parameter pool, we find a negative result: a uniform random mask consistently achieves lower loss-based backward transfer than gradient attribution across seven seeds on Qwen2.5-3B. The effect is concentrated on the medical task, which contributes 80\% of the aggregate; code and math move in the same direction, and legal shows no reliable difference. This advantage is consistent with a stability--plasticity trade-off under the tested task sequence, in which random masking slightly reduces single-task fitting. On the two discrete-option tasks (Medical and Legal), the mean accuracy-BWT difference is not statistically distinguishable from zero.
• Abstract（参考訳）: パラメータ効率のよい連続学習では、パラメータの制限されたサブセットを更新し、シーケンシャルなタスクを組み込むとともに、破滅的な忘れ込みを制限する。 グラディエント属性は、そのサブセットを選択するための一般的なルールであるが、キャリブレーションデータに対する追加の後方通過が必要である。 標準ゼロ初期化LoRA(B=0$):$A$ に関する勾配は同値ゼロ(\partial\mathcal{L}/\partial A=0$)であるため、非制限ランダムマスクは$A$と$B$から厳密に選択される。 このような比較は、選択規則と候補パラメータプールの両方を変える。 均一なランダムマスクは,Qwen2.5-3B上の7種の種子に対する勾配属性よりも連続的に損失に基づく後方移動を減少させる。 この効果は、集約の80%に寄与する医療タスクに集中しており、コードと数学は同じ方向に移動する。 この利点は、テストされたタスクシーケンスの下での安定性-塑性トレードオフと一致しており、ランダムマスキングはシングルタスクのフィッティングをわずかに減少させる。 2つの個別選択タスク(医学と法学)では、平均精度-BWT差は0と統計的に区別できない。

関連論文リスト

• TileSkipper: Region-Adaptive Tile Pruning for 3D Gaussian Splatting [60.48772713715659]
  TileSkipperは凍結チェックポイントに対して、ガウス単位の静的カットオフポリシーを選択する。 Mip-NeRF 360、Tants & Temples、Deep Blendingの13のシーンで、固定政治のAccuTileスイープは、標準解像度で1.088times$、幅で1.238times$3840Pixelsというデータセットとマクロのスピードアップを提供する。
  論文  参考訳（メタデータ） (2026-10-07T03:01:51Z)
• Active Data Acquisition with Side Information via Discrete Diffusion Priors [3.2299643462065277]
  データの取得にはコストがかかる – 高い測定忠実度は電力とストレージを犠牲にし、無関係なコンテンツを収集するリスクを負う。 このトレードオフを,1つのモデルではなく,幅広いタスクに関連するデータを取得する情報理論のフレームワークで解決する。 マスクポリシーは、予算の下で、離散画像とその部分観察との間の相互情報を最大化するために、どの画素を計測するかを選択する。
  論文  参考訳（メタデータ） (2026-09-26T05:15:19Z)
• High-Rate Quantized Matrix Multiplication II [29.75700570685703]
  我々は, 実用的なLCM量子化アルゴリズム(GPTQ)を改良するために, 給水をどのように利用できるかを示す。 スカラーINT量子化器のみを使用する最近のスキーム(WaterSIC')を解析し、そのハイレート性能をベースフリー(つまり、$_X$の行列式を特徴とする)として示す。
  論文  参考訳（メタデータ） (2026-05-13T16:47:25Z)
• Randomness is sometimes necessary for coordination [2.1104538070656087]
  完全パラメータ共有は、同種エージェントのための協調型マルチエージェント強化学習(MARL)において標準である。 置換対称性の観測の下では、共有決定論的ポリシーは全てのエージェントに対して同一の作用分布を出力し、役割の分化を不可能にする。 本稿では,各エージェントがタイムステップ毎にスカラー乱数をサンプリングするクロスアテンションアーキテクチャであるDiamond Attentionを提案する。
  論文  参考訳（メタデータ） (2026-05-07T18:27:15Z)
• Adaptation to Intrinsic Dependence in Diffusion Language Models [5.185131234265025]
  拡散言語モデル(DLM)は自己回帰(AR)アプローチに代わる有望な代替手段として登場した。 対象データ分布の(未知の)依存構造に適応するDLMの分布に依存しないアンマスキングスケジュールを提案する。 この結果は, 先行収束理論を著しく改善し, 低複雑さ分布に対する相当なサンプリング加速を得た。
  論文  参考訳（メタデータ） (2026-02-23T18:41:34Z)
• Robust Layerwise Scaling Rules by Proper Weight Decay Tuning [50.11170157029911]
  現代のスケール不変アーキテクチャでは、トレーニングは急速に劣化したグラデーション状態に入る。 我々は,AdamWに対して,幅をまたいだサブ層ゲインを保ったウェイトデカイスケーリングルールを導入する。 この結果は,パラメータが設定した定常スケールを明示的に制御することにより,ほぼ入出力体制を超えて$mu$Pを拡大する。
  論文  参考訳（メタデータ） (2025-10-17T02:58:35Z)
• FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
  Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。 Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
  論文  参考訳（メタデータ） (2025-05-19T07:32:56Z)
• Contextual Combinatorial Bandits with Probabilistically Triggered Arms [55.9237004478033]
  確率的に誘発される腕(C$2$MAB-T)を様々な滑らかさ条件下で検討した。 トリガー変調 (TPM) 条件の下では、C$2$-UC-Tアルゴリズムを考案し、後悔すべき$tildeO(dsqrtT)$を導出する。
  論文  参考訳（メタデータ） (2023-03-30T02:51:00Z)
• Variance-Dependent Regret Bounds for Linear Bandits and Reinforcement Learning: Adaptivity and Computational Efficiency [90.40062452292091]
  本稿では,不整合雑音を持つ線形帯域に対する計算効率のよい最初のアルゴリズムを提案する。 我々のアルゴリズムは未知のノイズの分散に適応し、$tildeO(d sqrtsum_k = 1K sigma_k2 + d)$ regretを達成する。 また、強化学習において、線形混合マルコフ決定過程(MDP)に対する分散適応アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-21T00:17:24Z)
• Adversarially Robust Multi-Armed Bandit Algorithm with Variance-Dependent Regret Bounds [34.37963000493442]
  本稿では,マルチアーム・バンディット(MAB)問題について考察し,両対向的条件下でほぼ最適に機能する,新たなベスト・オブ・ボス・ワールド(BOBW)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-06-14T12:58:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。