論文の概要: How Many Ranks Does a Token Need? A Noise-Floor Squelch for Rank-One LoRA Experts

• arxiv url: http://arxiv.org/abs/2610.19033v1
• Date: Tue, 13 Oct 2026 18:26:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.743781
• Title: How Many Ranks Does a Token Need? A Noise-Floor Squelch for Rank-One LoRA Experts
• Title（参考訳）: トーケンにはいくつのランクが必要か? ランク1のLoRA専門家のためのノイズフロア・スケルチ
• Abstract要約: ローランク適応 (LoRA) はその更新のすべてのランク1成分をトークンに当てはめ、未熟な変種を学習ルータに置き換え、固定数のコンポーネントを起動する。 我々はSQUELCHを紹介した。SQUELCHは、各トークンの応答を、それ自身の頑健なノイズレベルの倍でソフトスレッショニングする、ランクワンの専門家によるルータフリーミックスである。 我々は,スケルチがオラクルの入力依存割り当ての対数係数内にあること,選択されたしきい値が一致していること,説明が結合スパース符号への降下ステップであることを証明した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-rank adaptation (LoRA) applies every rank-one component of its update to every token, and mixture-of-experts variants replace this with a learned router that activates a fixed number of components. We argue that the number of components a token needs is a detection question with a classical answer. A token's responses to the rank-one components of a trained LoRA consist of a few large values on a Gaussian noise floor whose width matches that of an untrained adapter, and the floor carries cross-talk rather than adaptation. We introduce SQUELCH, a router-free mixture of rank-one experts that (i) soft-thresholds each token's responses at a multiple of its own robust noise level, so the active rank varies per token; (ii) chooses that multiple for each module by Stein's unbiased risk estimate, so no rank budget is specified; and (iii) replaces the resulting marginal keep-or-drop decisions by one explaining-away step on the value Gram matrix, which suppresses redundant co-active components and recruits complementary ones. SQUELCH adds no trainable parameters to LoRA. We prove that the squelch is within a logarithmic factor of the oracle input-dependent allocation, that the selected threshold is risk-consistent, and that explaining away is a descent step toward the joint sparse code whose error is controlled by the coherence of co-active components. On commonsense reasoning, knowledge, math, code, and GLUE with LLaMA-3.1-8B, Qwen3, and DeBERTaV3, SQUELCH improves over LoRA by 2.2--3.2 points and over the strongest mixture baseline by 0.8--1.2 points while activating 8.6 of 32 components per token on average.
• Abstract（参考訳）: ローランク適応 (LoRA) はその更新のすべてのランク1成分をトークンに当てはめ、未熟な変種を学習ルータに置き換え、固定数のコンポーネントを起動する。 トークンが必要とするコンポーネントの数は、古典的な答えを持つ検出問題である、と我々は主張する。 訓練されたLoRAのランク1成分に対するトークンの応答は、訓練されていないアダプタの幅と一致するガウスノイズフロア上のいくつかの大きな値で構成され、フロアは適応ではなくクロストークを運ぶ。 ランクワンの専門家によるルータフリーの混合であるSQUELCHを紹介する。 (i)各トークンの応答をそれ自身の頑健な騒音の倍数で保持するため、トークンごとにアクティブなランクが変化する。 (ii)Steinの非バイアスリスク推定によって各モジュールの倍数を選択するので、階数予算は指定されない。 第三に、余剰なコアクティブなコンポーネントを抑え、補完的な要素をリクルートする価値グラム行列の1つの説明段階により、得られた限界維持またはドロップ決定を置き換える。 SQUELCHはLoRAにトレーニング可能なパラメータを追加しない。 我々は、スケルチがオラクル入力依存割り当ての対数係数内にあり、選択されたしきい値が無リスクであること、および、エラーがコヒーレンスによって制御される結合スパース符号への降下ステップであることを証明した。 LLaMA-3.1-8B、Qwen3、DeBERTaV3による常識推論、知識、数学、コード、GLUEでは、SQUELCHはLoRAを2.2～3.2ポイント、最強の混合基線を0.8～1.2ポイント改善し、トークン当たりの32コンポーネントの8.6をアクティベートする。

関連論文リスト

• Fork Where the Model Changes Its Mind: Belief-Shift Branching for Tree-Structured Reinforcement Learning [62.24941741019998]
  分岐配置をチェーンの値曲線のエンフスの位置として定式化し、期待される結果が変わる。 ステップレベルの監視を必要としない3つのインスタンス化は、ブラックボックスプローブ、ログレンズの深さプロファイル、学習されたアクティベーション方向というアクセスレベルにまたがる。
  論文  参考訳（メタデータ） (2026-09-10T04:06:45Z)
• Rethinking Factor Sharing in Federated LoRA: A Rank-Aware Adaptive Approach [58.97285859000893]
  クライアント間で$A$を共有すべきか、$B$がクライアント固有(Share-A/Local-B)なのか、それとも$B$がクライアント固有(Share-B/Local-A)なのかを調査する。 本稿では,FedAS-LoRA(Federated Adaptive Factor Sharing Low-Rank Adaptation)を提案する。
  論文  参考訳（メタデータ） (2026-08-10T15:38:45Z)
• Spend Experts Where You Are Unsure: Confidence-Adaptive Routing for Mixture-of-Experts LoRA [0.0]
  CARE(Confidence-Adaptive Routing of Experts)を紹介します。 CAREは一致した計算における固定トップkのMoE-LoRAよりも改善され、固定k=4のベースラインと一致し、専門家のアクティベートは少ない。 同じ信頼と不一致の信号は、MSP、エントロピー、マルチパスプロキシに対する分布外検出も改善する。
  論文  参考訳（メタデータ） (2026-07-28T17:59:16Z)
• CRAFT: Counterfactual Credit Assignment from Free Sibling Rollouts for Self-Distilled Agentic Reinforcement Learning [4.663685189987781]
  自己蒸留剤強化学習は、トークンレベルの蒸留損失で軌跡レベルの報酬を増大させる。 一般的なレシピでは、この損失を1つのスカラー、すなわち教師と学生の対数確率のギャップで埋める。 CRAFTは2つの制限に対処する3ピラー・クレジット・アサインメント方式である。
  論文  参考訳（メタデータ） (2026-06-28T16:11:47Z)
• SOS-LoRA: Static Orthogonal-Subspace Low-Rank Adaptation with Fixed Multi-Scale Scaling [17.873016968298483]
  Low-Rank Adaptation (LoRA) は、大規模言語モデルのためのパラメータ効率の高い微調整法である。 我々は,静的な専門家の和としてランクレット更新を再パラメータ化するドロップイン拡張である静的直交部分空間LoRA(SOS-LoRA)を提案する。
  論文  参考訳（メタデータ） (2026-06-27T03:25:36Z)
• Automatic Rank Determination for Low-Rank Adaptation via Submodular Function Maximization [56.78271181959529]
  SubLoRAは、サブモジュール関数に基づくローランド適応(LoRA)のランク決定方法である。 提案手法は, 理論的基礎, 2次精度, 実用計算効率の両立を図っている。
  論文  参考訳（メタデータ） (2025-07-02T15:56:40Z)
• Little By Little: Continual Learning via Self-Activated Sparse Mixture-of-Rank Adaptive Learning [26.079123341965687]
  大規模な事前学習モデルによる継続的な学習は、破滅的な忘れ込みとタスクの干渉によって挑戦される。 既存のLoRAベースのMixture-of-Experts (MoE)は、タスク固有のアダプタを割り当て、凍結することで、忘れを緩和する。 CLに対する自己アクティベートとスパースなランクアクティベーションを備えたMixture-of-Rank Adaptive LearningアプローチであるMoRAを提案する。
  論文  参考訳（メタデータ） (2025-06-26T06:19:05Z)
• Each Rank Could be an Expert: Single-Ranked Mixture of Experts LoRA for Multi-Task Learning [53.053604713064544]
  Low-Rank Adaptation (LoRA)は、その効率性とモジュール性から、大きな言語モデル(LLM)を特定のドメインに適用するために広く使われている。 最近の研究は、各LoRAモジュールを専門家として扱い、複数の特殊なLoRAモジュールによるタスク干渉を軽減することで、Mixture of Experts (MoE)を採用している。 効果はあるものの、これらの手法は個々のタスク内の知識を分離することが多く、関連するタスク間で共有された知識を完全に活用することができない。 各ランクをテキスト処理することでMoEをLoRAに埋め込むシングルランク専門家LoRA(textbfSMoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-25T06:56:39Z)
• DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
  本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。 本研究は、FTの学習能力に類似することを目的として、重量分解低ランク適応(DoRA)を提案する。 DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
  論文  参考訳（メタデータ） (2024-02-14T17:59:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。