論文の概要: SEQR: Secure and Efficient QR-based LoRA Routing

• arxiv url: http://arxiv.org/abs/2509.18093v1
• Date: Mon, 22 Sep 2025 17:59:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 18:58:16.560236
• Title: SEQR: Secure and Efficient QR-based LoRA Routing
• Title（参考訳）: SEQR: セキュアで効率的なQRベースのLoRAルーティング
• Authors: William Fleshman, Benjamin Van Durme,
• Abstract要約: Low-Rank Adaptation (LoRA) は,大規模言語モデルのパラメータ効率向上のための標準手法となっている。 与えられた入力に対して適切なLoRAアダプタを効果的に選択することは依然として困難である。 厳密なルーティング保証を提供しながら効率を最大化するために設計された、教師なしのLoRAルーティングアルゴリズムであるSEQRを導入する。
• 参考スコア（独自算出の注目度）: 53.52716967527183
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-Rank Adaptation (LoRA) has become a standard technique for parameter-efficient fine-tuning of large language models, enabling large libraries of LoRAs, each for a specific task or domain. Efficiently selecting the correct LoRA adapter for a given input remains a challenge, particularly in secure environments where supervised training of routers may raise privacy concerns. Motivated by previous approaches, we formalize the goal of unsupervised LoRA routing in terms of activation norm maximization, providing a theoretical framework for analysis. We demonstrate the discriminative power of activation norms and introduce SEQR, an unsupervised LoRA routing algorithm designed to maximize efficiency while providing strict routing guarantees. SEQR provably identifies the norm-maximizing adapter with significantly greater efficiency, making it a highly scalable and effective solution for dynamic LoRA composition. We validate our results through experiments that demonstrate improved multi-task performance and efficiency.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA)は、大きな言語モデルのパラメータ効率の良い微調整のための標準技術となり、特定のタスクやドメインに対してLoRAの大規模なライブラリを可能にする。 与えられた入力に対して適切なLoRAアダプタを効果的に選択することは、特にルータの教師付きトレーニングがプライバシー上の懸念を生じさせるようなセキュアな環境では、依然として課題である。 従来の手法により、アクティベーションノルムの最大化の観点から教師なしLoRAルーティングのゴールを定式化し、分析の理論的枠組みを提供する。 我々は、アクティベーション規範の識別力を示し、厳密なルーティング保証を提供しながら効率を最大化するために設計された教師なしLoRAルーティングアルゴリズムであるSEQRを導入する。 SEQRは、高い効率でノルム最大化アダプタを確実に識別し、動的LoRA合成のための非常にスケーラブルで効果的なソリューションである。 マルチタスク性能と効率性の向上を実証する実験により,本研究の結果を検証した。

関連論文リスト

• Semantic-guided LoRA Parameters Generation [22.648880814012184]
  Low-Rank Adaptation (LoRA)は、AIモデルを効率的に微調整するために、さまざまなタスクにまたがる強力な一般化機能を示している。 SG-LoRAは、ユーザタスクのトレーニングやユーザ固有のデータへのアクセスを必要とせずに、ユーザ固有のLoRAを効率的に生成する、同社初のフレームワークである。 SG-LoRAは、著名なLoRA専門家の知識を蒸留することで、個々の意図に沿ったLoRAモデルのリアルタイム構築を可能にする。
  論文  参考訳（メタデータ） (2025-09-05T14:43:41Z)
• L1RA: Dynamic Rank Assignment in LoRA Fine-Tuning [0.09799637101641147]
  L1RAは,LoRAを用いた微調整において,低ランクアダプタのランクを動的に分散する手法である。 実験により,L1RAは,他のLoRAの変種と比較して,計算オーバーヘッドが同等あるいは少なく抑えられていることを実証した。
  論文  参考訳（メタデータ） (2025-09-05T08:03:01Z)
• Beyond Low-Rank Tuning: Model Prior-Guided Rank Allocation for Effective Transfer in Low-Data and Large-Gap Regimes [9.4848188271008]
  Low-Rank Adaptation (LoRA) は、完全に微調整された基礎モデルに匹敵する性能を維持しながら、計算コストを削減できることが証明されている。 現在の適応LoRA法は、ランクを動的に拡張または選択的に割り当てることで、この制限を克服しようとする。 本稿では, 既訓練重量行列の安定なランクを, 階層的ランクアロケーションの自然な先行として活用する新しいフレームワークSR-LoRAを紹介する。
  論文  参考訳（メタデータ） (2025-06-30T23:54:23Z)
• LoRA-Gen: Specializing Large Language Model via Online LoRA Generation [68.01864057372067]
  タスク記述に基づくエッジサイドモデルのLoRAパラメータを生成するためのLoRA-Genフレームワークを提案する。 フレキシブルな特殊化を実現するために,LoRAパラメータをエッジ側モデルにマージする。 本手法は,モデル間の知識伝達を容易にするとともに,特殊モデルの推論効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-06-13T10:11:01Z)
• C-LoRA: Continual Low-Rank Adaptation for Pre-trained Models [26.560293264523903]
  Low-Rank Adaptation (LoRA) は、自然言語処理やコンピュータビジョンなどの分野で広く応用されている効率的な微調整手法である。 連続学習のためのLoRAの新たな拡張である連続低ランク適応(C-LoRA)を提案する。 C-LoRAは学習可能なルーティングマトリックスを使用して、タスク間のパラメータ更新を動的に管理する。
  論文  参考訳（メタデータ） (2025-02-25T07:35:36Z)
• BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
  Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。 本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
  論文  参考訳（メタデータ） (2025-02-19T10:33:22Z)
• Dynamic Adaptation of LoRA Fine-Tuning for Efficient and Task-Specific Optimization of Large Language Models [0.7421845364041001]
  本稿では,大規模言語モデル-動的LoRAのためのファインチューニング手法を提案する。 効率と性能を改善するために動的適応機構を追加します。 動的LoRAの効率は、ベンチマークデータセットの実験で検証された。
  論文  参考訳（メタデータ） (2025-01-24T18:54:14Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• Task-Specific Directions: Definition, Exploration, and Utilization in Parameter Efficient Fine-Tuning [65.31677646659895]
  大規模な言語モデルは、下流タスクで素晴らしいパフォーマンスを示すが、全てのパラメータを完全に微調整する場合は、リソース消費がかなり必要である。 本稿では,タスク固有の方向(TSD)を明確に定義するフレームワークを提案し,その特性と実用化の課題について検討する。 次に、微調整過程におけるTLDの影響を最大化する新しいアプローチであるLoRA-Dashを導入する。
  論文  参考訳（メタデータ） (2024-09-02T08:10:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。