論文の概要: HiLoRA: Adaptive Hierarchical LoRA Routing for Training-Free Domain Generalization

• arxiv url: http://arxiv.org/abs/2510.12266v1
• Date: Tue, 14 Oct 2025 08:19:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-15 19:02:32.245367
• Title: HiLoRA: Adaptive Hierarchical LoRA Routing for Training-Free Domain Generalization
• Title（参考訳）: HiLoRA: 学習自由領域一般化のための適応的階層型LoRAルーティング
• Authors: Ziyi Han, Huanyu Wang, Zeyu Zhang, Xiangxiang Dai, Xutong Liu, John C. S. Lui,
• Abstract要約: Low-Rank Adaptation (LoRA) は、大規模言語モデルを新しいドメインに適応させる手法として広く使われている。 既存のメソッドは明示的なタスクラベルや追加のトレーニングに依存しており、デプロイには実用的ではない。 トレーニング不要なフレームワークである textttHiLoRA を提案し,LoRA プール上で適応的な階層的ルーティングを行う。
• 参考スコア（独自算出の注目度）: 39.23407996213986
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-Rank Adaptation (LoRA) has emerged as a widely used technique for adapting large language models (LLMs) to new domains, due to its modular design and broad availability on platforms such as HuggingFace. This availability has motivated efforts to reuse existing LoRAs for domain generalization. However, existing methods often rely on explicit task labels or additional training, which are impractical for deployment. Moreover, they typically activate a fixed number of entire LoRA modules, leading to parameter redundancy or insufficiency that degrade performance. In this paper, we propose \texttt{HiLoRA}, a training-free framework that performs adaptive hierarchical routing over LoRA pools. Drawing on structural properties of LoRA, we define rank-one components (ROCs), in which each rank parameter is regarded as an independent unit. For a given input sequence, \texttt{HiLoRA} first adaptively selects a subset of LoRAs and determines their ROC allocation based on Gaussian likelihoods at the sequence level. At the token level, it further refines routing by activating only the most informative ROCs. We further provide theoretical guarantees that \texttt{HiLoRA} selects the most relevant LoRAs with high probability. Extensive experiments show that \texttt{HiLoRA} achieves substantial improvements in domain generalization, with accuracy gains of up to {\small $55\%$} over state-of-the-art baselines, while maintaining comparable inference throughput.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA)は、モジュール設計とHuggingFaceのようなプラットフォームで広く利用できるため、大きな言語モデル(LLM)を新しいドメインに適用するための広く使われているテクニックとして登場した。 この可用性は、既存のLoRAをドメインの一般化のために再利用する動機となった。 しかし、既存のメソッドは明示的なタスクラベルや追加のトレーニングに依存しており、デプロイには実用的ではない。 さらに、通常は固定数のLoRAモジュールを起動し、パラメータの冗長性や性能の低下につながる。 本稿では,LoRA プール上で適応的階層的ルーティングを行うトレーニングフリーフレームワークである \texttt{HiLoRA} を提案する。 LoRAの構造特性に基づいて、各ランクパラメータを独立単位と見なすランク1成分(ROC)を定義する。 与えられた入力シーケンスに対して、 \texttt{HiLoRA} はまずLoRAのサブセットを適応的に選択し、シーケンスレベルでガウス確率に基づいてROC割り当てを決定する。 トークンレベルでは、最も情報性の高いROCのみを活性化することでルーティングをさらに洗練する。 さらに、高確率で最も関連性の高い LoRA を選択することを理論的に保証する。 広範な実験により、‘texttt{HiLoRA} はドメインの一般化の大幅な改善を実現し、最先端のベースラインよりも精度が最大5,5\%$} まで向上し、同等の推論スループットを維持していることが示された。

関連論文リスト

• Beyond Low-Rank Tuning: Model Prior-Guided Rank Allocation for Effective Transfer in Low-Data and Large-Gap Regimes [9.4848188271008]
  Low-Rank Adaptation (LoRA) は、完全に微調整された基礎モデルに匹敵する性能を維持しながら、計算コストを削減できることが証明されている。 現在の適応LoRA法は、ランクを動的に拡張または選択的に割り当てることで、この制限を克服しようとする。 本稿では, 既訓練重量行列の安定なランクを, 階層的ランクアロケーションの自然な先行として活用する新しいフレームワークSR-LoRAを紹介する。
  論文  参考訳（メタデータ） (2025-06-30T23:54:23Z)
• RaSA: Rank-Sharing Low-Rank Adaptation [67.40422142257091]
  低ランク適応(LoRA)は大規模言語モデル(LLM)のパラメータ効率の高い微調整に顕著に用いられている。 階層間の部分的なランク共有を活用することで,LoRAの表現能力を高める革新的な拡張であるRan-Sharing Low-Rank Adaptation (RaSA)を導入する。 我々の理論的根拠と実証的なアプローチは、RaSAがLoRAの中核的な利点を維持しているだけでなく、挑戦的なコードや数学タスクのパフォーマンスを大幅に向上していることを示している。
  論文  参考訳（メタデータ） (2025-03-16T17:16:36Z)
• BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
  Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。 本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
  論文  参考訳（メタデータ） (2025-02-19T10:33:22Z)
• SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
  基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。 既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。 クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-22T20:00:41Z)
• Merging LoRAs like Playing LEGO: Pushing the Modularity of LoRA to Extremes Through Rank-Wise Clustering [35.54018186415654]
  Low-Rank Adaptation (LoRA) は、様々なドメインに最適化された大規模言語モデル(LLM)の一般的なテクニックとして登場した。 LoRA合成の既存の方法は、主に追加の訓練を必要とするタスク固有の適応に焦点を当てている。 本稿では,LoRAにおける各ランクに対応するパラメータが独立単位として機能する最小意味単位(MSU)の概念を紹介する。 我々は、異なるLoRAから$k$のクラスタにMSUをグループ化することで、ランクワイズパラメータクラスタリングを行うLoRA-LEGOフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-24T15:08:41Z)
• LoraRetriever: Input-Aware LoRA Retrieval and Composition for Mixed Tasks in the Wild [76.67343971195267]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整するための効率的なソリューションを提供する。 LoraRetrieverは、入力プロンプトに従って複数のLoRAを適応的に検索して構成する検索テーマ構成フレームワークである。 実験結果から、LoraRetrieverは一貫してベースラインを上回っていることが示唆された。
  論文  参考訳（メタデータ） (2024-02-15T15:02:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。