論文の概要: FlyLoRA: Boosting Task Decoupling and Parameter Efficiency via Implicit Rank-Wise Mixture-of-Experts
- arxiv url: http://arxiv.org/abs/2510.08396v1
- Date: Thu, 09 Oct 2025 16:17:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-10 17:54:15.191681
- Title: FlyLoRA: Boosting Task Decoupling and Parameter Efficiency via Implicit Rank-Wise Mixture-of-Experts
- Title（参考訳）: FlyLoRA: Inlicit Rank-Wise Mixture-of-Expertsによるタスクデカップリングとパラメータ効率の向上
- Authors: Heming Zou, Yunliang Zang, Wutong Xu, Yao Zhu, Xiangyang Ji,
- Abstract要約: Low-Rank Adaptation (LoRA) は基礎モデルのパラメータ効率の高い微調整法である。
MoEベースのLoRA変種は、単一タスクの命令チューニングにおいて、タスク内相関を緩和する。
FlyLoRA は暗黙の MoE ベースの LoRA 変種であり、アッププロジェクション行列にランクワイズの専門家アクティベーションを導入する。
- 参考スコア（独自算出の注目度）: 44.21416999726094
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Low-Rank Adaptation (LoRA) is a widely used parameter-efficient fine-tuning method for foundation models, but it suffers from parameter interference, resulting in suboptimal performance. Although Mixture-of-Experts (MoE)-based LoRA variants show promise in mitigating intra-task correlations in single-task instruction tuning, they introduce additional router parameters and remain ineffective in multi-task model merging where inter-task interference arises. Inspired by the fly olfactory circuit, we propose FlyLoRA, an implicit MoE-based LoRA variant that introduces: (1) rank-wise expert activation in the up-projection matrix, and (2) an implicit router that unifies expert routing and down-projection, where a frozen sparse random projection matrix replaces the traditional dense trainable version. This design resolves the trade-off between intra-task decorrelation and computational efficiency by eliminating the need for an explicit router, while inherently mitigating inter-task interference due to the orthogonality property of random matrices. Extensive experiments across four domains -- general knowledge understanding, scientific question answering, mathematical reasoning, and code generation -- demonstrate consistent performance improvements over existing methods. Beyond empirical gains, FlyLoRA highlights how biological structures can inspire innovations in AI technologies. Code is available at https://github.com/gfyddha/FlyLoRA.
- Abstract（参考訳）: Low-Rank Adaptation (LoRA) は基礎モデルのパラメータ効率の良い微調整法として広く用いられているが、パラメータ干渉に悩まされ、最適化性能が低下する。
Mixture-of-Experts (MoE) ベースの LoRA 変種は、シングルタスクの命令チューニングにおいて、タスク内相関の緩和を約束するが、追加のルータパラメータを導入し、タスク間干渉が発生するマルチタスクモデルマージでは効果を保たない。
1)アッププロジェクション行列におけるランクワイドなエキスパートアクティベーション,(2)専門家のルーティングとダウンプロジェクションを統一する暗黙のルータ,そして凍結したスパースなランダムなプロジェクション行列が従来の密なトレーニング可能なバージョンを置き換える。
この設計は、ランダム行列の直交性に起因するタスク間干渉を本質的に緩和しつつ、明示的なルータの必要性を排除し、タスク内デコリレーションと計算効率のトレードオフを解消する。
一般的な知識理解、科学的質問応答、数学的推論、コード生成という4つの領域にわたる大規模な実験は、既存の手法よりも一貫したパフォーマンス改善を示している。
FlyLoRAは、実証的な利益以外にも、生物学的構造がAI技術におけるイノベーションをいかに刺激するかを強調している。
コードはhttps://github.com/gfyddha/FlyLoRA.comで入手できる。
関連論文リスト
- HyperAdaLoRA: Accelerating LoRA Rank Allocation During Training via Hypernetworks without Sacrificing Performance [27.391727025825546]
Low-Rank Adaptation (LoRA)は、大規模言語モデルを微調整するための有望なアプローチとして登場した。
本稿では,ハイパーネットワークを活用してAdaLoRAの収束を促進する新しいフレームワークであるHyperAdaLoRAを提案する。
本手法は性能を犠牲にすることなく高速な収束を実現する。
論文 参考訳（メタデータ） (2025-10-03T00:15:59Z) - Pangu Embedded: An Efficient Dual-system LLM Reasoner with Metacognition [95.54406667705999]
Pangu Embeddedは、Ascend Neural Processing Units (NPU) 上で開発された効率的なLarge Language Model (LLM) 推論器である。
既存の推論最適化 LLM でよく見られる計算コストと推論遅延の問題に対処する。
単一の統一モデルアーキテクチャ内で、迅速な応答と最先端の推論品質を提供する。
論文 参考訳（メタデータ） (2025-05-28T14:03:02Z) - ThanoRA: Task Heterogeneity-Aware Multi-Task Low-Rank Adaptation [96.86211867758652]
Low-Rank Adaptation (LoRA) は、基礎モデルの下流の微調整に広く採用されている。
タスク不均一性を考慮したマルチタスク低ランク適応フレームワークであるTanoRAを提案する。
論文 参考訳（メタデータ） (2025-05-24T11:01:45Z) - LoRI: Reducing Cross-Task Interference in Multi-Task Low-Rank Adaptation [43.28443278149958]
Low-Rank Adaptation (LoRA)は、Large Language Models (LLMs) のためのPEFT法として人気がある。
提案するLoRA with Reduced Interference (LoRI) は,プロジェクション行列をランダムなプロジェクションとして$A$を凍結し,タスク固有のマスクを用いて$B$をスパースする,単純かつ効果的な手法である。
論文 参考訳（メタデータ） (2025-04-10T04:46:04Z) - Mixture of Routers [4.248666380057258]
我々は、Mixture of Routers (MoR) と呼ばれる効率的な微調整法を提案する。
MoRはジョイントセレクションに複数のサブルータを使用し、学習可能なメインルータを使用してサブルータの重みを決定する。
その結果、MoRは、ほとんどのタスクにおいてベースラインモデルよりも優れており、平均的なパフォーマンス改善は1%であることがわかった。
論文 参考訳（メタデータ） (2025-03-30T08:39:09Z) - Reinforced Model Merging [53.84354455400038]
本稿では,タスク統合に適した環境とエージェントを含むRMM(Reinforced Model Merging)という,革新的なフレームワークを提案する。
評価プロセス中にデータサブセットを利用することで、報酬フィードバックフェーズのボトルネックに対処し、RMMを最大100倍高速化する。
論文 参考訳（メタデータ） (2025-03-27T08:52:41Z) - Transforming Vision Transformer: Towards Efficient Multi-Task Asynchronous Learning [59.001091197106085]
Vision TransformerのためのMulti-Task Learning (MTL)は、複数のタスクを同時に処理することでモデル能力を向上させることを目的としている。
最近の研究は、Mixture-of-Experts(MoE)構造の設計とローランド適応(LoRA)によるマルチタスク学習の効率化に重点を置いている。
本稿では,事前学習した視覚変換器を効率的なマルチタスク学習器に変換することで,EMTAL(Efficient Multi-Task Learning)と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2025-01-12T17:41:23Z) - Replay-Free Continual Low-Rank Adaptation with Dynamic Memory [62.85596937435928]
我々は、事前学習された視覚変換器(ViT)が、時間とともに新しい下流タスクを逐次微調整できる連続学習を再考する。
近年の研究では、CL技術とパラメータ効率の良い微調整の交差が強調されている。
DualLoRA (Dual Low-Rank Adaptation) と呼ばれる新しいPEFT-CL法を提案する。
論文 参考訳（メタデータ） (2024-11-01T14:28:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。