論文の概要: Flexi-LoRA with Input-Adaptive Ranks: Efficient Finetuning for Speech and Reasoning Tasks

• arxiv url: http://arxiv.org/abs/2605.01959v1
• Date: Sun, 03 May 2026 16:45:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:50.016542
• Title: Flexi-LoRA with Input-Adaptive Ranks: Efficient Finetuning for Speech and Reasoning Tasks
• Title（参考訳）: 入力適応ランクを持つフレキシ-ロラ:音声・推論作業のための効率的なファインタニング
• Authors: Zongqian Li, Yixuan Su, Han Zhou, Zihao Fu, Nigel Collier,
• Abstract要約: トレーニングと推論の両方において入力の複雑さに基づいてLoRAランクを動的に調整する新しいフレームワークであるFlexi-LoRAを提案する。 その結果,入力依存パラメータ割り当ては少ないパラメータで高い性能を実現することがわかった。 我々は多種多様なタスクにまたがる総合的な実証的研究を行い、入力適応的かつ効率的な微調整アプローチにおける将来の研究の基盤を確立する。
• 参考スコア（独自算出の注目度）: 45.52407607804239
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parameter-efficient fine-tuning methods like Low-Rank Adaptation (LoRA) have become essential for deploying large language models, yet their static parameter allocation remains suboptimal for inputs of varying complexity. We present Flexi-LoRA, a novel framework that dynamically adjusts LoRA ranks based on input complexity during both training and inference. Through empirical analysis across question answering, mathematical reasoning, and speech tasks, we demonstrate that maintaining consistency between training and inference dynamics is important for effective adaptation, particularly for sequential reasoning tasks. Our findings reveal that input-dependent parameter allocation achieves higher performance with fewer parameters by optimally matching rank configurations to question complexity. Furthermore, task-specific dependency on rank dynamics varies, with mathematical reasoning tasks exhibiting higher dependency than QA tasks. Successful adaptation manifests not only in correctness but also in reasoning quality and instruction adherence. Flexi-LoRA consistently outperforms static LoRA while using fewer parameters, with performance gains more pronounced on tasks requiring strict reasoning chains. Our approach realizes key benefits of mixture-of-experts frameworks through a more streamlined implementation, reducing parameter redundancy while improving model capabilities. We provide comprehensive empirical studies across diverse tasks, establishing a basis for future work in input-adaptive and efficient fine-tuning approaches.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA)のようなパラメータ効率のよい微調整手法は、大規模言語モデルのデプロイには不可欠だが、その静的パラメータ割り当ては、様々な複雑さの入力に最適である。 トレーニングと推論の両方において入力の複雑さに基づいてLoRAランクを動的に調整する新しいフレームワークであるFlexi-LoRAを提案する。 質問応答、数学的推論、音声タスクの実証分析を通じて、トレーニングと推論ダイナミクスの一貫性の維持が効果的な適応、特にシーケンシャル推論タスクにおいて重要であることを示す。 この結果から,入力依存パラメータアロケーションは,ランク設定を最適に整合させて,より少ないパラメータで高い性能を達成できることが判明した。 さらに、タスク固有のランクダイナミクスへの依存は、QAタスクよりも高い依存性を示す数学的推論タスクによって異なる。 適応が成功すると、正確さだけでなく、品質と命令の順守の推論にも表れる。 Flexi-LoRAは、パラメータが少なくながら静的なLoRAを一貫して上回り、厳格な推論チェーンを必要とするタスクでは、パフォーマンスがより顕著になる。 提案手法は,パラメータの冗長性を低減し,モデル機能の向上を図りながら,より合理化された実装により,試験用混合フレームワークの重要な利点を実現する。 我々は多種多様なタスクにまたがる総合的な実証的研究を行い、入力適応的かつ効率的な微調整アプローチにおける将来の研究の基盤を確立する。

関連論文リスト

• RISER: Orchestrating Latent Reasoning Skills for Adaptive Activation Steering [62.63376387138257]
  本稿では,アクティベーション空間における大規模言語モデル(LLM)推論を適応的に制御するプラグイン・アンド・プレイ介入フレームワークを提案する。 RISERは再利用可能な推論ベクトルのライブラリを構築し、軽量ルータを使用して各入力に対して動的に構成する。 ルーターは、タスクレベルの報酬の下で強化学習を通じて最適化され、緊急かつ構成的な方法で潜在する認知的プリミティブを活性化する。
  論文  参考訳（メタデータ） (2026-01-14T08:04:33Z)
• High-Rank Structured Modulation for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 textbfStructured textbfMOdulation textbfAdapterは、より高いランクを維持しながらトレーニング可能なパラメータを少なくする。
  論文  参考訳（メタデータ） (2026-01-12T13:06:17Z)
• BOTS: A Unified Framework for Bayesian Online Task Selection in LLM Reinforcement Finetuning [82.925106913459]
  強化微調整(Reinforcement Finetuning, RFT)は、大規模言語モデル(LLM)を人間の嗜好と整合させ、推論を強化するための重要な手法である。 RFT強化微調整におけるベイズオンラインタスク選択のための統合フレームワークBOTSを紹介する。
  論文  参考訳（メタデータ） (2025-10-30T11:15:23Z)
• MetaLoRA: Tensor-Enhanced Adaptive Low-Rank Fine-tuning [23.735592086378194]
  Low-Rank Adaptation (LoRA) は有望なパラメータ効率の微調整法として登場した。 現在のLoRAの変種は、動的パラメータ調整とメタ学習能力の重要性を克服しながら、一般的なパラメータの削減に重点を置いている。 本研究は,タスク関係をモデル化するためのLoRA生成手法を提案し,新しいパラメータ効率適応フレームワークであるMetaLoRAを紹介する。
  論文  参考訳（メタデータ） (2025-04-01T06:34:26Z)
• Dynamic Adaptation of LoRA Fine-Tuning for Efficient and Task-Specific Optimization of Large Language Models [0.7421845364041001]
  本稿では,大規模言語モデル-動的LoRAのためのファインチューニング手法を提案する。 効率と性能を改善するために動的適応機構を追加します。 動的LoRAの効率は、ベンチマークデータセットの実験で検証された。
  論文  参考訳（メタデータ） (2025-01-24T18:54:14Z)
• Think Beyond Size: Adaptive Prompting for More Effective Reasoning [0.0]
  本稿では,動的かつ反復的なフレームワークであるAdaptive Promptingを紹介する。 その結果、Adaptive Promptingは、算術的推論(GSM8K、MultiArithm)、論理的推論、コモンセンスタスクなど、様々な推論ベンチマークのパフォーマンスを著しく向上させることを示した。 提案手法は,計算効率を維持しつつ,GPT-4などの大規模モデルと競合する性能を実現する。
  論文  参考訳（メタデータ） (2024-10-10T17:14:36Z)
• DoRA: Enhancing Parameter-Efficient Fine-Tuning with Dynamic Rank Distribution [28.589498108609202]
  Low-Rank Adaptation (LoRA) は、ウェイト行列の差分パラメータ予算要件を無視したバイパスフレームワークに依存している。 DoRAは、高ランクのLoRA層を構造化シングルランクコンポーネントに分解し、パラメータ予算の動的プルーニングを可能にする。 実験結果から,LORAやフルモデルファインチューニングと比較して,DoRAの競争性能が向上することが示された。
  論文  参考訳（メタデータ） (2024-05-27T17:02:27Z)
• LoRA-SP: Streamlined Partial Parameter Adaptation for Resource-Efficient Fine-Tuning of Large Language Models [7.926974917872204]
  LoRA-SPはランダム化半選択パラメータ凍結を利用した新しい手法である。 LoRA-SPは、モデル性能を損なうことなく、計算とメモリの要求を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-28T06:50:10Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。