論文の概要: JevSoup: System-One Routing for Training-Free LoRA Composition

• arxiv url: http://arxiv.org/abs/2609.30922v1
• Date: Fri, 25 Sep 2026 07:37:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.277858
• Title: JevSoup: System-One Routing for Training-Free LoRA Composition
• Title（参考訳）: JevSoup: トレーニング不要のLoRA構成のためのシステムワンルーティング
• Abstract要約: JevSoupは、System OneのエキスパートルーティングとSystem Twoの実行を分離する、トレーニング不要のフレームワークである。 最大1.19%のタスクマクロ、1.21%のサンプルマイクロ精度の絶対的なゲインを達成する。
• 参考スコア（独自算出の注目度）: 6.350358260497182
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Building adaptable AI systems requires effective coordination of specialized capabilities across diverse tasks. Low-rank adaptation (LoRA) enables modular expertise, but existing routing approaches may require auxiliary data, additional training, or autoregressive decoding. We propose JevSoup, a training-free framework separating System One expert routing from System Two execution. Using only the input and expert descriptions, Jev selects two experts through structured probabilities. JevSoup retains the leading expert's update, projects the second onto the orthogonal complement of the first update's row space, and combines them with equal weights. Across 14 PorTAL tasks and three Qwen3 scales, JepSoup achieves absolute gains of up to 1.19\% in task-macro and 1.21\% in sample-micro accuracy over the strongest evaluated external baselines. Our code is available at https://github.com/Leowang980/JevSoup.
• Abstract（参考訳）: 適応型AIシステムを構築するには、さまざまなタスクにまたがる特殊能力を効果的に調整する必要がある。 ローランク適応(LoRA)はモジュラーの専門知識を実現するが、既存のルーティングアプローチでは補助データ、追加のトレーニング、自動回帰復号が必要となる。 JevSoupは、System OneのエキスパートルーティングとSystem Twoの実行を分離した、トレーニング不要のフレームワークである。 入力と専門家の記述のみを使用して、Jevは構造化された確率で2人の専門家を選択する。 JevSoupは、リードエキスパートの更新を保持し、最初のアップデートの行空間の直交補数に2つを投影し、それらを同等の重みで結合する。 14のPorTALタスクと3つのQwen3スケールで、JepSoupは最も評価の高い外部ベースラインに対して、タスクマクロで1.19\%、サンプルマイクロ精度で1.21\%の絶対的なゲインを達成する。 私たちのコードはhttps://github.com/Leowang980/JevSoup.comから入手可能です。

関連論文リスト

• Compute Allocation in Evolutionary Search: From Depth-Breadth to Multi-Armed Bandits [13.880007443167562]
  並列トラジェクトリ間でLLMコールを割り当てるマルチアームバンディットであるBaSEを提案する。 BaSEは8つの(モデル、タスク)細胞にまたがる最強の島プロトコールベースラインに対して平均フィットネスを12.3%改善する。
  論文  参考訳（メタデータ） (2026-05-28T02:37:51Z)
• TT-LoRA MoE: Unifying Parameter-Efficient Fine-Tuning and Sparse Mixture-of-Experts [4.5558042369389105]
  TT-LoRA MoEはトレーニングを2つの異なる最適化段階に分解する。 まず、軽量かつテンソル化低ランクアダプタ(TT-LoRAエキスパート)を個別に訓練する。 その後、これらの専門家アダプタは凍結状態のままであり、マルチタスク設定でタスク間干渉を排除し、忘れる。 個別に訓練されたスパースMOEルータは、ベースモデル表現を動的に活用し、推論時に入力ごとに正確に1つの特別なアダプタを選択する。 総合的な実験により、我々のアーキテクチャは低ランクアダプタのメモリ効率を保ち、大きなエキスパートプールにシームレスにスケールし、堅牢なタスクレベルの最適化を実現する。
  論文  参考訳（メタデータ） (2025-04-29T21:46:43Z)
• Boost, Disentangle, and Customize: A Robust System2-to-System1 Pipeline for Code Generation [58.799397354312596]
  大規模言語モデル(LLM)は、様々な領域、特にシステム1タスクにおいて顕著な機能を示した。 System2-to-System1法に関する最近の研究が急増し、推論時間計算によるシステム2の推論知識が探索された。 本稿では,システム2タスクの代表的タスクであるコード生成に注目し,主な課題を2つ挙げる。
  論文  参考訳（メタデータ） (2025-02-18T03:20:50Z)
• Pilot: Building the Federated Multimodal Instruction Tuning Framework [79.56362403673354]
  本フレームワークは、視覚エンコーダとLCMのコネクタに「アダプタのアダプタ」の2つの段階を統合する。 ステージ1では視覚情報からタスク固有の特徴とクライアント固有の特徴を抽出する。 ステージ2では、クロスタスクインタラクションを実行するために、クロスタスクMixture-of-Adapters(CT-MoA)モジュールを構築します。
  論文  参考訳（メタデータ） (2025-01-23T07:49:24Z)
• Composition of Experts: A Modular Compound AI System Leveraging Large Language Models [12.27263173279814]
  コンポジション・オブ・エキスパートズ(CoE)は,複数専門家大規模言語モデル(LLM)を活用したモジュール型複合AIシステムである。 本稿では,これらの複雑さに対処する2段階のルーティング手法を提案し,まず最初にルータを用いて異なるカテゴリに分類し,次に所望のエキスパートを得るためのカテゴリ・ツー・エキスパート・マッピングを提案する。 実験により,CoEの計算オーバーヘッド低減による性能向上効果が実証された。
  論文  参考訳（メタデータ） (2024-12-02T07:43:21Z)
• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• Controllable Dynamic Multi-Task Architectures [92.74372912009127]
  本稿では,そのアーキテクチャと重みを動的に調整し,所望のタスク選択とリソース制約に適合させる制御可能なマルチタスクネットワークを提案する。 本稿では,タスク親和性と分岐正規化損失を利用した2つのハイパーネットの非交互トレーニングを提案し,入力の嗜好を取り入れ,適応重み付き木構造モデルを予測する。
  論文  参考訳（メタデータ） (2022-03-28T17:56:40Z)
• Combining Modular Skills in Multitask Learning [149.8001096811708]
  モジュラー設計は、ニューラルネットワークが様々な知識の面をアンタングルして再結合し、新しいタスクにより系統的に一般化することを奨励する。 この研究では、各タスクは(潜在的に小さな)インベントリから潜在的な離散スキルのサブセットと関連付けられていると仮定する。 ネットワークのモジュラー設計により、強化学習におけるサンプル効率が著しく向上し、教師あり学習における数ショットの一般化が図られる。
  論文  参考訳（メタデータ） (2022-02-28T16:07:19Z)
• MALib: A Parallel Framework for Population-based Multi-agent Reinforcement Learning [61.28547338576706]
  人口ベースマルチエージェント強化学習(PB-MARL)は、強化学習(RL)アルゴリズムでネストした一連の手法を指す。 PB-MARLのためのスケーラブルで効率的な計算フレームワークMALibを提案する。
  論文  参考訳（メタデータ） (2021-06-05T03:27:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。