論文の概要: MixLoRA-DSI: Dynamically Expandable Mixture-of-LoRA Experts for Rehearsal-Free Generative Retrieval over Dynamic Corpora

• arxiv url: http://arxiv.org/abs/2507.09924v1
• Date: Mon, 14 Jul 2025 05:04:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-15 18:48:24.274525
• Title: MixLoRA-DSI: Dynamically Expandable Mixture-of-LoRA Experts for Rehearsal-Free Generative Retrieval over Dynamic Corpora
• Title（参考訳）: MixLoRA-DSI:動的コーパス上のリハーサルフリー生成検索のための動的拡張可能なLoRAエキスパート
• Authors: Tuan-Luc Huynh, Thuy-Trang Vu, Weiqing Wang, Trung Le, Dragan Gašević, Yuan-Fang Li, Thanh-Toan Do,
• Abstract要約: MixLoRA-DSIは、低ランク適応の専門家による拡張可能な混合とOOD(Layer-wise out-of-distribution)による拡張戦略を組み合わせた、新しいフレームワークである。 NQ320kとMS MARCO Passageの実験では、MixLoRA-DSIは完全なモデル更新ベースラインよりも優れており、パラメータオーバーヘッドが最小であり、トレーニングコストが大幅に削減されている。
• 参考スコア（独自算出の注目度）: 41.024156110987335
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continually updating model-based indexes in generative retrieval with new documents remains challenging, as full retraining is computationally expensive and impractical under resource constraints. We propose MixLoRA-DSI, a novel framework that combines an expandable mixture of Low-Rank Adaptation experts with a layer-wise out-of-distribution (OOD)-driven expansion strategy. Instead of allocating new experts for each new corpus, our proposed expansion strategy enables sublinear parameter growth by selectively introducing new experts only when significant number of OOD documents are detected. Experiments on NQ320k and MS MARCO Passage demonstrate that MixLoRA-DSI outperforms full-model update baselines, with minimal parameter overhead and substantially lower training costs.
• Abstract（参考訳）: 新しい文書による生成検索におけるモデルベースインデックスの継続的な更新は、完全な再トレーニングは計算コストが高く、リソース制約下では実用的ではないため、依然として困難である。 提案するMixLoRA-DSIは,低ランク適応の専門家による拡張可能な混合と,OOD(Layer-wise out-of-distribution)による拡張戦略を組み合わせた新しいフレームワークである。 提案する拡張戦略は,新しいコーパスごとに新たな専門家を割り当てる代わりに,大量のOOD文書が検出された場合にのみ,新たな専門家を選択的に導入することにより,サブ線形パラメータ成長を可能にする。 NQ320kとMS MARCO Passageの実験では、MixLoRA-DSIは完全なモデル更新ベースラインよりも優れており、パラメータオーバーヘッドが最小であり、トレーニングコストが大幅に削減されている。

関連論文リスト

• DIVE into MoE: Diversity-Enhanced Reconstruction of Large Language Models from Dense into Mixture-of-Experts [16.816404016099202]
  Mixture-of-Experts (MoE)アーキテクチャを持つ大規模言語モデル(LLM)は、パラメータのサブセットを選択的に活性化することにより、高いコスト効率を達成する。 MoE LLMの推論効率にもかかわらず、スクラッチからの豊富な専門家の訓練はかなりのオーバーヘッドを引き起こす。 DIVEという多様性向上手法を提案する。 DIVEはトレーニング効率を最小限の精度で達成し、既存のプルーニング法とMoE再構成法を同じ数のアクティベートパラメータで上回る。
  論文  参考訳（メタデータ） (2025-06-11T03:05:24Z)
• MoA: Heterogeneous Mixture of Adapters for Parameter-Efficient Fine-Tuning of Large Language Models [61.89384981175277]
  ローランド適応 (LoRA) とミックスオブエキスパート (MoE) を統合するための固有テキストbfMixture-of-Adapters (MoA) アプローチを提案する。 実験結果から, 不均一なMoAは均一なMoE-LoRA法よりも性能およびパラメータ効率が優れていることがわかった。
  論文  参考訳（メタデータ） (2025-06-06T09:54:19Z)
• S'MoRE: Structural Mixture of Residual Experts for LLM Fine-tuning [17.579948649237497]
  我々は,LoRAの効率とMoEの柔軟性をシームレスに統合する新しいフレームワークであるResidual Experts (S'MoRE)を提案する。 具体的には、S'MoREはエキスパートウェイトを階層的に低ランクに分解し、多層構造に相互接続した様々な順序の残基を生成する。 我々はS'MoREが従来のMoE(Mixture-of-LoRA)の「構造的柔軟性」を指数的順序で改善することを証明する。
  論文  参考訳（メタデータ） (2025-04-08T20:54:00Z)
• DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [70.91804882618243]
  本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。 我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。 LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-18T02:37:26Z)
• Towards Foundational Models for Dynamical System Reconstruction: Hierarchical Meta-Learning via Mixture of Experts [0.62914438169038]
  MixER: Mixture of Expert Reconstructors, a novel sparse top-1 MoE layer using a custom gating update algorithm based on $K$-means and least squares。 実験では、MixERの能力を検証し、最大10の通常のパラメトリック微分方程式の系に対する効率的なトレーニングとスケーラビリティを示す。 我々の層は、特に専門家が高度に関連したデータポイントからなるデータセットのごく一部しか処理できない場合、ハイデータレシエーションにおける最先端のメタラーナーを過小評価します。
  論文  参考訳（メタデータ） (2025-02-07T21:16:43Z)
• Retraining-Free Merging of Sparse MoE via Hierarchical Clustering [14.858134039539697]
  本稿では, 疎活性化型エキスパート混合(HC-SMoE)のための階層クラスタリングについて紹介する。 HC-SMoEは、パラメータ還元のためのタスクに依存しないエキスパートマージフレームワークである。 我々は、QwenやMixtralを含む最先端モデルにおけるHC-SMoEの有効性を示すために、複数のゼロショット言語タスクの理論的解析と評価を行う。
  論文  参考訳（メタデータ） (2024-10-11T07:36:14Z)
• FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
  本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-15T16:45:16Z)
• Diversifying the Expert Knowledge for Task-Agnostic Pruning in Sparse Mixture-of-Experts [75.85448576746373]
  本稿では,モデルのパラメータ効率を向上させるために,類似の専門家をグループ化し,グループ化する方法を提案する。 提案手法の有効性を3つの最先端MoEアーキテクチャを用いて検証する。 評価の結果,本手法は自然言語タスクにおいて,他のモデルプルーニング手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-07-12T17:25:02Z)
• Neural Mixture Distributional Regression [0.9023847175654603]
  フレキシブルな加法予測器によって定義される分布回帰の有限混合を推定する包括的枠組みを提案する。 我々のフレームワークは、高次元の設定において、潜在的に異なる分布の多くの混合を処理できる。
  論文  参考訳（メタデータ） (2020-10-14T09:00:16Z)
• Reparameterized Variational Divergence Minimization for Stable Imitation [57.06909373038396]
  確率的発散の選択における変動が、より高性能なILOアルゴリズムをもたらす可能性について検討する。 本稿では,提案する$f$-divergence最小化フレームワークの課題を軽減するために,逆模倣学習のための再パラメータ化手法を提案する。 経験的に、我々の設計選択は、ベースラインアプローチより優れ、低次元連続制御タスクにおける専門家のパフォーマンスとより密に適合するIOOアルゴリズムを許容することを示した。
  論文  参考訳（メタデータ） (2020-06-18T19:04:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。