論文の概要: Localized LoRA-MoE: Block-wise Low-Rank Experts With Adaptive Routing

• arxiv url: http://arxiv.org/abs/2607.05114v1
• Date: Mon, 06 Jul 2026 14:06:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:30.185353
• Title: Localized LoRA-MoE: Block-wise Low-Rank Experts With Adaptive Routing
• Title（参考訳）: LoRA-MoEのローカライズ
• Abstract要約: 局所的な空間的ブロッキングと動的でコンテキスト効率の高いルーティングを融合する統合フレームワークであるLoRA-MoEを導入する。 実験により, 分散化されたセルレベルのゲーティングは, 全世界的なコーディネータによる完全な統計パリティを実現することが確認された。
• 参考スコア（独自算出の注目度）: 12.174849960744211
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large Language Models (LLMs) and high-dimensional perception networks increasingly rely on parameter-efficient fine-tuning (PEFT) to adapt to diverse operational contexts. However, standard methods like LoRA are structurally limited by a monolithic bottleneck, making them highly susceptible to gradient warfare. Interleaved multi-task streams may trigger destructive optimization feedback, collapsing adapter weights into unspecialized averages. While recent spatial partitioning methods have introduced block-wise isolation, they remain trapped in static topologies, unable to adapt to dynamic task-switching or environmental sensor failure. In this work, we introduce Localized LoRA-MoE, a unified framework that fuses localized spatial blocking with dynamic, context-conditioned routing. We propose and evaluate two novel architectural paradigms: Block-Wise LoRA-MoE (Centralized Macro-Routing), which modulates the entire structural grid via a monolithic context signal, and Cell-Wise LoRA-MoE (Decentralized Micro-Routing), which empowers every coordinate cell in the matrix grid with autonomous, localized expert gating. Through a comprehensive suite of benchmarks, ranging from high-dimensional SVD matrix simulations and real-world tabular transformations to spatial vision perception under sensor degradation, we demonstrate that both architectures resolve optimization deadlocks inherent in static baselines. Our empirical results establish that decentralized cell-level gating achieves complete statistical parity with an omniscient global coordinator, providing a robust "gradient firewall" that protects surviving pathways from fault-propagated corruption. Our proposals consistently outperform static baselines, offering a scalable and parameter-efficient solution for dynamic model adaptation across granular coordinate fields and shifting operational regimes.
• Abstract（参考訳）: 大規模言語モデル(LLM)と高次元知覚ネットワークは、様々な運用状況に対応するためにパラメータ効率の微調整(PEFT)に依存している。 しかし、LoRAのような標準的な手法は、モノリシックなボトルネックによって構造的に制限されており、勾配戦争の影響を受けやすい。 インターリーブされたマルチタスクストリームは破壊的な最適化フィードバックを引き起こし、アダプタの重みを特別な平均値に分解する。 最近の空間分割法はブロックワイド分離を導入しているが、静的トポロジに閉じ込められており、動的タスクスイッチングや環境センサの故障に適応できない。 本研究では,局所的空間的ブロッキングを動的かつコンテキスト条件付きルーティングで融合する統一フレームワークであるLocalized LoRA-MoEを紹介する。 モノリシックなコンテキスト信号を介して構造グリッド全体を変調するBlock-Wise LoRA-MoE (Centralized Macro-Routing) と、自律的かつ局所的な専門家ゲーティングによって行列グリッド内のすべての座標セルに権限を与えるCell-Wise LoRA-MoE (Decentralized Micro-Routing) の2つの新しいアーキテクチャパラダイムを提案し評価する。 高次元SVD行列シミュレーションや実世界の表層変換からセンサ劣化下での空間的視覚知覚まで、包括的なベンチマークを通じて、両方のアーキテクチャが静的ベースラインに固有のデッドロックを解くことを実証した。 実験の結果, 分散化された細胞レベルでのゲーティングは, 全球コーディネータと完全に統計的に一致し, 持続する経路を破壊的破壊から保護する, 堅牢な「緩やかなファイアウォール」を提供することがわかった。 我々の提案は静的ベースラインを一貫して上回り、粒度座標場をまたいだ動的モデル適応のためのスケーラブルでパラメータ効率の良いソリューションを提供し、運用体制をシフトさせる。

関連論文リスト

• Hierarchical Federated Learning with Dynamic Clustering and Adaptive Regularization for Robust Infrastructure Inspection [46.657161089480375]
  本稿では,新しい階層型フェデレーション学習フレームワークを提案する。 このフレームワークは、相乗的な2層最適化戦略を編成する。 大規模で実世界の構造検査データセットに関する総合的な評価は、マクロクラスタリングとマイクロレギュラー化の階層的な統合が二重レベルの不均一性をうまく中和することを示した。
  論文  参考訳（メタデータ） (2026-06-02T03:14:26Z)
• CoRAL: Contact-Rich Adaptive LLM-based Control for Robotic Manipulation [4.600772894287281]
  大規模言語モデル (LLMs) と視覚言語モデル (VLMs) は高レベルの推論と意味理解において顕著な能力を示す。 我々は,低レベル制御から高レベル推論を分離することでゼロショット計画を可能にするモジュラーフレームワークであるCoRALを提案する。
  論文  参考訳（メタデータ） (2026-05-04T13:49:19Z)
• ATRS: Adaptive Trajectory Re-splitting via a Shared Neural Policy for Parallel Optimization [14.810654249835572]
  並列ADMMループに共有のDeep Reinforcement Learningポリシーを組み込む新しいフレームワークであるATRSを提案する。 我々は、ATRS収束が26.2%まで加速し、計算時間が19.1%まで加速することを示した。 実世界の実験は、大規模なオフライングローバル計画とリアルタイムオンボード計画の両方に1サイクルあたり35ミリ秒以内の適用性をさらに確認する。
  論文  参考訳（メタデータ） (2026-04-24T16:58:14Z)
• AnchorRefine: Synergy-Manipulation Based on Trajectory Anchor and Residual Refinement for Vision-Language-Action Models [60.04879435087352]
  視覚言語アクション(VLA)ポリシーは、単一の統一空間内でアクションを生成する。 本稿では,VLAの動作モデリングを軌跡アンカーと残留精細化に分解する階層的フレームワークであるAnchorRefineを提案する。 LIBERO、CALVIN、および実ロボットタスクの実験では、AnchorRefineは回帰ベースと拡散ベースの両方のVLAバックボーンを一貫して改善している。
  論文  参考訳（メタデータ） (2026-04-20T04:25:24Z)
• Bypassing the CSI Bottleneck: MARL-Driven Spatial Control for Reflector Arrays [8.046649921554472]
  本稿では,機械的に調整可能な金属リフレクタアレイを制御するための,完全自律型マルチエージェント強化学習(MARL)フレームワークを提案する。 動的非線形(NLOS)環境における高忠実光線トレーシングシミュレーションは、このマルチエージェントアプローチがユーザモビリティに迅速に適応することを示す。 これらの結果は,MARLによる空間抽象化の有効性を,AIを利用した無線ネットワークへのスケーラブルで実用的な経路として検証した。
  論文  参考訳（メタデータ） (2026-04-06T20:47:50Z)
• Enhancing Gradient Inversion Attacks in Federated Learning via Hierarchical Feature Optimization [56.95448807869383]
  フェデレートラーニング(FL)は、プライバシを保存する分散機械学習の魅力的なパラダイムとして登場した。 近年の研究では、FLシステムで交換される勾配もプライバシー漏洩に弱いことが報告されている。 我々は textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD) を提案する。
  論文  参考訳（メタデータ） (2026-04-01T14:32:15Z)
• OmniVL-Guard: Towards Unified Vision-Language Forgery Detection and Grounding via Balanced RL [63.388513841293616]
  既存の偽造検出手法は、現実世界の誤報に多いインターリーブされたテキスト、画像、ビデオを扱うのに失敗する。 このギャップを埋めるため,本論文では,オムニバス・ビジョン言語による偽造検出と接地のための統一フレームワークの開発を目標としている。 我々は、OmniVL-Guardという、オムニバス視覚言語による偽造検出と接地のためのバランスの取れた強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-11T09:41:36Z)
• MAESTRO: Meta-learning Adaptive Estimation of Scalarization Trade-offs for Reward Optimization [56.074760766965085]
  大規模言語モデル(LLM)の整合性のための効率的なパラダイムとしてグループ相対政策最適化が登場している。 我々は,報酬スカラー化を動的潜在ポリシーとして扱い,モデルの終端隠蔽状態を意味的ボトルネックとして活用するMAESTROを提案する。 本稿では,軽量コンダクタネットワークがメタリワード信号としてグループ相対的優位性を生かしてポリシと共進化する,双方向最適化フレームワークにおけるコンテキスト的帯域幅問題としてこれを定式化する。
  論文  参考訳（メタデータ） (2026-01-12T05:02:48Z)
• TC-LoRA: Temporally Modulated Conditional LoRA for Adaptive Diffusion Control [15.019368747393862]
  現在の制御可能な拡散モデルは、中間的なアクティベーションを変更して新しいモダリティに基づくガイダンスを注入する固定アーキテクチャに依存している。 モデルの重みを直接条件付けすることで動的文脈認識制御を可能にする新しいパラダイムであるTC-LoRAを導入する。
  論文  参考訳（メタデータ） (2025-10-10T17:13:02Z)
• Towards Efficient General Feature Prediction in Masked Skeleton Modeling [59.46799426434277]
  マスクスケルトンモデリングのための新しい汎用特徴予測フレームワーク(GFP)を提案する。 我々の重要な革新は、局所的な動きパターンからグローバルな意味表現にまたがる、従来の低レベルな再構築を高レベルな特徴予測に置き換えることです。
  論文  参考訳（メタデータ） (2025-09-03T18:05:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。