論文の概要: Parameters as Experts: Adapting Vision Models with Dynamic Parameter Routing

• arxiv url: http://arxiv.org/abs/2602.06862v1
• Date: Fri, 06 Feb 2026 16:50:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-09 22:18:26.494204
• Title: Parameters as Experts: Adapting Vision Models with Dynamic Parameter Routing
• Title（参考訳）: エキスパートとしてのパラメータ:動的パラメータルーティングによる視覚モデルへの適応
• Authors: Meng Lou, Stanley Yu, Yizhou Yu,
• Abstract要約: AdaRouteは、シンプルなMix-of-experts(MoE)アーキテクチャを備えた新しいアダプタスタイルのメソッドである。 AdaRouteモジュールの動的重み行列は入力依存の方法で低ランク適応を促進する。 様々な視覚タスクにおけるAdaRouteの優位性を示す実験。
• 参考スコア（独自算出の注目度）: 41.836954056293614
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adapting pre-trained vision models using parameter-efficient fine-tuning (PEFT) remains challenging, as it aims to achieve performance comparable to full fine-tuning using a minimal number of trainable parameters. When applied to complex dense prediction tasks, existing methods exhibit limitations, including input-agnostic modeling and redundant cross-layer representations. To this end, we propose AdaRoute, a new adapter-style method featuring a simple mixture-of-experts (MoE) architecture. Specifically, we introduce shared expert centers, where each expert is a trainable parameter matrix. During a feedforward pass, each AdaRoute module in the network dynamically generates weight matrices tailored for the current module via a simple dynamic parameter routing mechanism, which selectively aggregates parameter matrices in the corresponding expert center. Dynamic weight matrices in AdaRoute modules facilitate low-rank adaptation in an input-dependent manner, thus generating more customized and powerful feature representations. Moreover, since AdaRoute modules across multiple network layers share the same expert center, they improve feature diversity by promoting implicit cross-layer feature interaction. Extensive experiments demonstrate the superiority of AdaRoute on diverse vision tasks, including semantic segmentation, object detection and instance segmentation, and panoptic segmentation. Code will be available at: https://bit.ly/3NZcr0H.
• Abstract（参考訳）: パラメータ効率細調整(PEFT)を用いた事前学習型視覚モデルの適用は、最小限のトレーニング可能なパラメータを用いて完全な微調整に匹敵する性能を達成することを目的としているため、依然として困難である。 複雑な密集予測タスクに適用すると、既存の手法は入力に依存しないモデリングや冗長な層間表現を含む制限を示す。 そこで本研究では,シンプルなMix-of-Experts(MoE)アーキテクチャを備えたアダプタスタイルのAdaRouteを提案する。 具体的には、各専門家がトレーニング可能なパラメータ行列である共有専門家センターを紹介します。 フィードフォワードパス中、ネットワーク内の各AdaRouteモジュールは、対応するエキスパートセンターでパラメータ行列を選択的に集約する単純な動的パラメータルーティング機構を介して、現在のモジュールに適した重み行列を動的に生成する。 AdaRouteモジュールの動的重み行列は入力依存の方法で低ランク適応を促進するため、よりカスタマイズされた強力な特徴表現を生成する。 さらに、複数のネットワーク層にまたがるAdaRouteモジュールは同じ専門家センタを共有しているため、暗黙的なクロスレイヤ機能インタラクションを促進することで、機能の多様性を向上させる。 大規模な実験は、セマンティックセグメンテーション、オブジェクト検出、インスタンスセグメンテーション、パノプティックセグメンテーションなど、多様な視覚タスクにおけるAdaRouteの優位性を実証している。 コードは、https://bit.ly/3NZcr0H.comで入手できる。

関連論文リスト

• Hyperparameter Transfer with Mixture-of-Expert Layers [51.03005470884366]
  現代のニューラルネットワークをスケールアップするための重要なツールとして、Mixture-of-Experts(MoE)層が登場した。 モデル幅,深さ,専門家の数,(隠れた)サイズを拡大する際,MoE層を有するトランスフォーマーモデルのパラメータ化を提案する。
  論文  参考訳（メタデータ） (2026-01-28T03:02:30Z)
• L-MoE: End-to-End Training of a Lightweight Mixture of Low-Rank Adaptation Experts [10.21556794551883]
  L-MoE: LoRA エキスパートの軽量混合体について紹介する。 L-MoEは、MoEの専門家をタスク特化して低ランクのアダプタとして再定義する。 L-MoE の公式な数学的枠組みを提案する。
  論文  参考訳（メタデータ） (2025-10-19T08:44:25Z)
• Is Multiple Object Tracking a Matter of Specialization? [33.59920084936913]
  不均一なシナリオでエンドツーエンドのトランスフォーマーベースのトラッカーをトレーニングすることは大きな課題となる。 紹介する。 シナリオ固有の追跡アーキテクチャ(PASTA)は、組み合わせた新しいフレームワークである。 効率的な微細チューニング(PEFT)とモジュール深層学習
  論文  参考訳（メタデータ） (2024-11-01T13:03:58Z)
• Bi-directional Adapter for Multi-modal Tracking [67.01179868400229]
  汎用の双方向アダプタを用いたマルチモーダル視覚プロンプト追跡モデルを提案する。 我々は、モーダリティ固有の情報をあるモーダリティから別のモーダリティへ転送するための、シンプルだが効果的なライト・フィーチャー・アダプタを開発した。 本モデルでは,完全微調整法と素早い学習法の両方と比較して,追跡性能が優れている。
  論文  参考訳（メタデータ） (2023-12-17T05:27:31Z)
• Parameter-efficient Tuning of Large-scale Multimodal Foundation Model [68.24510810095802]
  我々はこれらの課題を克服するために、クロスモーダル転送(Aurora)のための優雅なプロンプトフレームワークを提案する。 既存のアーキテクチャの冗長性を考慮すると、まずモード近似を用いて0.1Mのトレーニング可能なパラメータを生成し、マルチモーダルプロンプトチューニングを実装する。 6つのクロスモーダルベンチマークの徹底的な評価は、最先端のベンチマークを上回るだけでなく、完全な微調整アプローチよりも優れていることを示している。
  論文  参考訳（メタデータ） (2023-05-15T06:40:56Z)
• Prompt-Matched Semantic Segmentation [96.99924127527002]
  本研究の目的は、事前学習した基礎モデルを、画像意味セグメンテーションの下流の様々なタスクに効果的に適応する方法を検討することである。 本稿では,タスク指向のチューニングに適応的に視覚的プロンプトを生成するとともに,基礎モデルの本来の構造を維持できる新しい階層間プロンプトマッチングフレームワークを提案する。 次に、Semantic-aware Prompt Matcherと呼ばれる軽量モジュールを導入し、2つのステージ間で階層的に補間し、各タスクに対して適切なプロンプトを学習する。
  論文  参考訳（メタデータ） (2022-08-22T09:12:53Z)
• Learning Dynamic Routing for Semantic Segmentation [86.56049245100084]
  本稿では,動的ルーティングと呼ばれる意味表現のスケール分散を緩和する概念的に新しい手法を提案する。 提案フレームワークは,各画像のスケール分布に適応して,データ依存経路を生成する。 この目的のために、ハエのスケール変換経路を選択するために、ソフトコンディショナルゲートと呼ばれる微分可能なゲーティング関数を提案する。
  論文  参考訳（メタデータ） (2020-03-23T17:22:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。