Fugu-MT 論文翻訳(概要): Self-Routed Tensor Adapters for Parameter-Efficient Universal Visual Adaptation

論文の概要: Self-Routed Tensor Adapters for Parameter-Efficient Universal Visual Adaptation

arxiv url: http://arxiv.org/abs/2608.16384v1
Date: Mon, 17 Aug 2026 10:35:36 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-18 19:59:03.638045
Title: Self-Routed Tensor Adapters for Parameter-Efficient Universal Visual Adaptation
Title（参考訳）: パラメータ効率のよいユニバーサルビジュアル適応のための自己制御型テンソルアダプタ
Abstract要約: Self-Routed Adaptersは、マルチドメイン視覚適応のためのコンパクトなフレームワークである。外部ゲーティングネットワークを使わずにサンプル特異的適応行列を生成する。これは、MoEスタイルのPEFTベースラインよりも、競争力のある平均精度またはわずかに強い平均精度を達成する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Universal visual representations require adaptation mechanisms that adapt across heterogeneous domains without fragmenting knowledge into domain-specific modules. Parameter-efficient fine-tuning adapts frozen visual foundation models efficiently, but standard low-rank adapters use a fixed subspace for all inputs, which can be restrictive when domains differ in style, background, and semantic context. MoE-based adapters improve specialization through multiple expert pathways, but often rely on external routers and large expert banks, adding parameters and separating routing from adaptation. We propose \textbf{Self-Routed Tensor Adapters}, a compact framework for multi-domain visual adaptation. SRTA projects each input into a low-rank space, computes routing weights from this representation using a learnable domain matrix, and uses these weights to blend slices of a shared Tucker core. This produces a sample-specific adaptation matrix without an external gating network, allowing shared visual factors to be reused while supporting domain-aware specialization. To strengthen pathway learning, we introduce a progressive depth-weighted routing objective that supervises routing decisions across adapter layers. Across five heterogeneous multi-domain visual classification benchmarks, SRTA achieves competitive or slightly stronger average accuracy than MoE-style PEFT baselines while using substantially fewer trainable parameters. At rank 64, SRTA uses 2.77M parameters in the 4-domain setting compared with 9.52M for MoLoRA, and 3.00M in the 6-domain setting compared with 14.31M. Overall, SRTA offers an effective accuracy-parameter trade-off for adapting visual foundation models toward universal multi-domain representations. \href{https://github.com/surajyadav-research/SRTA}{GitHub}
Abstract（参考訳）: 普遍的な視覚表現は、知識をドメイン固有のモジュールに断片化することなく、異種領域に適応する適応機構を必要とする。パラメータ効率の良い微調整は、凍結した視覚基盤モデルに効率的に適応するが、標準の低ランクアダプタは全ての入力に対して固定部分空間を使用する。 MoEベースのアダプタは、複数のエキスパートパスを通じて特殊化を改善するが、しばしば外部ルータや大規模な専門家バンクに依存し、パラメータを追加し、適応からルーティングを分離する。マルチドメイン視覚適応のためのコンパクトなフレームワークである「textbf{Self-Routed Tensor Adapters}」を提案する。 SRTAは各入力を低ランク空間に投影し、学習可能なドメイン行列を用いてこの表現からのルーティング重みを計算し、これらの重みを使って共有タッカーコアのスライスをブレンドする。これにより、外部ゲーティングネットワークを使わずにサンプル固有の適応行列を生成し、ドメイン認識の専門化をサポートしながら共有視覚因子を再利用することができる。経路学習を強化するために,アダプタ層間のルーティング決定を監督するプログレッシブな深度重み付きルーティング手法を導入する。 5つのヘテロジニアスなマルチドメイン視覚分類ベンチマークにおいて、SRTAはトレーニング可能なパラメータをかなり少なく使用しながら、MoEスタイルのPEFTベースラインよりも競争力のある平均精度またはわずかに強い平均精度を達成する。ランク64では、4ドメイン設定では2.77M、MoLoRAでは9.52M、6ドメイン設定では3.00M、14.31Mである。全体として、SRTAは視覚基盤モデルを普遍的なマルチドメイン表現に適応するための効果的な精度パラメータトレードオフを提供する。 \href{https://github.com/surajyadav-research/SRTA}{GitHub}

関連論文リスト

A Unified Adaptive Feature Composition Framework for Multi-Task Generalization in Wireless Foundation Models [19.520699593557357]
無線基礎モデル(WFM)における一般化のための統一適応的特徴合成フレームワークを提案する。このルータは、最終層出力のみを抽出する代わりに、異なるTransformerの深さから隠された状態を、多層隠れ機能の再利用可能なプールとして扱う。 4つの代表的無線タスクの実験は、RAFCが従来の適応ベースラインを一貫して上回ることを示した。
論文参考訳（メタデータ） (2026-06-09T00:57:56Z)
Replacing Parameters with Preferences: Federated Alignment of Heterogeneous Vision-Language Models [63.70401095689976]
VLM(Vision-Language Models)は、医療や金融といったプライバシに敏感な分野において大きな可能性を秘めている。ヘテロジニアスVLMのためのGRPOとMixture-of-Rewardsを組み合わせた協調アライメントフレームワークであるMoRを提案する。 MoRは、一般化とクロスクライアント適応性において、フェデレートされたアライメントベースラインを一貫して上回る。
論文参考訳（メタデータ） (2026-05-05T07:02:50Z)
Parameters as Experts: Adapting Vision Models with Dynamic Parameter Routing [41.836954056293614]
AdaRouteは、シンプルなMix-of-experts(MoE)アーキテクチャを備えた新しいアダプタスタイルのメソッドである。 AdaRouteモジュールの動的重み行列は入力依存の方法で低ランク適応を促進する。様々な視覚タスクにおけるAdaRouteの優位性を示す実験。
論文参考訳（メタデータ） (2026-02-06T16:50:38Z)
Beyond Weight Adaptation: Feature-Space Domain Injection for Cross-Modal Ship Re-Identification [3.6907522136316975]
CMS Re-ID(Cross-Modality Ship Re-Identification)は、全天候の海上目標追跡を実現するために重要である。モダリティギャップのブリッジ化におけるビジョン・ファンデーション・モデル(VFM)の可能性を探る。ドメイン表現注入(Domain Representation Injection, DRI)と呼ばれる新しいPEFT戦略を提案する。
論文参考訳（メタデータ） (2025-12-24T02:30:23Z)
CATCH: A Modular Cross-domain Adaptive Template with Hook [2.869731339311564]
CATCHはVisual Question Answering (VQA)モデルのクロスドメイン適応のためのプラグイン・アンド・プレイフレームワークである。私たちのキーとなるアイデアは、2つの軽量モジュールを導入することで視覚的および言語的適応を分離することです。その結果,バックボーンモデルを再トレーニングすることなく,一貫した性能向上を実現することができた。
論文参考訳（メタデータ） (2025-10-30T15:10:02Z)
ConvLoRA and AdaBN based Domain Adaptation via Self-Training [4.006331916849688]
マルチターゲットドメイン適応のための畳み込み低ランク適応(ConvLoRA)を提案する。 ConvLoRAはトレーニング済みのモデルウェイトを凍結し、畳み込み層にトレーニング可能な低ランク分解行列を追加し、勾配をバックプロパゲートする。提案手法はトレーニング可能なパラメータを少なくし,大規模独立微調整ネットワークと同等あるいは同等に動作する。
論文参考訳（メタデータ） (2024-02-07T15:43:50Z)
Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
私たちは新しいビジュアルを提案します。 Sensuous-Aware Fine-Tuning (SPT) スキーム。 SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
論文参考訳（メタデータ） (2023-03-15T12:34:24Z)
AdapterSoup: Weight Averaging to Improve Generalization of Pretrained Language Models [127.04370753583261]
事前訓練された言語モデル(PLM)は、大規模なコーパスで訓練されるが、しばしば特定のドメインに特化する必要がある。解決策は、テスト時に新しいドメインに関連ドメインアダプタを使用することである。本稿では、異なるドメインでトレーニングされたアダプタの重量空間平均化を行うAdapterSoupを紹介する。
論文参考訳（メタデータ） (2023-02-14T13:09:23Z)
META: Mimicking Embedding via oThers' Aggregation for Generalizable Person Re-identification [68.39849081353704]
Domain Generalizable (DG) Person Re-identification (ReID)は、トレーニング時に対象のドメインデータにアクセスすることなく、見えないドメインをまたいでテストすることを目的としている。本稿では,DG ReID のための OThers' Aggregation (META) を用いた Mimicking Embedding という新しい手法を提案する。
論文参考訳（メタデータ） (2021-12-16T08:06:50Z)
Pruning Self-attentions into Convolutional Layers in Single Path [89.55361659622305]
ビジョントランスフォーマー(ViT)は、様々なコンピュータビジョンタスクに対して印象的なパフォーマンスを実現している。トレーニング済みのViTを効率よく自動圧縮するSPViT(Single-Path Vision Transformer pruning)を提案する。われわれのSPViTはDeiT-Bで52.0%のFLOPをトリミングできる。
論文参考訳（メタデータ） (2021-11-23T11:35:54Z)
Multi-path Neural Networks for On-device Multi-domain Visual Classification [55.281139434736254]
本稿では,モバイルデバイス上でのマルチドメイン視覚分類のためのマルチパスネットワークの自動学習手法を提案する。提案するマルチパスネットワークは,各ドメインに1つの強化学習コントローラを適用して,MobileNetV3のような検索空間から生成されたスーパーネットワークの最適経路を選択することにより,ニューラルネットワーク検索から学習する。決定されたマルチパスモデルは、個々のドメインパス内の非共有ノード内にドメイン固有のパラメータを保持しながら、共有ノード内のドメイン間でパラメータを選択的に共有する。
論文参考訳（メタデータ） (2020-10-10T05:13:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。