論文の概要: Fantastic Features and Where to Find Them: A Probing Method to combine Features from Multiple Foundation Models

• arxiv url: http://arxiv.org/abs/2512.01405v1
• Date: Mon, 01 Dec 2025 08:26:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 19:46:34.761504
• Title: Fantastic Features and Where to Find Them: A Probing Method to combine Features from Multiple Foundation Models
• Title（参考訳）: ファンタスティックな特徴と発見の場所:複数の基礎モデルから特徴を組み合わせた探索手法
• Authors: Benjamin Ramtoula, Pierre-Yves Lajoie, Paul Newman, Daniele De Martini,
• Abstract要約: 本稿では,複数のモデルとレイヤの機能を統合したプローブベースのアダプタを提案する。 ComBoはデータセット固有のチューニングやバックボーンモデルによるバックプロパゲーションを必要としない。 この結果から,ComBoは複数のFMから多種多様な表現を合成するための,実用的で汎用的なフレームワークを提供することがわかった。
• 参考スコア（独自算出の注目度）: 14.643457726166632
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Foundation models (FMs) trained with different objectives and data learn diverse representations, making some more effective than others for specific downstream tasks. Existing adaptation strategies, such as parameter-efficient fine-tuning, focus on individual models and do not exploit the complementary strengths across models. Probing methods offer a promising alternative by extracting information from frozen models, but current techniques do not scale well with large feature sets and often rely on dataset-specific hyperparameter tuning. We propose Combined backBones (ComBo), a simple and scalable probing-based adapter that effectively integrates features from multiple models and layers. ComBo compresses activations from layers of one or more FMs into compact token-wise representations and processes them with a lightweight transformer for task-specific prediction. Crucially, ComBo does not require dataset-specific tuning or backpropagation through the backbone models. However, not all models are equally relevant for all tasks. To address this, we introduce a mechanism that leverages ComBo's joint multi-backbone probing to efficiently evaluate each backbone's task-relevance, enabling both practical model comparison and improved performance through selective adaptation. On the 19 tasks of the VTAB-1k benchmark, ComBo outperforms previous probing methods, matches or surpasses more expensive alternatives, such as distillation-based model merging, and enables efficient probing of tuned models. Our results demonstrate that ComBo offers a practical and general-purpose framework for combining diverse representations from multiple FMs.
• Abstract（参考訳）: ファンデーションモデル(FM)は異なる目的で訓練され、データは多様な表現を学ぶ。 パラメータ効率の微調整のような既存の適応戦略は個々のモデルに焦点を当てており、モデル間の相補的な強みを生かしていない。 探索手法は凍結したモデルから情報を抽出することで有望な代替手段を提供するが、現在の手法は大きな特徴セットではうまくスケールせず、しばしばデータセット固有のハイパーパラメータチューニングに依存している。 我々は,複数のモデルやレイヤの機能を効果的に統合する,シンプルでスケーラブルなプロベリングベースのアダプタであるComBones(ComBo)を提案する。 ComBoは1つ以上のFMの層からのアクティベーションをコンパクトなトークンワイド表現に圧縮し、タスク固有の予測のための軽量トランスフォーマーで処理する。 重要なのは、ComBoはデータセット固有のチューニングやバックボーンモデルによるバックプロパゲーションを必要としないことだ。 しかし、全てのモデルが全てのタスクに等しく関連しているわけではない。 そこで本研究では,ComBoのジョイントマルチバックボーン探索を利用して,各バックボーンのタスク関連性を効率的に評価し,実用的なモデル比較と選択的適応による性能向上を実現する機構を提案する。 VTAB-1kベンチマークの19のタスクにおいて、ComBoは従来の探索手法より優れており、蒸留ベースのモデルマージのようなより高価な代替品よりも優れており、チューニングされたモデルの効率的な探索を可能にしている。 この結果から,ComBoは複数のFMから多種多様な表現を合成するための,実用的で汎用的なフレームワークを提供することがわかった。

関連論文リスト

• Structural Similarity-Inspired Unfolding for Lightweight Image Super-Resolution [88.20464308588889]
  効率的な画像SRのための構造類似インスパイアド・アンフォールディング(SSIU)法を提案する。 この方法は、構造的類似性に制約されたSR最適化関数の展開によって設計される。 我々のモデルは現在の最先端モデルより優れており、パラメータ数が低く、メモリ消費が減少している。
  論文  参考訳（メタデータ） (2025-06-13T14:29:40Z)
• Dynamic Fisher-weighted Model Merging via Bayesian Optimization [37.02810891820468]
  既存のマージアプローチでは、一般的にパラメータをモデル的にスケーリングするか、パラメータの重要度をパラメータ的に統合する。 我々はこれらの戦略をより一般的な統合フレームワークに統合し、動的フィッシャー重み付け(DF-Merge)を導入する。 DF-Mergeは、異なるサイズと様々なタスクのモデルにおいて、強いベースラインを上回ります。
  論文  参考訳（メタデータ） (2025-04-26T18:31:14Z)
• RobustMerge: Parameter-Efficient Model Merging for MLLMs with Direction Robustness [28.437105789298244]
  RobustMergeは、方向ロバスト性を維持するために相補的なパラメータ適応を備えたトレーニング不要なパラメータ効率のマージ手法である。 多様なマルチモーダルタスクからなるベンチマークを構築し,本手法の卓越した性能と一般化性を証明する実験を行った。
  論文  参考訳（メタデータ） (2025-02-24T13:52:05Z)
• Wolf2Pack: The AutoFusion Framework for Dynamic Parameter Fusion [4.164728134421114]
  我々は,事前学習されたチェックポイントを使わずに,マルチタスク学習のための異なるモデルパラメータを融合するフレームワークであるAutoFusionを紹介する。 我々は、よく使われるベンチマークデータセットの実験を通してAutoFusionの有効性を検証する。 私たちのフレームワークは、モデル統合のためのスケーラブルで柔軟なソリューションを提供し、将来の研究および実用的なアプリケーションのための強力なツールとして位置づけています。
  論文  参考訳（メタデータ） (2024-10-08T07:21:24Z)
• FusionBench: A Comprehensive Benchmark of Deep Model Fusion [78.80920533793595]
  ディープモデル融合(Deep Model fusion)とは、複数のディープニューラルネットワークの予測やパラメータを単一のモデルに統合する手法である。 FusionBenchは、ディープモデル融合に特化した最初の包括的なベンチマークである。
  論文  参考訳（メタデータ） (2024-06-05T13:54:28Z)
• A Lightweight Feature Fusion Architecture For Resource-Constrained Crowd Counting [3.5066463427087777]
  クラウドカウントモデルの汎用性を高めるために,2つの軽量モデルを導入する。 これらのモデルは、MobileNetとMobileViTという2つの異なるバックボーンを持ちながら、同じダウンストリームアーキテクチャを維持している。 隣接特徴融合を利用して、事前学習モデル(PTM)から多様な特徴を抽出し、その後、シームレスにこれらの特徴を組み合わせる。
  論文  参考訳（メタデータ） (2024-01-11T15:13:31Z)
• Parameter Efficient Multi-task Model Fusion with Partial Linearization [97.23530944186078]
  パラメータ効率のよい微調整技術において,マルチタスク融合を改善する新しい手法を提案する。 提案手法は, アダプタモジュールのみを部分的に線形化し, 線形化アダプタにタスク演算を適用する。 我々の部分線形化手法は、複数のタスクをより効果的に1つのモデルに融合させることを可能にしている。
  論文  参考訳（メタデータ） (2023-10-07T08:55:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。