論文の概要: Superpose Task-specific Features for Model Merging

• arxiv url: http://arxiv.org/abs/2502.10698v2
• Date: Thu, 18 Sep 2025 09:17:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-19 15:20:14.033087
• Title: Superpose Task-specific Features for Model Merging
• Title（参考訳）: モデルマージのためのタスク特化機能
• Authors: Haiquan Qiu, You Wu, Dong Li, Jianmin Guo, Quanming Yao,
• Abstract要約: 本稿では,ニューラルネットワーク表現の基本的なメカニズムを活用することによって,モデルマージの新たな視点を導入する。 本稿では,個々のモデルからタスク固有の特徴を重畳したモデルに重ね合わせる手法を提案する。 提案手法は,ディープネットワークにおける特徴の活性化と抽出に不可欠な線形変換行列を特に対象とする。
• 参考スコア（独自算出の注目度）: 33.761816717454025
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Model merging enables powerful capabilities in neural networks without requiring additional training. In this paper, we introduce a novel perspective on model merging by leveraging the fundamental mechanisms of neural network representation. Our approach is motivated by the linear representation hypothesis, which states that neural networks encode information through linear combinations of feature vectors. We propose a method that superposes task-specific features from individual models into a merged model. Our approach specifically targets linear transformation matrices, which are crucial for feature activation and extraction in deep networks. By formulating the merging process as a linear system, we can preserve task-specific features from individual models and create merged models that effectively maintain multi-task capabilities compared to existing methods. Extensive experiments across diverse benchmarks and models demonstrate that our method outperforms existing techniques. Code is available at https://github.com/LARS-research/STF.
• Abstract（参考訳）: モデルマージは、追加のトレーニングを必要とせずに、ニューラルネットワークの強力な機能を実現する。 本稿では,ニューラルネットワーク表現の基本メカニズムを活用することによって,モデルマージの新たな視点を提案する。 我々のアプローチは、ニューラルネットワークが特徴ベクトルの線形結合を通じて情報を符号化する、線形表現仮説によって動機付けられている。 本稿では,個々のモデルからタスク固有の特徴を重畳したモデルに重畳する手法を提案する。 提案手法は,ディープネットワークにおける特徴の活性化と抽出に不可欠な線形変換行列を特に対象とする。 統合処理を線形システムとして定式化することにより、個々のモデルからタスク固有の特徴を保存し、既存の手法と比較してマルチタスク機能を効果的に維持するマージモデルを作成することができる。 様々なベンチマークやモデルにまたがる大規模な実験により、我々の手法が既存の手法より優れていることが示された。 コードはhttps://github.com/LARS-research/STF.comで公開されている。

関連論文リスト

• Leveraging Submodule Linearity Enhances Task Arithmetic Performance in LLMs [51.09983600916971]
  近年の研究では、線形性を示すモデルがタスク演算の性能を向上させることが示されている。 我々は、この線型性はモデルの部分加群の中にすでに存在すると論じる。 我々はこれらのサブモジュールを独立にマージする革新的なモデルマージ戦略を提案する。
  論文  参考訳（メタデータ） (2025-04-15T06:23:24Z)
• AdaMMS: Model Merging for Heterogeneous Multimodal Large Language Models with Unsupervised Coefficient Optimization [86.8133939108057]
  異種MLLMに適した新しいモデルマージ手法であるAdaMMSを提案する。 提案手法は,マッピング,マージ,検索という3段階の課題に対処する。 ラベル付きデータ無しで異種MLLMをマージできる最初のモデルマージ手法として、AdaMMSは様々なビジョンベンチマークで過去のモデルマージ手法より優れている。
  論文  参考訳（メタデータ） (2025-03-31T05:13:02Z)
• Efficient Adaptation of Pre-trained Vision Transformer via Householder Transformation [53.88562288388169]
  一般的な戦略である。 事前訓練された視覚変換器(ViT)のPEFT(Efficient Fine-Tuning)は、下流タスクにモデルを適応させる。 適応行列を表現するために,Singular Value Decomposition (SVD) にインスパイアされた新しいPEFT手法を提案する。 SVDは行列を左ユニタリ行列、スケーリング値の対角行列、右ユニタリ行列の積に分解する。
  論文  参考訳（メタデータ） (2024-10-30T12:08:30Z)
• Optimal Matrix-Mimetic Tensor Algebras via Variable Projection [0.0]
  行列緩和性(Matrix mimeticity)は、テンソルを、行列に類似した乗算、分解、解析が可能な作用素として解釈することから生じる。 我々は、データの事前の知識に頼ることなく、最適線形写像と対応するテンソル表現を学習する。 可変射影型アルゴリズムの変換と収束解析の独創性理論を提供する。
  論文  参考訳（メタデータ） (2024-06-11T04:52:23Z)
• Input Guided Multiple Deconstruction Single Reconstruction neural network models for Matrix Factorization [0.0]
  本稿では,非負行列因子化(NMF)の概念に基づく2つのモデルを開発する。 彼らは、一対の係数行列を定め、その低階近似を発見して高次元データを扱うことを目指している。 次元削減の必要性を正当化する原データよりも低次元埋め込みの方が優れていることが確認された。
  論文  参考訳（メタデータ） (2024-05-22T08:41:32Z)
• Parameter Efficient Multi-task Model Fusion with Partial Linearization [97.23530944186078]
  パラメータ効率のよい微調整技術において,マルチタスク融合を改善する新しい手法を提案する。 提案手法は, アダプタモジュールのみを部分的に線形化し, 線形化アダプタにタスク演算を適用する。 我々の部分線形化手法は、複数のタスクをより効果的に1つのモデルに融合させることを可能にしている。
  論文  参考訳（メタデータ） (2023-10-07T08:55:54Z)
• Classification of BCI-EEG based on augmented covariance matrix [0.0]
  本稿では,運動画像分類の改善を目的とした自己回帰モデルから抽出した拡張共分散に基づく新しいフレームワークを提案する。 私たちはMOABBフレームワークを使って、いくつかのデータセットといくつかの主題でアプローチを検証します。
  論文  参考訳（メタデータ） (2023-02-09T09:04:25Z)
• Feature Weighted Non-negative Matrix Factorization [92.45013716097753]
  本稿では,FNMF(Feature weighted Non- negative Matrix Factorization)を提案する。 FNMFはその重要性に応じて特徴の重みを適応的に学習する。 提案する最適化アルゴリズムを用いて効率的に解くことができる。
  論文  参考訳（メタデータ） (2021-03-24T21:17:17Z)
• Multi-Objective Matrix Normalization for Fine-grained Visual Recognition [153.49014114484424]
  双線形プールは細粒度視覚認識(FGVC)において大きな成功を収める 近年,行列パワー正規化は双線形特徴量において2次情報を安定化させることができることが示されている。 両線形表現を同時に正規化できる効率的な多目的行列正規化法(MOMN)を提案する。
  論文  参考訳（メタデータ） (2020-03-30T08:40:35Z)
• Learning Bijective Feature Maps for Linear ICA [73.85904548374575]
  画像データに適した既存の確率的深層生成モデル (DGM) は, 非線形ICAタスクでは不十分であることを示す。 そこで本研究では,2次元特徴写像と線形ICAモデルを組み合わせることで,高次元データに対する解釈可能な潜在構造を学習するDGMを提案する。 画像上のフローベースモデルや線形ICA、変分オートエンコーダよりも、高速に収束し、訓練が容易なモデルを作成し、教師なしの潜在因子発見を実現する。
  論文  参考訳（メタデータ） (2020-02-18T17:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。