論文の概要: Superpose Singular Features for Model Merging

• arxiv url: http://arxiv.org/abs/2502.10698v1
• Date: Sat, 15 Feb 2025 07:05:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 20:34:44.61603
• Title: Superpose Singular Features for Model Merging
• Title（参考訳）: モデルマージのためのSingular Featuresの重ね合わせ
• Authors: Haiquan Qiu, You Wu, Quanming Yao,
• Abstract要約: Superpose Features from Task Matrix (SFTM) は、個々のタスクモデルから統合されたモデルに機能を重畳する新しいアプローチである。 提案手法は既存の手法を一貫して上回り,優れた性能とアウト・オブ・ディストリビューションの一般化を向上する。
• 参考スコア（独自算出の注目度）: 29.728307343119894
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Model merging is a critical technique for combining the capabilities of multiple fine-tuned models without requiring additional training. While existing methods treat parameters as vectors, they overlook the intrinsic structure of linear transformation matrices - the core components that comprise the majority of model parameters. These matrices are fundamental to neural networks, mapping input representations to output features through linear combinations. Motivated by the linear representation hypothesis, we introduce task matrix and propose to Superpose Features from Task Matrix (SFTM), a novel approach that superposes features from individual task models into a merged model. SFTM employs singular value decomposition to identify feature bases of linear transformation matrices and solves a linear system to optimally combine them while preserving input-output mappings from individual task models. Extensive experiments on vision transformers and language models demonstrate that our method consistently outperforms existing methods, achieving superior performance and enhanced out-of-distribution generalization.
• Abstract（参考訳）: モデルマージは、追加のトレーニングを必要とせず、複数の微調整されたモデルの能力を組み合わせるための重要なテクニックである。 既存のメソッドはパラメータをベクトルとして扱うが、モデルパラメータの大部分を構成するコアコンポーネントである線形変換行列の本質的な構造を見落としている。 これらの行列はニューラルネットワークの基本であり、線形結合を通して入力表現を出力特徴にマッピングする。 線形表現仮説によって動機づけられたタスク行列を導入し、個別のタスクモデルから特徴をマージしたモデルに重畳する新しいアプローチであるタスク行列から特徴を重畳する手法(SFTM)を提案する。 SFTMは特異値分解を用いて線形変換行列の特徴基底を同定し、個々のタスクモデルから入力-出力マッピングを保存しながら最適にそれらを結合する線形系を解く。 視覚変換器と言語モデルに関する大規模な実験により、我々の手法は既存の手法を一貫して上回り、優れた性能を達成し、アウト・オブ・ディストリビューションの一般化を向上することを示した。

関連論文リスト

• Leveraging Submodule Linearity Enhances Task Arithmetic Performance in LLMs [51.09983600916971]
  近年の研究では、線形性を示すモデルがタスク演算の性能を向上させることが示されている。 我々は、この線型性はモデルの部分加群の中にすでに存在すると論じる。 我々はこれらのサブモジュールを独立にマージする革新的なモデルマージ戦略を提案する。
  論文  参考訳（メタデータ） (2025-04-15T06:23:24Z)
• AdaMMS: Model Merging for Heterogeneous Multimodal Large Language Models with Unsupervised Coefficient Optimization [86.8133939108057]
  異種MLLMに適した新しいモデルマージ手法であるAdaMMSを提案する。 提案手法は,マッピング,マージ,検索という3段階の課題に対処する。 ラベル付きデータ無しで異種MLLMをマージできる最初のモデルマージ手法として、AdaMMSは様々なビジョンベンチマークで過去のモデルマージ手法より優れている。
  論文  参考訳（メタデータ） (2025-03-31T05:13:02Z)
• Efficient Adaptation of Pre-trained Vision Transformer via Householder Transformation [53.88562288388169]
  一般的な戦略である。 事前訓練された視覚変換器(ViT)のPEFT(Efficient Fine-Tuning)は、下流タスクにモデルを適応させる。 適応行列を表現するために,Singular Value Decomposition (SVD) にインスパイアされた新しいPEFT手法を提案する。 SVDは行列を左ユニタリ行列、スケーリング値の対角行列、右ユニタリ行列の積に分解する。
  論文  参考訳（メタデータ） (2024-10-30T12:08:30Z)
• Optimal Matrix-Mimetic Tensor Algebras via Variable Projection [0.0]
  行列緩和性(Matrix mimeticity)は、テンソルを、行列に類似した乗算、分解、解析が可能な作用素として解釈することから生じる。 我々は、データの事前の知識に頼ることなく、最適線形写像と対応するテンソル表現を学習する。 可変射影型アルゴリズムの変換と収束解析の独創性理論を提供する。
  論文  参考訳（メタデータ） (2024-06-11T04:52:23Z)
• Input Guided Multiple Deconstruction Single Reconstruction neural network models for Matrix Factorization [0.0]
  本稿では,非負行列因子化(NMF)の概念に基づく2つのモデルを開発する。 彼らは、一対の係数行列を定め、その低階近似を発見して高次元データを扱うことを目指している。 次元削減の必要性を正当化する原データよりも低次元埋め込みの方が優れていることが確認された。
  論文  参考訳（メタデータ） (2024-05-22T08:41:32Z)
• Parameter Efficient Multi-task Model Fusion with Partial Linearization [97.23530944186078]
  パラメータ効率のよい微調整技術において,マルチタスク融合を改善する新しい手法を提案する。 提案手法は, アダプタモジュールのみを部分的に線形化し, 線形化アダプタにタスク演算を適用する。 我々の部分線形化手法は、複数のタスクをより効果的に1つのモデルに融合させることを可能にしている。
  論文  参考訳（メタデータ） (2023-10-07T08:55:54Z)
• Classification of BCI-EEG based on augmented covariance matrix [0.0]
  本稿では,運動画像分類の改善を目的とした自己回帰モデルから抽出した拡張共分散に基づく新しいフレームワークを提案する。 私たちはMOABBフレームワークを使って、いくつかのデータセットといくつかの主題でアプローチを検証します。
  論文  参考訳（メタデータ） (2023-02-09T09:04:25Z)
• Feature Weighted Non-negative Matrix Factorization [92.45013716097753]
  本稿では,FNMF(Feature weighted Non- negative Matrix Factorization)を提案する。 FNMFはその重要性に応じて特徴の重みを適応的に学習する。 提案する最適化アルゴリズムを用いて効率的に解くことができる。
  論文  参考訳（メタデータ） (2021-03-24T21:17:17Z)
• Multi-Objective Matrix Normalization for Fine-grained Visual Recognition [153.49014114484424]
  双線形プールは細粒度視覚認識(FGVC)において大きな成功を収める 近年,行列パワー正規化は双線形特徴量において2次情報を安定化させることができることが示されている。 両線形表現を同時に正規化できる効率的な多目的行列正規化法(MOMN)を提案する。
  論文  参考訳（メタデータ） (2020-03-30T08:40:35Z)
• Learning Bijective Feature Maps for Linear ICA [73.85904548374575]
  画像データに適した既存の確率的深層生成モデル (DGM) は, 非線形ICAタスクでは不十分であることを示す。 そこで本研究では,2次元特徴写像と線形ICAモデルを組み合わせることで,高次元データに対する解釈可能な潜在構造を学習するDGMを提案する。 画像上のフローベースモデルや線形ICA、変分オートエンコーダよりも、高速に収束し、訓練が容易なモデルを作成し、教師なしの潜在因子発見を実現する。
  論文  参考訳（メタデータ） (2020-02-18T17:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。