論文の概要: Superpose Singular Features for Model Merging

• arxiv url: http://arxiv.org/abs/2502.10698v1
• Date: Sat, 15 Feb 2025 07:05:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:14:54.342757
• Title: Superpose Singular Features for Model Merging
• Title（参考訳）: モデルマージのためのSingular Featuresの重ね合わせ
• Authors: Haiquan Qiu, You Wu, Quanming Yao,
• Abstract要約: Superpose Features from Task Matrix (SFTM) は、個々のタスクモデルから統合されたモデルに機能を重畳する新しいアプローチである。 提案手法は既存の手法を一貫して上回り,優れた性能とアウト・オブ・ディストリビューションの一般化を向上する。
• 参考スコア（独自算出の注目度）: 29.728307343119894
• License:
• Abstract: Model merging is a critical technique for combining the capabilities of multiple fine-tuned models without requiring additional training. While existing methods treat parameters as vectors, they overlook the intrinsic structure of linear transformation matrices - the core components that comprise the majority of model parameters. These matrices are fundamental to neural networks, mapping input representations to output features through linear combinations. Motivated by the linear representation hypothesis, we introduce task matrix and propose to Superpose Features from Task Matrix (SFTM), a novel approach that superposes features from individual task models into a merged model. SFTM employs singular value decomposition to identify feature bases of linear transformation matrices and solves a linear system to optimally combine them while preserving input-output mappings from individual task models. Extensive experiments on vision transformers and language models demonstrate that our method consistently outperforms existing methods, achieving superior performance and enhanced out-of-distribution generalization.
• Abstract（参考訳）: モデルマージは、追加のトレーニングを必要とせず、複数の微調整されたモデルの能力を組み合わせるための重要なテクニックである。 既存のメソッドはパラメータをベクトルとして扱うが、モデルパラメータの大部分を構成するコアコンポーネントである線形変換行列の本質的な構造を見落としている。 これらの行列はニューラルネットワークの基本であり、線形結合を通して入力表現を出力特徴にマッピングする。 線形表現仮説によって動機づけられたタスク行列を導入し、個別のタスクモデルから特徴をマージしたモデルに重畳する新しいアプローチであるタスク行列から特徴を重畳する手法(SFTM)を提案する。 SFTMは特異値分解を用いて線形変換行列の特徴基底を同定し、個々のタスクモデルから入力-出力マッピングを保存しながら最適にそれらを結合する線形系を解く。 視覚変換器と言語モデルに関する大規模な実験により、我々の手法は既存の手法を一貫して上回り、優れた性能を達成し、アウト・オブ・ディストリビューションの一般化を向上することを示した。

関連論文リスト

• Merging Models on the Fly Without Retraining: A Sequential Approach to Scalable Continual Model Merging [75.93960998357812]
  ディープモデルマージ(Deep Modelmerging)は、複数の微調整モデルを組み合わせて、さまざまなタスクやドメインにまたがる能力を活用する、新たな研究方向を示すものだ。 現在のモデルマージ技術は、全ての利用可能なモデルを同時にマージすることに集中しており、重量行列に基づく手法が主要なアプローチである。 本稿では,モデルを逐次処理するトレーニングフリーなプロジェクションベース連続マージ手法を提案する。
  論文  参考訳（メタデータ） (2025-01-16T13:17:24Z)
• Efficient Adaptation of Pre-trained Vision Transformer via Householder Transformation [53.88562288388169]
  一般的な戦略である。 事前訓練された視覚変換器(ViT)のPEFT(Efficient Fine-Tuning)は、下流タスクにモデルを適応させる。 適応行列を表現するために,Singular Value Decomposition (SVD) にインスパイアされた新しいPEFT手法を提案する。 SVDは行列を左ユニタリ行列、スケーリング値の対角行列、右ユニタリ行列の積に分解する。
  論文  参考訳（メタデータ） (2024-10-30T12:08:30Z)
• Optimal Matrix-Mimetic Tensor Algebras via Variable Projection [0.0]
  行列緩和性(Matrix mimeticity)は、テンソルを、行列に類似した乗算、分解、解析が可能な作用素として解釈することから生じる。 我々は、データの事前の知識に頼ることなく、最適線形写像と対応するテンソル表現を学習する。 可変射影型アルゴリズムの変換と収束解析の独創性理論を提供する。
  論文  参考訳（メタデータ） (2024-06-11T04:52:23Z)
• Input Guided Multiple Deconstruction Single Reconstruction neural network models for Matrix Factorization [0.0]
  本稿では,非負行列因子化(NMF)の概念に基づく2つのモデルを開発する。 彼らは、一対の係数行列を定め、その低階近似を発見して高次元データを扱うことを目指している。 次元削減の必要性を正当化する原データよりも低次元埋め込みの方が優れていることが確認された。
  論文  参考訳（メタデータ） (2024-05-22T08:41:32Z)
• Large-scale gradient-based training of Mixtures of Factor Analyzers [67.21722742907981]
  本稿では,勾配降下による高次元学習を効果的に行うための理論解析と新しい手法の両立に寄与する。 MFAトレーニングと推論/サンプリングは,学習終了後の行列逆変換を必要としない精度行列に基づいて行うことができることを示す。 理論解析と行列の他に,SVHNやMNISTなどの画像データセットにMFAを適用し,サンプル生成と外乱検出を行う能力を示す。
  論文  参考訳（メタデータ） (2023-08-26T06:12:33Z)
• Classification of BCI-EEG based on augmented covariance matrix [0.0]
  本稿では,運動画像分類の改善を目的とした自己回帰モデルから抽出した拡張共分散に基づく新しいフレームワークを提案する。 私たちはMOABBフレームワークを使って、いくつかのデータセットといくつかの主題でアプローチを検証します。
  論文  参考訳（メタデータ） (2023-02-09T09:04:25Z)
• Feature Weighted Non-negative Matrix Factorization [92.45013716097753]
  本稿では,FNMF(Feature weighted Non- negative Matrix Factorization)を提案する。 FNMFはその重要性に応じて特徴の重みを適応的に学習する。 提案する最適化アルゴリズムを用いて効率的に解くことができる。
  論文  参考訳（メタデータ） (2021-03-24T21:17:17Z)
• Multi-Objective Matrix Normalization for Fine-grained Visual Recognition [153.49014114484424]
  双線形プールは細粒度視覚認識(FGVC)において大きな成功を収める 近年,行列パワー正規化は双線形特徴量において2次情報を安定化させることができることが示されている。 両線形表現を同時に正規化できる効率的な多目的行列正規化法(MOMN)を提案する。
  論文  参考訳（メタデータ） (2020-03-30T08:40:35Z)
• Learning Bijective Feature Maps for Linear ICA [73.85904548374575]
  画像データに適した既存の確率的深層生成モデル (DGM) は, 非線形ICAタスクでは不十分であることを示す。 そこで本研究では,2次元特徴写像と線形ICAモデルを組み合わせることで,高次元データに対する解釈可能な潜在構造を学習するDGMを提案する。 画像上のフローベースモデルや線形ICA、変分オートエンコーダよりも、高速に収束し、訓練が容易なモデルを作成し、教師なしの潜在因子発見を実現する。
  論文  参考訳（メタデータ） (2020-02-18T17:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。