論文の概要: Tunable MAGMAX: Preference-Aware Model Merging for Continual Learning

• arxiv url: http://arxiv.org/abs/2605.20803v1
• Date: Wed, 20 May 2026 06:50:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.537932
• Title: Tunable MAGMAX: Preference-Aware Model Merging for Continual Learning
• Title（参考訳）: Tunable MAGMAX:継続的学習のための参照認識モデルの統合
• Authors: Kei Hiroshima, Kento Uchida, Shinichi Shirakawa,
• Abstract要約: 連続学習(CL)は、以前に学習した知識の破滅的な忘れを軽減しつつ、複数のタスクでモデルを逐次訓練することを目的としている。 近年の大規模事前学習モデル(LPM)とMAGMAXのようなモデルマージ技術は,タスク固有のパラメータを組み合わせることで,効果的なCL性能を実証している。 本稿では、CLにおけるタスク固有性能の優先制御を可能にするTunable MAGMAXと呼ばれるモデル統合フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 1.6822770693792826
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning (CL) aims to train models sequentially on multiple tasks while mitigating catastrophic forgetting of previously learned knowledge. Recent advances in large pre-trained models (LPMs) and model merging techniques, such as MAGMAX, have demonstrated effective CL performance by combining task-specific parameters. However, existing methods primarily focus on average performance across all tasks and do not adequately address how to construct models accommodating different deployment environments or varying user preferences. This paper proposes a model merging framework, termed Tunable MAGMAX, which enables preference-aware control of task-specific performance in CL. Our method introduces a preference vector that controls the number of elements selected from each task vector during model merging, allowing us to adjust the merged model performance according to their deployment needs. We further propose a method for automatically constructing appropriate preference vectors by leveraging small amounts of target environment data and datasets from model training tasks, thereby eliminating the need for manual specification. The experimental result on CL benchmark tasks demonstrates that Tunable MAGMAX effectively controls task-wise performance and successfully adapts merged models to various target environments. The proposed Tunable MAGMAX achieves superior or comparable performance to baseline methods, making it a practical solution for deploying CL models to various environments where the preferences of each task performance differ.
• Abstract（参考訳）: 連続学習(CL)は、以前に学習した知識の破滅的な忘れを軽減しつつ、複数のタスクでモデルを逐次訓練することを目的としている。 近年の大規模事前学習モデル(LPM)とMAGMAXのようなモデルマージ技術は,タスク固有のパラメータを組み合わせることで,効果的なCL性能を実証している。 しかし、既存のメソッドは主にすべてのタスクの平均的なパフォーマンスに重点を置いており、異なるデプロイメント環境やさまざまなユーザの好みに合わせてモデルを適切に構築する方法には対処していない。 本稿では,CLにおけるタスク固有性能を優先的に制御できるTunable MAGMAXというモデル統合フレームワークを提案する。 本手法では,モデルマージ時に各タスクベクトルから選択した要素数を制御する選好ベクトルを導入する。 また、モデルトレーニングタスクから少量のターゲット環境データとデータセットを活用することにより、適切な選好ベクトルを自動的に構築する手法を提案し、手動仕様の必要性を排除した。 CLベンチマークタスクの実験結果は、Tunable MAGMAXがタスクワイドのパフォーマンスを効果的に制御し、マージしたモデルを様々なターゲット環境に適応させることを実証している。 提案したTunable MAGMAXは,各タスク性能の選好が異なる環境にCLモデルをデプロイするための実用的なソリューションである。

関連論文リスト

• Learning Multi-Indicator Weights for Data Selection: A Joint Task-Model Adaptation Framework with Efficient Proxies [50.39041754816285]
  本稿では、下流タスクと特定のモデルの両方にデータ選択を併用する多変数重み学習フレームワークを提案する。 提案手法は,GSM8Kのトレーニングサンプルの30%しか使用せず,フルデータセットチューニングに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2026-05-10T17:30:16Z)
• Task Alignment: A simple and effective proxy for model merging in computer vision [29.259838995576303]
  コンピュータビジョンにおけるモデルマージのほとんどの評価は、CLIPを用いた画像分類に限られている。 タスクアライメントプロキシを導入し、ハイパーパラメータ選択を高速化する方法を示す。 モデルマージの適用性を,CLIPに基づく分類を超えてマルチタスクビジョンモデルに拡張する。
  論文  参考訳（メタデータ） (2026-04-14T16:24:04Z)
• MAVIS: Multi-Objective Alignment via Value-Guided Inference-Time Search [12.710362645521466]
  我々は、値誘導推論時間探索による多目的アライメントMAVISを紹介する。 ベースモデルの重みを変更することなく、LCMの挙動を動的に制御できる。 また,MAVISは,対象物ごとの微調整のベースラインよりも優れており,ポストホックと組み合わせていることを示す。
  論文  参考訳（メタデータ） (2025-08-19T00:26:07Z)
• Modeling Multi-Task Model Merging as Adaptive Projective Gradient Descent [72.10987117380584]
  複数のエキスパートモデルをマージすることは、元のデータにアクセスせずにマルチタスク学習を実行するための有望なアプローチを提供する。 既存のメソッドは、競合を引き起こす一方で、パフォーマンスにとって重要なタスク固有の情報を捨てている。 我々の手法は従来の手法より一貫して優れており、視覚領域とNLP領域の両方において様々なアーキテクチャやタスクにまたがって最先端の結果が得られます。
  論文  参考訳（メタデータ） (2025-01-02T12:45:21Z)
• Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
  大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。 個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。 数発のステアライメントのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-18T16:14:59Z)
• Building a Winning Team: Selecting Source Model Ensembles using a Submodular Transferability Estimation Approach [20.86345962679122]
  公開されている事前訓練されたモデルの目標タスクへの転送可能性の推定は、伝達学習タスクにとって重要な場所となっている。 本稿では, モデルアンサンブルの下流タスクへの転送可能性を評価するために, 最適なtranSportベースのsuBmOdular tRaNsferability Metrics(OSBORN)を提案する。
  論文  参考訳（メタデータ） (2023-09-05T17:57:31Z)
• Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
  未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。 モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-09T17:26:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。