論文の概要: Efficient Multi-Task Modeling through Automated Fusion of Trained Models

• arxiv url: http://arxiv.org/abs/2504.09812v1
• Date: Mon, 14 Apr 2025 02:21:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-23 00:06:51.821142
• Title: Efficient Multi-Task Modeling through Automated Fusion of Trained Models
• Title（参考訳）: 訓練モデルの自動融合による効率的なマルチタスクモデリング
• Authors: Jingxuan Zhou, Weidong Bao, Ji Wang, Zhengyi Zhong, Dayu Zhang,
• Abstract要約: マルチタスク学習はインテリジェントサービスに広く応用されている。 従来のマルチタスクモデリング手法は、特定のタスクの組み合わせに基づいてカスタマイズされた設計を必要とすることが多い。 本稿では,異なる構造とタスクを持つ訓練済みシングルタスクモデルを自動的に融合してマルチタスクモデルを生成する,効率的なマルチタスクモデリング手法を提案する。
• 参考スコア（独自算出の注目度）: 2.967020492805983
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although multi-task learning is widely applied in intelligent services, traditional multi-task modeling methods often require customized designs based on specific task combinations, resulting in a cumbersome modeling process. Inspired by the rapid development and excellent performance of single-task models, this paper proposes an efficient multi-task modeling method that can automatically fuse trained single-task models with different structures and tasks to form a multi-task model. As a general framework, this method allows modelers to simply prepare trained models for the required tasks, simplifying the modeling process while fully utilizing the knowledge contained in the trained models. This eliminates the need for excessive focus on task relationships and model structure design. To achieve this goal, we consider the structural differences among various trained models and employ model decomposition techniques to hierarchically decompose them into multiple operable model components. Furthermore, we have designed an Adaptive Knowledge Fusion (AKF) module based on Transformer, which adaptively integrates intra-task and inter-task knowledge based on model components. Through the proposed method, we achieve efficient and automated construction of multi-task models, and its effectiveness is verified through extensive experiments on three datasets.
• Abstract（参考訳）: マルチタスク学習はインテリジェントなサービスに広く適用されているが、従来のマルチタスクモデリング手法では特定のタスクの組み合わせに基づいてカスタマイズされた設計を必要とすることが多く、面倒なモデリングプロセスとなる。 本稿では,単一タスクモデルの迅速な開発と優れた性能に触発されて,異なる構造とタスクを持つ訓練された単一タスクモデルを自動的に融合してマルチタスクモデルを生成する,効率的なマルチタスクモデリング手法を提案する。 一般的なフレームワークとして、この方法では、モデラーは、必要なタスクのためのトレーニング済みモデルを簡単に準備し、トレーニング済みモデルに含まれる知識を十分に活用しながら、モデリングプロセスを簡素化することができる。 これにより、タスクの関係やモデル構造設計に過剰にフォーカスする必要がなくなる。 この目的を達成するために、様々な訓練されたモデル間の構造的差異を考慮し、階層的に複数の操作可能なモデルコンポーネントに分解するためにモデル分解技術を用いる。 さらに,TransformerをベースとしたAdaptive Knowledge Fusion (AKF)モジュールを設計し,モデルコンポーネントに基づくタスク内知識とタスク間知識を適応的に統合した。 提案手法により,マルチタスクモデルの効率的かつ自動構築が可能となり,その有効性は3つのデータセットに対する広範囲な実験により検証される。

関連論文リスト

• Model Evolution Framework with Genetic Algorithm for Multi-Task Reinforcement Learning [85.91908329457081]
  マルチタスク強化学習は、様々なシナリオにまたがって一般化可能なエージェントを開発することを目的として、様々なタスクを完遂するために単一のポリシーを採用する。 既存のアプローチでは、ルーティングネットワークを使用して各タスクの特定のルートを生成し、モジュールのセットをさまざまなモデルに再構築し、複数のタスクを同時に完了させるのが一般的である。 本稿では,遺伝的アルゴリズム(MEGA)を用いたモデル進化フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-19T09:22:34Z)
• A Model Is Not Built By A Single Prompt: LLM-Based Domain Modeling With Question Decomposition [4.123601037699469]
  現実世界のドメインモデリングでは、エンジニアは通常複雑なタスクを簡単に解けるサブタスクに分解する。 本稿では,開発者のモデリングプロセスに類似した質問分解によるLLMに基づくドメインモデリング手法を提案する。 予備的な結果から,本手法は単発プロンプトによるプロンプトよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-13T14:28:04Z)
• Spindle: Efficient Distributed Training of Multi-Task Large Models via Wavefront Scheduling [35.06717005729781]
  Spindleは、マルチタスク(MT)マルチモーダル(MM)モデルのウェーブフロントスケジューリングによるリソース効率のトレーニングに適した、新しいトレーニングシステムである。 実験では、スピンドルの性能と効率が向上し、スピードアップ比は最先端のトレーニングシステムと比較して最大71%向上した。
  論文  参考訳（メタデータ） (2024-09-05T09:10:40Z)
• AutoTask: Task Aware Multi-Faceted Single Model for Multi-Task Ads Relevance [2.380819994407948]
  本稿では,タスク認識機能の組み合わせとタスク間相互作用モデリングを行う,新しい多面的アテンションモデルを提案する。 本手法は,特徴量とタスク次元の両面における自己回帰的注意を伴う「言語」モデリングとして特徴組合せ問題を定式化したものである。
  論文  参考訳（メタデータ） (2024-07-09T05:13:45Z)
• Model Breadcrumbs: Scaling Multi-Task Model Merging with Sparse Masks [12.146530928616386]
  目標問題に対する一般的なアプローチは、特定の目標タスクに対して、訓練済みの基礎モデルを微調整することである。 この研究は、補助的なタスクのスペクトルから導かれた同じ基礎モデルの複数の微調整をマージする問題に焦点を当てる。 事前学習したモデルの重み空間内でモデル適応を誘導する疎定義の重み集合からなる,新しい簡易な方法であるモデルブレッドクラブを導入する。
  論文  参考訳（メタデータ） (2023-12-11T19:10:55Z)
• Concrete Subspace Learning based Interference Elimination for Multi-task Model Fusion [86.6191592951269]
  一般的な事前訓練された大規模モデルから微調整されたマージングモデルは、様々なタスクに特化しているが、様々なタスクでうまく機能するマルチタスクモデルを構築するための安価でスケーラブルな戦略として実証されている。 本稿では、共通低次元部分空間を同定し、その共有情報トラック干渉問題を性能を犠牲にすることなく利用するための連続緩和(Concrete)部分空間学習法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T07:24:54Z)
• JiuZhang 2.0: A Unified Chinese Pre-trained Language Model for Multi-task Mathematical Problem Solving [77.51817534090789]
  マルチタスク数学問題の解法を専門とする統一中国語 PLM である textbfJiuZhang2.0 を提案する。 我々の考えは、中規模のモデルを維持し、マルチタスク設定におけるモデル容量を改善するために、Emphcross-taskの知識共有を利用することである。
  論文  参考訳（メタデータ） (2023-06-19T15:45:36Z)
• An Empirical Study of Multimodal Model Merging [148.48412442848795]
  モデルマージは、異なるタスクでトレーニングされた複数のモデルを融合してマルチタスクソリューションを生成するテクニックである。 我々は、モダリティ固有のアーキテクチャのビジョン、言語、およびクロスモーダルトランスフォーマーをマージできる新しい目標に向けて研究を行っている。 本稿では,重み間の距離を推定し,マージ結果の指標となる2つの指標を提案する。
  論文  参考訳（メタデータ） (2023-04-28T15:43:21Z)
• Mod-Squad: Designing Mixture of Experts As Modular Multi-Task Learners [74.92558307689265]
  専門家グループ("スクワッド")にモジュール化された新しいモデルであるMod-Squadを提案する。 単一モデルのトレーニング中に、このマッチングプロセスを最適化する。 13の視覚タスクを持つタスクノミーデータセットと、5つの視覚タスクを持つPASCAL-Contextデータセットの実験は、我々のアプローチの優位性を示している。
  論文  参考訳（メタデータ） (2022-12-15T18:59:52Z)
• OFASys: A Multi-Modal Multi-Task Learning System for Building Generalist Models [72.8156832931841]
  ジェネリストモデルは、単一のモデル内でタスクに依存しない方法で多様なマルチモーダルタスクを実行することができる。 マルチモーダル命令と呼ばれる宣言型タスクインタフェース上に構築された汎用モデル学習システムOFASysをリリースする。
  論文  参考訳（メタデータ） (2022-12-08T17:07:09Z)
• Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
  Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。 他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。 我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-03-30T23:16:07Z)
• Modular Networks Prevent Catastrophic Interference in Model-Based Multi-Task Reinforcement Learning [0.8883733362171032]
  モデルベースのマルチタスク強化学習が、共有ポリシネットワークからモデルフリーメソッドが行うのと同様の方法で、共有ダイナミクスモデルから恩恵を受けるかどうかを検討する。 単一ダイナミクスモデルを用いて、タスクの混乱と性能低下の明確な証拠を見出す。 対策として、学習力学モデルの内部構造を個別のサブネットワークにトレーニングすることで、パフォーマンスを著しく向上させる。
  論文  参考訳（メタデータ） (2021-11-15T12:31:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。