論文の概要: Multipath agents for modular multitask ML systems

• arxiv url: http://arxiv.org/abs/2302.02721v1
• Date: Mon, 6 Feb 2023 11:57:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-07 16:45:38.895043
• Title: Multipath agents for modular multitask ML systems
• Title（参考訳）: モジュール型マルチタスクmlシステムのためのマルチパスエージェント
• Authors: Andrea Gesmundo
• Abstract要約: 提案した研究は、複数のメソッドを異なるエージェントとして定義できる新しい方法論を紹介した。 エージェントは、与えられたタスクに対するMLモデルの生成と改善のために協力し、競争することができる。
• 参考スコア（独自算出の注目度）: 2.579908688646812
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A standard ML model is commonly generated by a single method that specifies aspects such as architecture, initialization, training data and hyperparameters configuration. The presented work introduces a novel methodology allowing to define multiple methods as distinct agents. Agents can collaborate and compete to generate and improve ML models for a given tasks. The proposed methodology is demonstrated with the generation and extension of a dynamic modular multitask ML system solving more than one hundred image classification tasks. Diverse agents can compete to produce the best performing model for a task by reusing the modules introduced to the system by competing agents. The presented work focuses on the study of agents capable of: 1) reusing the modules generated by concurrent agents, 2) activating in parallel multiple modules in a frozen state by connecting them with trainable modules, 3) condition the activation mixture on each data sample by using a trainable router module. We demonstrate that this simple per-sample parallel routing method can boost the quality of the combined solutions by training a fraction of the activated parameters.
• Abstract（参考訳）: 標準MLモデルは、アーキテクチャ、初期化、トレーニングデータ、ハイパーパラメータ設定などのアスペクトを指定する単一のメソッドによって一般的に生成される。 本稿では,複数のメソッドを異なるエージェントとして定義できる新しい手法を提案する。 エージェントは、与えられたタスクに対するMLモデルの生成と改善のために協力し、競争することができる。 提案手法は,100以上の画像分類課題を解いた動的モジュール型マルチタスクmlシステムの生成と拡張によって実証された。 多様なエージェントは、競合エージェントによってシステムに導入されたモジュールを再利用することで、タスクの最高のパフォーマンスモデルを作成するために競争することができる。 本研究は, 有能なエージェントの研究に焦点を当てたものである。 1) 並行エージェントが生成するモジュールの再利用 2)複数のモジュールを凍結状態で並列に活性化し、それらを訓練可能なモジュールで接続する。 3) トレーニング可能なルータモジュールを用いて各データサンプル上でのアクティベーション混合を条件とする。 この単純なサンプル毎の並列ルーティング手法は、活性化されたパラメータのほんの一部をトレーニングすることで、組み合わせソリューションの品質を高めることができる。

関連論文リスト

• Efficient and Effective Weight-Ensembling Mixture of Experts for Multi-Task Model Merging [111.8456671452411]
  マルチタスク学習(MTL)は、共有モデルを利用して複数のタスクを遂行し、知識伝達を促進する。 マルチタスクモデル統合のためのウェイトエンセブリング・ミックス・オブ・エキスパート(WEMoE)手法を提案する。 WEMoEとE-WEMoEは, MTL性能, 一般化, 堅牢性の観点から, 最先端(SOTA)モデルマージ法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-29T07:16:31Z)
• Towards Modular LLMs by Building and Reusing a Library of LoRAs [64.43376695346538]
  マルチタスクデータに対して最適なアダプタライブラリを構築する方法について検討する。 モデルベースクラスタリング(MBC)を導入し,パラメータの類似性に基づいてタスクをグループ化する手法を提案する。 ライブラリを再使用するために,最も関連性の高いアダプタの動的選択を可能にする新しいゼロショットルーティング機構であるArrowを提案する。
  論文  参考訳（メタデータ） (2024-05-18T03:02:23Z)
• Merging Multi-Task Models via Weight-Ensembling Mixture of Experts [64.94129594112557]
  異なるタスクでトレーニングされたTransformerベースのモデルを単一の統一モデルにマージすることで、すべてのタスクを同時に実行できる。 従来の手法は、タスク演算によって例示され、効率的かつスケーラブルであることが証明されている。 本稿では,Transformer層をMoEモジュールにアップスケーリングしながら,ほとんどのパラメータをマージすることを提案する。
  論文  参考訳（メタデータ） (2024-02-01T08:58:57Z)
• Contrastive Modules with Temporal Attention for Multi-Task Reinforcement Learning [29.14234496784581]
  マルチタスク強化学習のためのCMTA法を用いたコントラストモジュールを提案する。 CMTAは、互いに異なるモジュールを対照的に学習し、共有モジュールをタスクレベルよりも細かい粒度で組み合わせることによって制約する。 実験の結果,CMTAは各タスクを個別に学習し,大幅な性能向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2023-11-02T08:41:00Z)
• Towards Robust Multi-Modal Reasoning via Model Selection [7.6621866737827045]
  LLMはエージェントの"脳"として機能し、協調的な多段階タスク解決のための複数のツールを編成する。 我々はテスト時に無視できるランタイムオーバーヘッドを持つプラグインとして、$textitM3$フレームワークを提案する。 実験の結果,我々のフレームワークは,ユーザ入力とサブタスク依存の両方を考慮した動的モデル選択を可能にすることがわかった。
  論文  参考訳（メタデータ） (2023-10-12T16:06:18Z)
• BYOM: Building Your Own Multi-Task Model For Free [69.63765907216442]
  BYOM-FFTは完全微調整モデルのマージ用であり、BYOM-LoRAはLoRA微調整モデルのマージ用である。 コンピュータビジョンと自然言語処理タスクの実験により、提案手法は既存のマージ手法よりも大きなマージ率で優れていることが示された。
  論文  参考訳（メタデータ） (2023-10-03T08:39:33Z)
• OFASys: A Multi-Modal Multi-Task Learning System for Building Generalist Models [72.8156832931841]
  ジェネリストモデルは、単一のモデル内でタスクに依存しない方法で多様なマルチモーダルタスクを実行することができる。 マルチモーダル命令と呼ばれる宣言型タスクインタフェース上に構築された汎用モデル学習システムOFASysをリリースする。
  論文  参考訳（メタデータ） (2022-12-08T17:07:09Z)
• Compositional Models: Multi-Task Learning and Knowledge Transfer with Modular Networks [13.308477955656592]
  本稿では,ResNetの等尺バージョンに基づくモジュールネットワーク学習手法を提案する。 本手法では,モジュールを繰り返し呼び出すことができ,新しいタスクへの知識伝達を可能にする。 本手法は,マルチタスク学習,移動学習,ドメイン適応の場合に,モジュールの解釈可能な自己組織化につながることを示す。
  論文  参考訳（メタデータ） (2021-07-23T00:05:55Z)
• MALib: A Parallel Framework for Population-based Multi-agent Reinforcement Learning [61.28547338576706]
  人口ベースマルチエージェント強化学習(PB-MARL)は、強化学習(RL)アルゴリズムでネストした一連の手法を指す。 PB-MARLのためのスケーラブルで効率的な計算フレームワークMALibを提案する。
  論文  参考訳（メタデータ） (2021-06-05T03:27:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。