Fugu-MT 論文翻訳(概要): GO4Align: Group Optimization for Multi-Task Alignment

論文の概要: GO4Align: Group Optimization for Multi-Task Alignment

arxiv url: http://arxiv.org/abs/2404.06486v1
Date: Tue, 9 Apr 2024 17:37:08 GMT
ステータス: 処理完了
システム内更新日: 2024-04-10 13:42:03.017094
Title: GO4Align: Group Optimization for Multi-Task Alignment
Title（参考訳）: GO4Align:マルチタスクアライメントのためのグループ最適化
Authors: Jiayi Shen, Cheems Wang, Zehao Xiao, Nanne Van Noord, Marcel Worring,
Abstract要約: 本稿では,タスク間の最適化を明示的に調整することで,タスクの不均衡に対処するマルチタスク最適化手法である textitGO4Align を提案する。様々な典型的なベンチマークにおける総合的な実験結果から,計算コストの低減とともに,本手法の性能上の優位性を示す。
参考スコア（独自算出の注目度）: 26.007020087683212
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper proposes \textit{GO4Align}, a multi-task optimization approach that tackles task imbalance by explicitly aligning the optimization across tasks. To achieve this, we design an adaptive group risk minimization strategy, compromising two crucial techniques in implementation: (i) dynamical group assignment, which clusters similar tasks based on task interactions; (ii) risk-guided group indicators, which exploit consistent task correlations with risk information from previous iterations. Comprehensive experimental results on diverse typical benchmarks demonstrate our method's performance superiority with even lower computational costs.
Abstract（参考訳）: 本稿では,タスク間の最適化を明示的に整合させることにより,タスクの不均衡に対処するマルチタスク最適化手法である「textit{GO4Align}」を提案する。これを実現するために,適応型グループリスク最小化戦略を設計し,実装において2つの重要なテクニックを妥協する。 i) タスクの相互作用に基づいて類似したタスクをクラスタ化する動的グループ割り当て。 (II)リスク誘導型グループインジケータは、前回のイテレーションのリスク情報と一貫したタスク相関を利用する。様々な典型的なベンチマークにおける総合的な実験結果から,計算コストの低減とともに,本手法の性能上の優位性を示す。

関連論文リスト

Task-Aware Harmony Multi-Task Decision Transformer for Offline Reinforcement Learning [70.96345405979179]
オフラインマルチタスク強化学習(MTRL)の目的は、オンライン環境相互作用を必要とせず、多様なタスクに適用可能な統一されたポリシーを開発することである。タスクの内容と複雑さの変化は、政策の定式化において重大な課題を引き起こします。本稿では,各タスクに対するパラメータの最適な調和部分空間を特定するための新しいソリューションであるHarmoDT(Harmony Multi-Task Decision Transformer)を紹介する。
論文参考訳（メタデータ） (2024-11-02T05:49:14Z)
Generalization Bounds of Surrogate Policies for Combinatorial Optimization Problems [61.580419063416734]
最近の構造化学習手法のストリームは、様々な最適化問題に対する技術の実践的状態を改善している。鍵となる考え方は、インスタンスを別々に扱うのではなく、インスタンス上の統計分布を利用することだ。本稿では,最適化を容易にし,一般化誤差を改善するポリシを摂動することでリスクを円滑にする手法について検討する。
論文参考訳（メタデータ） (2024-07-24T12:00:30Z)
Controllable Prompt Tuning For Balancing Group Distributional Robustness [53.336515056479705]
グループ間で優れたパフォーマンスを実現するための最適化スキームを導入し、それらの性能を著しく犠牲にすることなく、全員に良い解決策を見出す。本稿では,制御可能なプロンプトチューニング(CPT)を提案する。突発的相関ベンチマークでは, 変換器と非変換器の両アーキテクチャ, および非モーダルおよびマルチモーダルデータにまたがって, 最先端の結果が得られた。
論文参考訳（メタデータ） (2024-03-05T06:23:55Z)
Clustered Multi-Agent Linear Bandits [5.893124686141782]
クラスタ化多重エージェント線形バンドイットと呼ばれる,マルチエージェント線形バンドイット問題の特定の事例に対処する。本稿では,エージェント間の効率的な協調を利用して最適化問題を高速化するアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-09-15T19:01:42Z)
Low-Rank Multitask Learning based on Tensorized SVMs and LSSVMs [65.42104819071444]
マルチタスク学習(MTL)はタスク関連性を活用して性能を向上させる。タスクインデックスに対応する各モードを持つ高次テンソルを用いて、複数のインデックスが参照するタスクを自然に表現する。テンソル化サポートベクターマシン(SVM)と最小2乗サポートベクターマシン(LSSVM)を併用した低ランクMTL手法の汎用フレームワークを提案する。
論文参考訳（メタデータ） (2023-08-30T14:28:26Z)
Robust Prompt Optimization for Large Language Models Against Distribution Shifts [80.6757997074956]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて重要な能力を示している。本稿では,LLMの分散シフトに対するロバストな最適化法を提案する。この問題は、ラベル付けされたソースグループに最適化されたプロンプトを同時にラベル付けされていないターゲットグループに一般化する必要がある。
論文参考訳（メタデータ） (2023-05-23T11:30:43Z)
Multi-Task Learning with Prior Information [5.770309971945476]
本稿では,機能間の関係に関する事前知識を利用するマルチタスク学習フレームワークを提案する。また、各特徴に対して変化する係数に対してペナルティを課し、それらの共通する特徴に類似した係数を持つことを保証します。
論文参考訳（メタデータ） (2023-01-04T12:48:05Z)
Semisoft Task Clustering for Multi-Task Learning [2.806911268410107]
マルチタスク学習(MTL)は、複数の関連する予測タスクの性能を向上させることを目的としている。そこで本研究では,タスククラスタリング構造を半ソフトなタスククラスタリング手法として提案する。合成および実世界のデータセットに基づく実験結果は,提案手法の有効性と有効性を検証する。
論文参考訳（メタデータ） (2022-11-28T07:23:56Z)
Supervised Contrastive Learning as Multi-Objective Optimization for Fine-Tuning Large Pre-trained Language Models [3.759936323189417]
教師付きコントラスト学習(SCL)は,ほとんどの分類タスクにおいて優れた性能を発揮することが示されている。本研究では,RoBERTa言語モデルの微調整フェーズにおける多目的最適化問題としてSCL問題を定式化する。
論文参考訳（メタデータ） (2022-09-28T15:13:58Z)
Focus on the Common Good: Group Distributional Robustness Follows [47.62596240492509]
本稿では,多様なグループ間で共有される特徴の学習を明示的に促進する,新しい,シンプルなアルゴリズムを提案する。グループDROは、最低の正規化損失を持つグループに焦点を当て、代わりに、他のグループでもより良いパフォーマンスを実現するグループに焦点を当てるが、共有/共通機能を学ぶことにつながる可能性がある。
論文参考訳（メタデータ） (2021-10-06T09:47:41Z)
Optimization Strategies in Multi-Task Learning: Averaged or Independent Losses? [15.905060482249873]
マルチタスク学習(MTL)では,タスク固有の目的関数の重み付け平均である目的関数を最適化することにより,マルチタスクネットワークのトレーニングを行うのが一般的である。本研究では,タスク固有目的関数の独立勾配降下ステップを交互に交互に行うことで,そのような代替手段の利点を考察する。ランダムなグループ化戦略は,これらの利点と計算効率のトレードオフを可能にすることを示す。
論文参考訳（メタデータ） (2021-09-21T09:34:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。