論文の概要: Improving Multitask Retrieval by Promoting Task Specialization
- arxiv url: http://arxiv.org/abs/2307.00342v1
- Date: Sat, 1 Jul 2023 13:45:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-05 16:33:54.264894
- Title: Improving Multitask Retrieval by Promoting Task Specialization
- Title(参考訳): タスクスペシャライゼーションの促進によるマルチタスク検索の改善
- Authors: Wenzheng Zhang, Chenyan Xiong, Karl Stratos, Arnold Overwijk
- Abstract要約: タスク特化を促進することでタスク特化レトリバーより優れたマルチタスクレトリバーを訓練できることを示す。
このモデルは、素早い学習や適応学習を伴わずに、単純マルチタスクよりもタスク特化されたパラメータを実際に学習する。
- 参考スコア(独自算出の注目度): 36.06044647938725
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In multitask retrieval, a single retriever is trained to retrieve relevant
contexts for multiple tasks. Despite its practical appeal, naive multitask
retrieval lags behind task-specific retrieval in which a separate retriever is
trained for each task. We show that it is possible to train a multitask
retriever that outperforms task-specific retrievers by promoting task
specialization. The main ingredients are: (1) a better choice of pretrained
model (one that is explicitly optimized for multitasking) along with compatible
prompting, and (2) a novel adaptive learning method that encourages each
parameter to specialize in a particular task. The resulting multitask retriever
is highly performant on the KILT benchmark. Upon analysis, we find that the
model indeed learns parameters that are more task-specialized compared to naive
multitasking without prompting or adaptive learning.
- Abstract(参考訳): マルチタスク検索では、単一のレトリバーが複数のタスクに関連するコンテキストを取得するように訓練される。
現実的な魅力にもかかわらず、タスク固有の検索に遅れが生じ、各タスクに対して個別の検索者が訓練される。
タスクの特殊化を促進させることで,タスク固有のレトリバーを上回るマルチタスクレトリバーを訓練できることを示す。
主な構成要素は、(1)事前学習されたモデル(マルチタスクに明示的に最適化されたモデル)のより良い選択、(2)特定のタスクにおいて各パラメータに特化するように促す新しい適応学習方法である。
得られたマルチタスクレトリバーはKILTベンチマークで高い性能を発揮する。
分析の結果,本モデルでは,学習の促進や適応化を伴わずに,従来のマルチタスクよりもタスク特化度の高いパラメータを学習することがわかった。
関連論文リスト
- Cross-Task Affinity Learning for Multitask Dense Scene Predictions [5.939164722752263]
マルチタスク学習(MTL)は,複数のタスクを同時に予測する能力で注目されている。
マルチタスクネットワークにおけるタスク改善を強化する軽量フレームワークであるクロスタスク親和性学習(CTAL)モジュールを紹介する。
以上の結果から,CNNとトランスフォーマーの両バックボーンに対して,シングルタスク学習よりもはるかに少ないパラメータを用いて,最先端のMTL性能を実証した。
論文 参考訳(メタデータ) (2024-01-20T05:31:47Z) - TaskExpert: Dynamically Assembling Multi-Task Representations with
Memorial Mixture-of-Experts [11.608682595506354]
最近のモデルでは、タスク固有の機能を1つの共有タスクジェネリック機能から直接デコードすることを検討している。
入力機能が完全に共有され、各タスクデコーダは異なる入力サンプルのデコードパラメータも共有するので、静的な機能デコードプロセスにつながる。
本稿では,複数のタスク・ジェネリックな特徴空間を学習可能なマルチタスク・ミックス・オブ・エキスパート・モデルであるTaskExpertを提案する。
論文 参考訳(メタデータ) (2023-07-28T06:00:57Z) - TaskWeb: Selecting Better Source Tasks for Multi-task NLP [76.03221609799931]
ペアワイズタスク転送によるタスク関係の認識は、新しいターゲットタスクの学習に役立つ1つ以上のソースタスクの選択を改善する。
私たちはTaskWebを使って、新しいターゲットタスクの学習にソースタスクを使うことの利点を推定し、マルチタスクトレーニングに有用なトレーニングタスクのサブセットを選択する。
本手法は,ソースタスクの総合ランキングとトップk精度をそれぞれ10%,トップk精度を38%向上させる。
論文 参考訳(メタデータ) (2023-05-22T17:27:57Z) - Identification of Negative Transfers in Multitask Learning Using
Surrogate Models [29.882265735630046]
マルチタスク学習は、複数の関連するソースタスクで強化することで、低リソースのターゲットタスクのトレーニングに広く使用されている。
マルチタスク学習における重要な問題は、ターゲットタスクに利益をもたらすソースタスクのサブセットを特定することである。
本稿では,サロゲートモデルを用いてこの問題に対処する効率的な手法を提案する。
論文 参考訳(メタデータ) (2023-03-25T23:16:11Z) - Sparsely Activated Mixture-of-Experts are Robust Multi-Task Learners [67.5865966762559]
本研究では,Mixture-of-Experts (MoE) がマルチタスク学習を改善するかを検討した。
タスク認識ゲーティング関数を考案し、異なるタスクから専門の専門家にサンプルをルーティングする。
これにより、多数のパラメータを持つ疎活性化マルチタスクモデルが得られるが、高密度モデルの計算コストは同じである。
論文 参考訳(メタデータ) (2022-04-16T00:56:12Z) - Modular Adaptive Policy Selection for Multi-Task Imitation Learning
through Task Division [60.232542918414985]
マルチタスク学習は、しばしば負の伝達に悩まされ、タスク固有の情報を共有する。
これは、プロトポリケーションをモジュールとして使用して、タスクを共有可能な単純なサブ振る舞いに分割する。
また、タスクを共有サブ行動とタスク固有のサブ行動の両方に自律的に分割する能力を示す。
論文 参考訳(メタデータ) (2022-03-28T15:53:17Z) - In Defense of the Unitary Scalarization for Deep Multi-Task Learning [121.76421174107463]
本稿では,多くの特殊マルチタスクを正規化の形式として解釈できることを示唆する理論解析について述べる。
標準正規化と安定化技術と組み合わせると、ユニタリスカラー化は複雑なマルチタスクの性能にマッチし、改善することを示す。
論文 参考訳(メタデータ) (2022-01-11T18:44:17Z) - Efficiently Identifying Task Groupings for Multi-Task Learning [55.80489920205404]
マルチタスク学習は、あるタスクによって学習された情報を活用して、他のタスクのトレーニングに役立てることができる。
マルチタスク学習モデルにおいて、どのタスクを一緒にトレーニングすべきかを選択するアプローチを提案する。
本手法は,全タスクを協調学習し,タスクの勾配が他のタスクの損失に影響を及ぼす影響を定量化する。
論文 参考訳(メタデータ) (2021-09-10T02:01:43Z) - Small Towers Make Big Differences [59.243296878666285]
マルチタスク学習は、複数の機械学習タスクを同時に解決することを目的としている。
マルチタスク学習問題に対する優れた解法は、Paretoの最適性に加えて一般化可能であるべきである。
本稿では,マルチタスクモデルのためのパラメータ下自己助詞の手法を提案し,両世界のベストを達成した。
論文 参考訳(メタデータ) (2020-08-13T10:45:31Z) - Knowledge Distillation for Multi-task Learning [38.20005345733544]
マルチタスク学習(MTL)は、全てのタスクで優れたパフォーマンスを達成し、計算コストを下げるための複数のタスクを実行する単一のモデルを学習することである。
そのようなモデルを学ぶには、難易度、大きさ、特性の異なる一連のタスクの損失を共同で最適化する必要がある。
本研究では,マルチタスク学習における不均衡問題に対処するために,知識蒸留に基づく手法を提案する。
論文 参考訳(メタデータ) (2020-07-14T08:02:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。