Fugu-MT 論文翻訳(概要): Modular Approach to Machine Reading Comprehension: Mixture of Task-Aware Experts

論文の概要: Modular Approach to Machine Reading Comprehension: Mixture of Task-Aware Experts

arxiv url: http://arxiv.org/abs/2210.01750v1
Date: Tue, 4 Oct 2022 17:13:41 GMT
ステータス: 処理完了
システム内更新日: 2022-10-05 13:12:52.309155
Title: Modular Approach to Machine Reading Comprehension: Mixture of Task-Aware Experts
Title（参考訳）: 機械読解に対するモジュール的アプローチ:タスク認識エキスパートの混在
Authors: Anirudha Rayasam, Anusha Kamath, Gabriel Bayomi Tinoco Kalejaiye
Abstract要約: 比較的小さなデータセット上で、機械読解のためのタスク認識エキスパートネットワークの混合について述べる。我々は、常識学習の問題に焦点をあて、共通基盤知識を強制する。我々は近年のマルチタスクとトランスファーラーニングの進歩に注目する。
参考スコア（独自算出の注目度）: 0.5801044612920815
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this work we present a Mixture of Task-Aware Experts Network for Machine Reading Comprehension on a relatively small dataset. We particularly focus on the issue of common-sense learning, enforcing the common ground knowledge by specifically training different expert networks to capture different kinds of relationships between each passage, question and choice triplet. Moreover, we take inspi ration on the recent advancements of multitask and transfer learning by training each network a relevant focused task. By making the mixture-of-networks aware of a specific goal by enforcing a task and a relationship, we achieve state-of-the-art results and reduce over-fitting.
Abstract（参考訳）: 本稿では,比較的小さなデータセット上での機械読解のためのタスク認識エキスパートネットワークの混合について述べる。特に,各パス,質問,選択の三重項間の異なる関係を捉えるために,異なる専門家ネットワークを特別に訓練することにより,常識学習の課題に焦点をあてる。さらに,近年のマルチタスク・トランスファー学習の進展に対して,各ネットワークに関連性のあるタスクを学習させることで評価を行った。タスクと関係を強制することで、ネットワークの混在が特定の目標を認識することによって、最先端の成果を達成し、過剰な適合を減らす。

関連論文リスト

Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
論文参考訳（メタデータ） (2024-01-02T14:18:11Z)
OmniVec: Learning robust representations with cross modal sharing [28.023214572340336]
複数のタスクを複数のモードで,統一されたアーキテクチャで学習する手法を提案する。提案するネットワークはタスク固有エンコーダ(中央の共通トランク)とタスク固有予測ヘッドで構成される。私たちは、視覚、オーディオ、テキスト、3Dなどの主要なモダリティでネットワークをトレーニングし、22ドルの多様性と挑戦的な公開ベンチマークの結果を報告します。
論文参考訳（メタデータ） (2023-11-07T14:00:09Z)
Pre-training Multi-task Contrastive Learning Models for Scientific Literature Understanding [52.723297744257536]
事前学習言語モデル(LM)は、科学文献理解タスクにおいて有効であることを示す。文献理解タスク間の共通知識共有を容易にするために,マルチタスクのコントラスト学習フレームワークであるSciMultを提案する。
論文参考訳（メタデータ） (2023-05-23T16:47:22Z)
Sparsely Activated Mixture-of-Experts are Robust Multi-Task Learners [67.5865966762559]
本研究では,Mixture-of-Experts (MoE) がマルチタスク学習を改善するかを検討した。タスク認識ゲーティング関数を考案し、異なるタスクから専門の専門家にサンプルをルーティングする。これにより、多数のパラメータを持つ疎活性化マルチタスクモデルが得られるが、高密度モデルの計算コストは同じである。
論文参考訳（メタデータ） (2022-04-16T00:56:12Z)
Learning Multi-Tasks with Inconsistent Labels by using Auxiliary Big Task [24.618094251341958]
マルチタスク学習は,タスク間の共通知識の伝達と活用により,モデルの性能を向上させることを目的とする。本稿では,これらの課題をカバーするために,学習した補助的大タスクから豊富な情報と十分な数のクラスを両立させることにより,これらの課題を学習するための枠組みを提案する。実験により, 現状のアプローチと比較し, その有効性を示した。
論文参考訳（メタデータ） (2022-01-07T02:46:47Z)
On the relationship between disentanglement and multi-task learning [62.997667081978825]
ハードパラメータ共有に基づくマルチタスク学習と絡み合いの関係について,より詳しく検討する。マルチタスクニューラルネットワークトレーニングの過程において, 絡み合いが自然に現れることを示す。
論文参考訳（メタデータ） (2021-10-07T14:35:34Z)
Distribution Matching for Heterogeneous Multi-Task Learning: a Large-scale Face Study [75.42182503265056]
マルチタスク学習は、共有学習アルゴリズムによって複数のタスクを共同で学習する方法論として登場した。我々は異種mtlに対処し,検出,分類,回帰問題を同時に解決する。大規模な顔分析のための最初のフレームワークであるFaceBehaviorNetを構築し、すべての顔行動タスクを共同で学習する。
論文参考訳（メタデータ） (2021-05-08T22:26:52Z)
Multi-Task Learning with Deep Neural Networks: A Survey [0.0]
マルチタスク学習(Multi-task learning、MTL)は、複数のタスクを共有モデルで同時に学習する機械学習のサブフィールドである。深層ニューラルネットワークにおけるマルチタスク学習手法の概要を述べる。
論文参考訳（メタデータ） (2020-09-10T19:31:04Z)
Navigating the Trade-Off between Multi-Task Learning and Learning to Multitask in Deep Neural Networks [9.278739724750343]
マルチタスク学習(マルチタスクきゅう、英: Multi-task learning)とは、機械学習において、ネットワークがタスクの取得を容易にするために様々なタスクで訓練されるパラダイムである。マルチタスクは、特に認知科学の文献において、複数のタスクを同時に実行する能力を示すために用いられる。深層ネットワークでも同様の緊張が生じていることを示し、エージェントが不慣れな環境でこのトレードオフを管理するためのメタ学習アルゴリズムについて議論する。
論文参考訳（メタデータ） (2020-07-20T23:26:16Z)
Auxiliary Learning by Implicit Differentiation [54.92146615836611]
補助的なタスクによるニューラルネットワークのトレーニングは、関心のあるメインタスクのパフォーマンスを改善するための一般的なプラクティスである。そこで我々は,暗黙の識別に基づく両課題を対象とした新しいフレームワークAuxiLearnを提案する。まず、有用な補助関数が知られている場合、全ての損失を1つのコヒーレントな目的関数に組み合わせたネットワークの学習を提案する。第二に、有用な補助タスクが知られていない場合、意味のある新しい補助タスクを生成するネットワークの学習方法について述べる。
論文参考訳（メタデータ） (2020-06-22T19:35:07Z)
Multitask learning over graphs: An Approach for Distributed, Streaming Machine Learning [46.613346075513206]
マルチタスク学習は帰納的伝達学習のアプローチである。近年、分散ストリーミング方式でデータを収集する能力が高まっている。これは、分散(またはネットワーク化された)システム上でのストリーミングデータから、複数のタスクを共同で学習するための新しい戦略の設計を必要とする。
論文参考訳（メタデータ） (2020-01-07T15:32:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。