論文の概要: In-BoXBART: Get Instructions into Biomedical Multi-Task Learning
- arxiv url: http://arxiv.org/abs/2204.07600v1
- Date: Fri, 15 Apr 2022 18:06:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-21 07:27:56.773870
- Title: In-BoXBART: Get Instructions into Biomedical Multi-Task Learning
- Title（参考訳）: In-BoXBART: バイオメディカルマルチタスク学習の指導を受ける
- Authors: Mihir Parmar, Swaroop Mishra, Mirali Purohit, Man Luo, M. Hassan Murad
and Chitta Baral
- Abstract要約: シングルタスクモデルは特定のタスクの解決において重要な役割を担っているが、現実のアプリケーションには制限がある。
バイオメディカルNLPのための32の命令タスクの集合であるBoXを紹介する。
タスク固有のモジュールを使わずにBoXの全タスクを共同で学習できるIn-BoXBARTという統一モデルを提案する。
- 参考スコア（独自算出の注目度）: 18.3293060030174
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Single-task models have proven pivotal in solving specific tasks; however,
they have limitations in real-world applications where multi-tasking is
necessary and domain shifts are exhibited. Recently, instructional prompts have
shown significant improvement towards multi-task generalization; however, the
effect of instructional prompts and Multi-Task Learning (MTL) has not been
systematically studied in the biomedical domain. Motivated by this, this paper
explores the impact of instructional prompts for biomedical MTL. We introduce
the BoX, a collection of 32 instruction tasks for Biomedical NLP across (X)
various categories. Using this meta-dataset, we propose a unified model termed
In-BoXBART, that can jointly learn all tasks of the BoX without any
task-specific modules. To the best of our knowledge, this is the first attempt
to propose a unified model in the biomedical domain and use instructions to
achieve generalization across several biomedical tasks. Experimental results
indicate that the proposed model: 1) outperforms the single-task baseline by
~3% and multi-task (without instruction) baseline by ~18% on an average, and 2)
shows ~23% improvement compared to the single-task baseline in few-shot
learning (i.e., 32 instances per task) on an average. Our analysis indicates
that there is significant room for improvement across tasks in the BoX,
implying the scope for future research direction.
- Abstract（参考訳）: シングルタスクモデルは特定のタスクの解決において重要な役割を担っているが、マルチタスクが必要であり、ドメインシフトが現れる現実世界のアプリケーションには制限がある。
近年,マルチタスクの一般化に向けて指導プロンプトが大幅に改善されているが,教育プロンプトとマルチタスクラーニング(MTL)の効果は,生物医学領域において体系的に研究されていない。
そこで本研究では,生物医学的MTLに対する指導的プロンプトの影響について検討する。
バイオメディカルNLP(バイオメディカルNLP)のための32の命令タスクの集合であるBoXを紹介する。
このメタデータセットを用いて,タスク固有のモジュールを使わずにBoXの全タスクを共同学習可能な,In-BoXBARTという統一モデルを提案する。
私たちの知る限りでは、これはバイオメディカル領域における統一モデルを提案し、いくつかのバイオメディカルタスクにわたる一般化を達成するための指示を用いる最初の試みである。
実験の結果,提案モデルが示唆された。
1)シングルタスクベースラインを約3%、マルチタスクベースライン(命令なし)を平均で約18%上回る。
2) 単発学習(すなわち1タスクあたり32インスタンス)における単タスクベースラインと比較して,平均で約23%改善している。
分析の結果,BoXにおけるタスク間の改善の余地は大きいことが示唆され,今後の研究の方向性が示唆された。
関連論文リスト
- Distribution Matching for Multi-Task Learning of Classification Tasks: a
Large-Scale Study on Faces & Beyond [62.406687088097605]
マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。
MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。
本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
論文 参考訳（メタデータ） (2024-01-02T14:18:11Z) - Learning A Multi-Task Transformer Via Unified And Customized Instruction
Tuning For Chest Radiograph Interpretation [35.87795950781491]
本稿では,マルチモーダルな臨床タスクに特化して設計された統一型トランスフォーマーモデルについて述べる。
まず,134万の命令と接地真実対からなるマルチタスク学習データセットを構成する。
また,同種モデル入力とアウトプットを併用して,視力集約的なタスクを単一学習フレームワークに統合することで,1回の読解において臨床解釈可能性を高めることができる。
論文 参考訳（メタデータ） (2023-11-02T08:55:48Z) - BiomedGPT: A Unified and Generalist Biomedical Generative Pre-trained Transformer for Vision, Language, and Multimodal Tasks [68.39821375903591]
汎用AIは、さまざまなデータ型を解釈する汎用性のために、制限に対処する可能性を秘めている。
本稿では,最初のオープンソースかつ軽量な視覚言語基盤モデルであるBiomedGPTを提案する。
論文 参考訳（メタデータ） (2023-05-26T17:14:43Z) - MulGT: Multi-task Graph-Transformer with Task-aware Knowledge Injection
and Domain Knowledge-driven Pooling for Whole Slide Image Analysis [17.098951643252345]
深層学習領域における自動診断を支援するためにWSI(Whole Slide Image)が広く用いられている。
特殊設計したグラフ変換器によるWSI解析のための新しいマルチタスクフレームワーク(MulGT)を提案する。
論文 参考訳（メタデータ） (2023-02-21T10:00:58Z) - ERNIE 3.0 Tiny: Frustratingly Simple Method to Improve Task-Agnostic
Distillation Generalization [36.338614215561805]
タスクに依存しない知識蒸留は、リソース制約のあるシナリオにおいて、大きな事前訓練された言語モデルをデプロイする問題に対処しようとする。
我々は,タスク非依存蒸留におけるマルチタスク学習を活用して,結果の一般化を推し進めることができることを示す。
論文 参考訳（メタデータ） (2023-01-09T15:12:50Z) - BioTABQA: Instruction Learning for Biomedical Table Question Answering [19.66452178704578]
TQA(Table Question Answering)は重要な課題であるが、未調査の課題である。
TQAデータセットは、情報の提示に頻繁に使用される生物医学領域には存在しない。
BioTABQAは、モデルにテーブルからの質問に答える方法を教えるだけでなく、モデルが目に見えない質問にどのように一般化するかを評価するのにも使える。
論文 参考訳（メタデータ） (2022-07-06T03:40:10Z) - On Steering Multi-Annotations per Sample for Multi-Task Learning [79.98259057711044]
マルチタスク学習の研究はコミュニティから大きな注目を集めている。
目覚ましい進歩にもかかわらず、異なるタスクを同時に学習するという課題はまだ検討されていない。
従来の研究は、異なるタスクから勾配を修正しようとするが、これらの手法はタスク間の関係の主観的な仮定を与え、修正された勾配はより正確でないかもしれない。
本稿では,タスク割り当てアプローチによってこの問題に対処する機構であるタスク割当(STA)を紹介し,各サンプルをランダムにタスクのサブセットに割り当てる。
さらなる進展のために、我々は全てのタスクを反復的に割り当てるためにInterleaved Task Allocation(ISTA)を提案する。
論文 参考訳（メタデータ） (2022-03-06T11:57:18Z) - Active Multi-Task Representation Learning [50.13453053304159]
本研究は,アクティブラーニングの手法を活用することで,資源タスクのサンプリングに関する最初の公式な研究を行う。
提案手法は, 対象タスクに対する各ソースタスクの関連性を反復的に推定し, その関連性に基づいて各ソースタスクからサンプルを抽出するアルゴリズムである。
論文 参考訳（メタデータ） (2022-02-02T08:23:24Z) - The Effect of Diversity in Meta-Learning [79.56118674435844]
少ないショット学習は、少数の例から見れば、新しいタスクに対処できる表現を学習することを目的としている。
近年の研究では,タスク分布がモデルの性能に重要な役割を担っていることが示されている。
タスクの多様性がメタ学習アルゴリズムに与える影響を評価するために,多種多様なモデルとデータセットのタスク分布について検討する。
論文 参考訳（メタデータ） (2022-01-27T19:39:07Z) - Towards More Generalizable One-shot Visual Imitation Learning [81.09074706236858]
汎用ロボットは、幅広いタスクを習得し、過去の経験を生かして、新しいタスクを素早く学ぶことができるべきである。
ワンショット模倣学習(OSIL)は、専門家のデモンストレーションでエージェントを訓練することで、この目標にアプローチする。
我々は、より野心的なマルチタスク設定を調査することで、より高度な一般化能力を追求する。
論文 参考訳（メタデータ） (2021-10-26T05:49:46Z) - Partly Supervised Multitask Learning [19.64371980996412]
胸部X線データを用いた実験結果から,S$4$MTLモデルは半教師付き単一タスク,半教師付きマルチタスク,完全教師付き単一タスクモデルよりも優れていたことが示唆された。
提案手法は, 医用画像領域だけでなく, 汎用視覚タスクにも有効である, という仮説を立てる。
論文 参考訳（メタデータ） (2020-05-05T22:42:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。