論文の概要: Transformer-based Language Models for Factoid Question Answering at BioASQ9b

• arxiv url: http://arxiv.org/abs/2109.07185v1
• Date: Wed, 15 Sep 2021 10:01:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-16 22:51:52.998886
• Title: Transformer-based Language Models for Factoid Question Answering at BioASQ9b
• Title（参考訳）: BioASQ9bにおけるFactoid Question Answeringのためのトランスフォーマーベース言語モデル
• Authors: Urvashi Khanna and Diego Moll\'a
• Abstract要約: バイオマスQタスク9b フェーズBにおけるバイオメディカル質問応答実験と参加システムについて述べる。 事実不明の質問に対して、ALBERTベースのシステムはテストバッチ1で1位、テストバッチ2で4位にランクインした。 我々のDistilBERTシステムは、ALBERTよりもパラメータが81%少ないにもかかわらず、テストバッチ4、5でALBERTの変種よりも優れていた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we describe our experiments and participating systems in the BioASQ Task 9b Phase B challenge of biomedical question answering. We have focused on finding the ideal answers and investigated multi-task fine-tuning and gradual unfreezing techniques on transformer-based language models. For factoid questions, our ALBERT-based systems ranked first in test batch 1 and fourth in test batch 2. Our DistilBERT systems outperformed the ALBERT variants in test batches 4 and 5 despite having 81% fewer parameters than ALBERT. However, we observed that gradual unfreezing had no significant impact on the model's accuracy compared to standard fine-tuning.
• Abstract（参考訳）: 本稿では,生物医学的質問応答の課題であるbioasqタスク9bフェーズbにおける実験と参加システムについて述べる。 我々は, 理想的な答えを見つけることに注力し, トランスフォーマー型言語モデルにおけるマルチタスクの微調整と段階的凍結技術について検討した。 実のところ、ALBERTベースのシステムはテストバッチ1で1位、テストバッチ2で4位である。 我々のDistilBERTシステムは、ALBERTよりもパラメータが81%少ないにもかかわらず、テストバッチ4、5でALBERTの変種よりも優れていた。 しかし,標準的な微調整に比べ,段階的な凍結がモデルの精度に有意な影響を与えなかった。

関連論文リスト

• Enhancing Multi-Class Disease Classification: Neoplasms, Cardiovascular, Nervous System, and Digestive Disorders Using Advanced LLMs [0.0]
  BioBERTは、医学データに基づいて事前訓練され、医用テキスト分類において優れた性能を示した。 BERTの軽量バージョンに基づくカスタムモデルであるXLNetも87.10%の精度で競合した。
  論文  参考訳（メタデータ） (2024-11-19T18:27:25Z)
• oBERTa: Improving Sparse Transfer Learning via improved initialization, distillation, and pruning regimes [82.99830498937729]
  oBERTaは自然言語処理のための使いやすい言語モデルのセットです。 NLPの実践者はモデル圧縮の専門知識なしで3.8倍から24.3倍の高速モデルを得ることができる。 代表的な7つのNLPタスクにおけるoBERTaの利用について検討する。
  論文  参考訳（メタデータ） (2023-03-30T01:37:19Z)
• Transformer-based approaches to Sentiment Detection [55.41644538483948]
  テキスト分類のための4種類の最先端変圧器モデルの性能について検討した。 RoBERTa変換モデルは82.6%のスコアでテストデータセット上で最高のパフォーマンスを示し、品質予測に非常に推奨されている。
  論文  参考訳（メタデータ） (2023-03-13T17:12:03Z)
• DELTA: degradation-free fully test-time adaptation [59.74287982885375]
  テスト時間バッチ正規化(BN)や自己学習といった,一般的な適応手法では,2つの好ましくない欠陥が隠されていることがわかった。 まず、テスト時間BNにおける正規化統計は、現在受信されているテストサンプルに完全に影響され、その結果、不正確な推定結果が得られることを明らかにする。 第二に、テスト時間適応中にパラメータ更新が支配的なクラスに偏っていることを示す。
  論文  参考訳（メタデータ） (2023-01-30T15:54:00Z)
• Understanding Prior Bias and Choice Paralysis in Transformer-based Language Representation Models through Four Experimental Probes [8.591839265985412]
  先行バイアスや選択麻痺などの問題を調べるための4つの混乱プローブを提示する。 このモデルでは,他の問題に加えて,事前バイアスや選択麻痺の程度が小さいが,なおかつ重要な程度に有意な偏見が示される。 この結果から,言語モデルがフロントエンドシステムや意思決定に使用される前に,より強力なテストプロトコルや追加ベンチマークが必要になる可能性が示唆された。
  論文  参考訳（メタデータ） (2022-10-03T22:36:44Z)
• Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
  テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。 また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
  論文  参考訳（メタデータ） (2022-04-06T06:39:40Z)
• TernaryBERT: Distillation-aware Ultra-low Bit BERT [53.06741585060951]
  本稿では,細調整されたBERTモデルの重みを3元化するternaryBERTを提案する。 GLUEベンチマークとSQuADの実験により,提案した TernaryBERT が他のBERT量子化法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-09-27T10:17:28Z)
• Transferability of Natural Language Inference to Biomedical Question Answering [17.38537039378825]
  生物医学的質問応答(QA)への自然言語推論(NLI)の知識伝達にBioBERTを適用することに注力する。 NLIデータセットでトレーニングされたBioBERTは、Yes/No(+5.59%)、Factoid(+0.53%)、List type(+13.58%)でより良いパフォーマンスを得る。 第8回 BioASQ Challenge (Phase B) において, 良好に機能するシーケンシャルトランスファー学習法を提案する。
  論文  参考訳（メタデータ） (2020-07-01T04:05:48Z)
• DeeBERT: Dynamic Early Exiting for Accelerating BERT Inference [69.93692147242284]
  BERTのような大規模事前訓練型言語モデルは、NLPアプリケーションに大幅な改善をもたらした。 本稿では, BERT推論を高速化するために, 単純だが効果的な手法であるDeeBERTを提案する。 実験の結果、DeeBERTはモデル品質の低下を最小限に抑えながら、最大40%の推論時間を節約できることがわかった。
  論文  参考訳（メタデータ） (2020-04-27T17:58:05Z)
• UNCC Biomedical Semantic Question Answering Systems. BioASQ: Task-7B, Phase-B [1.976652238476722]
  本稿では,タスク7b,フェーズB,実行解答タスクについて述べる。 これらの質問回答(QA)タスクには、Factoid、Yes/No、List Type Questioningなどが含まれる。 本システムは文脈単語埋め込みモデルに基づく。
  論文  参考訳（メタデータ） (2020-02-05T20:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。