論文の概要: MSciNLI: A Diverse Benchmark for Scientific Natural Language Inference

• arxiv url: http://arxiv.org/abs/2404.08066v1
• Date: Thu, 11 Apr 2024 18:12:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-15 16:34:33.672667
• Title: MSciNLI: A Diverse Benchmark for Scientific Natural Language Inference
• Title（参考訳）: MSciNLI: 科学的自然言語推論のための多変量ベンチマーク
• Authors: Mobashir Sadat, Cornelia Caragea,
• Abstract要約: 本稿では,5つの科学領域から抽出した132,320の文対を含むデータセットであるMSciNLIについて述べる。 我々は、微調整事前学習言語モデル(PLM)とLarge Language Model(LLM)によるMSciNLIの強力なベースラインを確立する。 ドメインシフトは、データセット内の異なるドメインの多様な特性を示す科学的なNLIモデルの性能を低下させることを示す。
• 参考スコア（独自算出の注目度）: 65.37685198688538
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The task of scientific Natural Language Inference (NLI) involves predicting the semantic relation between two sentences extracted from research articles. This task was recently proposed along with a new dataset called SciNLI derived from papers published in the computational linguistics domain. In this paper, we aim to introduce diversity in the scientific NLI task and present MSciNLI, a dataset containing 132,320 sentence pairs extracted from five new scientific domains. The availability of multiple domains makes it possible to study domain shift for scientific NLI. We establish strong baselines on MSciNLI by fine-tuning Pre-trained Language Models (PLMs) and prompting Large Language Models (LLMs). The highest Macro F1 scores of PLM and LLM baselines are 77.21% and 51.77%, respectively, illustrating that MSciNLI is challenging for both types of models. Furthermore, we show that domain shift degrades the performance of scientific NLI models which demonstrates the diverse characteristics of different domains in our dataset. Finally, we use both scientific NLI datasets in an intermediate task transfer learning setting and show that they can improve the performance of downstream tasks in the scientific domain. We make our dataset and code available on Github.
• Abstract（参考訳）: 科学自然言語推論(NLI)の課題は、研究論文から抽出された2つの文間の意味関係を予測することである。 このタスクは、最近SciNLIと呼ばれる新しいデータセットと共に、計算言語学領域で公開された論文から提案された。 本稿では,5つの科学領域から抽出された132,320の文対を含むデータセットであるMSciNLIを紹介する。 複数のドメインが利用できるため、科学的なNLIの領域シフトを研究することができる。 我々は、微調整事前学習言語モデル(PLM)とLarge Language Model(LLM)によるMSciNLIの強力なベースラインを確立する。 PLMの最高スコアは77.21%と51.77%であり、MSciNLIがどちらのモデルにも挑戦していることを示している。 さらに、ドメインシフトは、データセット内の異なるドメインの多様な特性を示す科学的なNLIモデルの性能を低下させることを示す。 最後に,2つの科学的NLIデータセットを中間的タスク伝達学習設定に使用し,科学的領域における下流タスクの性能を向上させることを示す。 データセットとコードはGithubで公開しています。

関連論文リスト

• A synthetic data approach for domain generalization of NLI models [13.840374911669167]
  自然言語推論(NLI)はLLMにとって重要なベンチマークタスクである。 合成された高品質データセットは、下流アプリケーションでゼロショット使用にNLIモデルを適用することができることを示す。 我々は、このデータに基づいてトレーニングされたモデルが、完全に下流のテスト設定に最適な一般化があることを示します。
  論文  参考訳（メタデータ） (2024-02-19T18:55:16Z)
• Native Language Identification with Large Language Models [60.80452362519818]
  我々はGPTモデルがNLI分類に熟練していることを示し、GPT-4は0ショット設定でベンチマーク11テストセットで91.7%の新たなパフォーマンス記録を樹立した。 また、従来の完全教師付き設定とは異なり、LLMは既知のクラスに制限されずにNLIを実行できることを示す。
  論文  参考訳（メタデータ） (2023-12-13T00:52:15Z)
• Improving Domain-Specific Retrieval by NLI Fine-Tuning [64.79760042717822]
  本稿では、自然言語推論(NLI)データの微調整の可能性を調べ、情報検索とランキングを改善する。 コントラスト損失とNLIデータを利用した教師あり手法により細調整された単言語文エンコーダと多言語文エンコーダを併用する。 この結果から,NLIの微調整によりタスクおよび言語間のモデルの性能が向上し,単言語モデルと多言語モデルが改良される可能性が示唆された。
  論文  参考訳（メタデータ） (2023-08-06T12:40:58Z)
• SciNLI: A Corpus for Natural Language Inference on Scientific Text [47.293189105900524]
  我々は,NLIのための大規模データセットであるSciNLIを紹介した。 XLNetで最高のパフォーマンスモデルでは、マクロF1スコアは78.18%、精度は78.23%である。
  論文  参考訳（メタデータ） (2022-03-13T18:23:37Z)
• WANLI: Worker and AI Collaboration for Natural Language Inference Dataset Creation [101.00109827301235]
  我々は人間と機械の協調に基づくデータセット作成のための新しいパラダイムを導入する。 我々は、データセット地図を用いて、挑戦的な推論パターンを示すサンプルを自動的に識別し、GPT-3に同様のパターンで新しい例を作成するよう指示する。 結果として得られたデータセットであるWANLIは、108,357の自然言語推論(NLI)の例からなり、ユニークな経験的強度を示す。
  論文  参考訳（メタデータ） (2022-01-16T03:13:49Z)
• DocNLI: A Large-scale Dataset for Document-level Natural Language Inference [55.868482696821815]
  自然言語推論(NLI)は、様々なNLP問題を解決するための統一的なフレームワークとして定式化されている。 ドキュメントレベルのNLI用に新たに構築された大規模データセットであるDocNLIを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T13:02:26Z)
• OCNLI: Original Chinese Natural Language Inference [21.540733910984006]
  我々は,中国における最初の大規模NLIデータセット(56,000の注釈付き文対からなる)であるOriginal Chinese Natural Language Inference dataset(OCNLI)を提示する。 NLIを他の言語に拡張しようとする最近の試みとは異なり、私たちのデータセットは自動翻訳や非専門家アノテーションに依存していません。 我々は、中国語の最先端の事前訓練モデルを用いて、データセット上でいくつかのベースライン結果を確立し、人間のパフォーマンスよりもはるかに優れたパフォーマンスモデルを見つける。
  論文  参考訳（メタデータ） (2020-10-12T04:25:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。