論文の概要: THiFLY Research at SemEval-2023 Task 7: A Multi-granularity System for
CTR-based Textual Entailment and Evidence Retrieval
- arxiv url: http://arxiv.org/abs/2306.01245v1
- Date: Fri, 2 Jun 2023 03:09:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-05 16:52:28.940625
- Title: THiFLY Research at SemEval-2023 Task 7: A Multi-granularity System for
CTR-based Textual Entailment and Evidence Retrieval
- Title(参考訳): SemEval-2023 Task 7におけるTHiFLY研究:CTRに基づくテキストエンタテインメントとエビデンス検索のための多粒度システム
- Authors: Yuxuan Zhou, Ziyu Jin, Meiwei Li, Miao Li, Xien Liu, Xinxin You, Ji Wu
- Abstract要約: NLI4CTタスクは、臨床トライアル報告(CTR)に基づいて仮説を導き、正当化を支持する証拠を回収することを目的としている。
本稿では,CTRに基づくテキスト検索とエビデンス検索のための多粒度システムを提案する。
我々は,T5ベースモデルであるSciFiveを医療用コーパスで事前学習することで,システムの数値推論能力を向上させる。
- 参考スコア(独自算出の注目度): 13.30918296659228
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The NLI4CT task aims to entail hypotheses based on Clinical Trial Reports
(CTRs) and retrieve the corresponding evidence supporting the justification.
This task poses a significant challenge, as verifying hypotheses in the NLI4CT
task requires the integration of multiple pieces of evidence from one or two
CTR(s) and the application of diverse levels of reasoning, including textual
and numerical. To address these problems, we present a multi-granularity system
for CTR-based textual entailment and evidence retrieval in this paper.
Specifically, we construct a Multi-granularity Inference Network (MGNet) that
exploits sentence-level and token-level encoding to handle both textual
entailment and evidence retrieval tasks. Moreover, we enhance the numerical
inference capability of the system by leveraging a T5-based model, SciFive,
which is pre-trained on the medical corpus. Model ensembling and a joint
inference method are further utilized in the system to increase the stability
and consistency of inference. The system achieves f1-scores of 0.856 and 0.853
on textual entailment and evidence retrieval tasks, resulting in the best
performance on both subtasks. The experimental results corroborate the
effectiveness of our proposed method. Our code is publicly available at
https://github.com/THUMLP/NLI4CT.
- Abstract(参考訳): NLI4CTタスクは、臨床トライアル報告(CTR)に基づいて仮説を導き、正当化を支持する証拠を回収することを目的としている。
このタスクは、NLI4CTタスクの仮説を検証するには、1つか2つのCTRから複数のエビデンスを統合し、テキストと数値を含む様々なレベルの推論を適用する必要があるため、大きな課題となる。
これらの問題に対処するため,本論文では,CTRに基づくテキストの検索とエビデンス検索のためのマルチグラニュラリティシステムを提案する。
具体的には、文レベルとトークンレベルのエンコーディングを利用して、テキストエンタテインメントとエビデンス検索タスクの両方を処理する多粒性推論ネットワーク(MGNet)を構築する。
さらに,T5ベースモデルであるSciFiveを医療用コーパス上で事前学習することで,システムの数値推論能力を向上させる。
モデルアンサンブルとジョイント推論法がシステムでさらに活用され、推論の安定性と一貫性が向上する。
本システムは,テキストの挿入や証拠検索作業において,0.856と0.853のf1スコアを達成する。
実験結果は,提案手法の有効性を裏付けるものである。
私たちのコードはhttps://github.com/THUMLP/NLI4CTで公開されています。
関連論文リスト
- Multi-modal Retrieval Augmented Multi-modal Generation: A Benchmark, Evaluate Metrics and Strong Baselines [63.427721165404634]
本稿では,マルチモーダル検索拡張マルチモーダル生成(M$2$RAG)の興味深い課題について検討する。
このタスクでは,複数モーダルなWebページを閲覧し,テキストと画像が混在し,ユーザクエリを解決するためのマルチモーダルな応答を生成するための基礎モデルが必要である。
我々は,M$2$RAGタスクのベンチマークを構築し,既存の基礎モデルの能力を分析するために,テキストモーダルメトリクスとマルチモーダルメトリクスのセットを備える。
論文 参考訳(メタデータ) (2024-11-25T13:20:19Z) - MetaSumPerceiver: Multimodal Multi-Document Evidence Summarization for Fact-Checking [0.283600654802951]
マルチモーダルデータセットからファクトチェックに有用なクレーム固有の要約を生成するために設計された要約モデルを提案する。
任意の長さの複数のモードから入力を処理できる動的知覚モデルを提案する。
提案手法は,MOCHEGデータセットのクレーム検証タスクにおいて,SOTAアプローチを4.6%向上させる。
論文 参考訳(メタデータ) (2024-07-18T01:33:20Z) - Narrative Action Evaluation with Prompt-Guided Multimodal Interaction [60.281405999483]
ナラティブ・アクション・アセスメント(NAE)は、行動の実行を評価する専門家のコメントを作成することを目的としている。
NAEは、物語の柔軟性と評価の厳格さの両方を必要とするため、より困難なタスクです。
本稿では,様々な情報モダリティ間のインタラクションを容易にするための,プロンプト誘導型マルチモーダルインタラクションフレームワークを提案する。
論文 参考訳(メタデータ) (2024-04-22T17:55:07Z) - UniDoc: A Universal Large Multimodal Model for Simultaneous Text
Detection, Recognition, Spotting and Understanding [93.92313947913831]
テキスト検出と認識機能を備えた新しいマルチモーダルモデルUniDocを紹介する。
我々の知る限りでは、これはテキストの検出、認識、スポッティング、理解を同時に行うことができる最初の大規模マルチモーダルモデルである。
論文 参考訳(メタデータ) (2023-08-19T17:32:34Z) - NLI4CT: Multi-Evidence Natural Language Inference for Clinical Trial
Reports [3.0468533447146244]
臨床治験報告に基づくNLI研究の進展に向けた新たな資料を提示する。
NLI4CTは2400の文とCTRからなるコーパスで、これらのタスクに注釈を付ける。
私たちの知る限りでは、私たちは完全なCTRの解釈をカバーするタスクを最初に設計しました。
論文 参考訳(メタデータ) (2023-05-05T15:03:01Z) - Evaluating and Improving Factuality in Multimodal Abstractive
Summarization [91.46015013816083]
そこで我々は,CLIPBERTScoreを提案する。
ゼロショットにおけるこの2つの指標の単純な組み合わせは、文書要約のための既存の事実度指標よりも高い相関性が得られることを示す。
本分析は,CLIPBERTScoreとそのコンポーネントの信頼性と高い相関性を示す。
論文 参考訳(メタデータ) (2022-11-04T16:50:40Z) - R$^2$F: A General Retrieval, Reading and Fusion Framework for
Document-level Natural Language Inference [29.520857954199904]
文書レベルの自然言語推論(DOCNLI)は、自然言語処理における新しい課題である。
我々は、Retrieval, Reading and Fusion (R2F)フレームワークと呼ばれる一般的なソリューションと、新しい設定を確立する。
実験結果から,R2Fフレームワークは最先端の性能を得ることができ,多種多様なエビデンス検索手法に対して堅牢であることがわかった。
論文 参考訳(メタデータ) (2022-10-22T02:02:35Z) - GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。
FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
論文 参考訳(メタデータ) (2022-04-12T03:49:35Z) - Knowledge-Enhanced Evidence Retrieval for Counterargument Generation [15.87727402948856]
我々は,Web上の多様な情報源から証拠を抽出するシステムを構築した。
このシステムの中核は自然言語推論(NLI)モデルである。
因果関係と例に基づく推論を扱うことを目的とした知識強化NLIモデルを提案する。
論文 参考訳(メタデータ) (2021-09-19T04:31:21Z) - CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented
Dialog Systems [56.302581679816775]
本稿では,タスク固有の命令でPLMを利用する包括的インストラクション(CINS)を提案する。
命令のスキーマ(定義、制約、プロンプト)と、ToDの3つの重要な下流タスクに対するカスタマイズされた実現を設計する。
これらのToDタスクに対して,小さな検証データを用いた現実的な数ショット学習シナリオで実験を行った。
論文 参考訳(メタデータ) (2021-09-10T03:23:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。