論文の概要: FZI-WIM at SemEval-2024 Task 2: Self-Consistent CoT for Complex NLI in Biomedical Domain
- arxiv url: http://arxiv.org/abs/2406.10040v1
- Date: Fri, 14 Jun 2024 13:49:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-17 13:25:54.943251
- Title: FZI-WIM at SemEval-2024 Task 2: Self-Consistent CoT for Complex NLI in Biomedical Domain
- Title（参考訳）: FZI-WIM at SemEval-2024 Task 2: Self-Consistent CoT for Complex NLI in Biomedical Domain
- Authors: Jin Liu, Steffen Thoma,
- Abstract要約: 本稿では,SemEval-2024 Task 2: Safe Biomedical Natural Language Inference for Clinical TrialsにおけるFZI-WIMの推論システムについて述べる。
我々のシステムは、この複雑な推論問題に対処するために、思考の連鎖(CoT)パラダイムを利用する。
自己整合CoTシステムは、ベースラインF1スコアが0.80(第1位)、忠実スコアが0.90(第3位)、一貫性スコアが0.73(第12位)となる。
- 参考スコア（独自算出の注目度）: 2.686335652014776
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper describes the inference system of FZI-WIM at the SemEval-2024 Task 2: Safe Biomedical Natural Language Inference for Clinical Trials. Our system utilizes the chain of thought (CoT) paradigm to tackle this complex reasoning problem and further improves the CoT performance with self-consistency. Instead of greedy decoding, we sample multiple reasoning chains with the same prompt and make the final verification with majority voting. The self-consistent CoT system achieves a baseline F1 score of 0.80 (1st), faithfulness score of 0.90 (3rd), and consistency score of 0.73 (12th). We release the code and data publicly https://github.com/jens5588/FZI-WIM-NLI4CT.
- Abstract（参考訳）: 本稿では,SemEval-2024 Task 2: Safe Biomedical Natural Language Inference for Clinical TrialsにおけるFZI-WIMの推論システムについて述べる。
本システムは,この複雑な推論問題に対処する上で,思考の連鎖(CoT)パラダイムを活用し,自己整合性によるCoT性能の向上を図る。
欲求的なデコーディングの代わりに、同じプロンプトを持つ複数の推論チェーンをサンプリングし、多数決で最終的な検証を行う。
自己整合CoTシステムは、ベースラインF1スコアが0.80(第1位)、忠実スコアが0.90(第3位)、一貫性スコアが0.73(第12位)となる。
コードとデータを公開しています。https://github.com/jens5588/FZI-WIM-NLI4CT。
関連論文リスト
- To CoT or not to CoT? Chain-of-thought helps mainly on math and symbolic reasoning [55.52872152909785]
Chain-of-Thought (CoT) は,大規模言語モデル (LLM) から推論能力を引き出すデファクト手法である。
私たちは、CoTが主に数学や論理学を含むタスクに強いパフォーマンス上の利点をもたらし、他のタスクよりもはるかに少ない利益をもたらすことを示しています。
論文 参考訳（メタデータ） (2024-09-18T17:55:00Z) - A Contrastive Compositional Benchmark for Text-to-Image Synthesis: A
Study with Unified Text-to-Image Fidelity Metrics [58.83242220266935]
我々は,T2Iモデルの構成性を評価するためのベンチマークであるWinoground-T2Iを紹介する。
このベンチマークには、20のカテゴリにまたがる11Kの複雑で高品質なコントラスト文ペアが含まれている。
我々は、Winoground-T2Iモデルの性能評価と、その評価に使用される指標の2つの目的を兼ね備えたWinoground-T2Iを用いている。
論文 参考訳（メタデータ） (2023-12-04T20:47:48Z) - Universal Self-Consistency for Large Language Model Generation [72.6761480346095]
CoT(Self-Consistency with chain-of- Thought prompting)は、困難なタスクにおいて顕著なパフォーマンス向上を示す。
本稿では,大規模言語モデル(LLM)を活用し,最も一貫した回答を選択するユニバーサル自己整合性(USC)を提案する。
論文 参考訳（メタデータ） (2023-11-29T02:07:09Z) - CTC-based Non-autoregressive Speech Translation [51.37920141751813]
非自己回帰音声翻訳における接続性時間分類の可能性について検討する。
我々は、CTCによって誘導される2つのエンコーダからなるモデルを構築し、ソースおよびターゲットテキストを予測する。
MuST-Cベンチマークの実験では、我々のNASTモデルは平均BLEUスコアが29.5であり、スピードアップは5.67$times$である。
論文 参考訳（メタデータ） (2023-05-27T03:54:09Z) - Automatic Prompt Augmentation and Selection with Chain-of-Thought from
Labeled Data [20.68548644283721]
思考の連鎖(CoT)は、大規模言語モデル(LLM)の推論能力を向上させる
ほとんどのCoT研究は、LSMを促進するために慎重に設計された有理鎖に依存している。
本稿では,CoTの人間工学を回避できる新しい戦略を提案する。
論文 参考訳（メタデータ） (2023-02-24T18:58:06Z) - Multimodal Chain-of-Thought Reasoning in Language Models [94.70184390935661]
言語(テキスト)と視覚(画像)のモダリティを2段階のフレームワークに組み込んだマルチモーダルCoTを提案する。
その結果,ScienceQA と A-OKVQA のベンチマークは,提案手法の有効性を示した。
論文 参考訳（メタデータ） (2023-02-02T07:51:19Z) - Faithful Chain-of-Thought Reasoning [51.21714389639417]
CoT(Chain-of-Thought)は言語モデル(LM)のパフォーマンスを様々な推論タスクで向上させる。
翻訳と問題解決という2つの段階を含む推論フレームワークであるFithful CoTを提案する。
このことは、推論連鎖が最終回答の忠実な説明を提供することを保証している。
論文 参考訳（メタデータ） (2023-01-31T03:04:26Z) - A Performance-Consistent and Computation-Efficient CNN System for
High-Quality Automated Brain Tumor Segmentation [1.2183405753834562]
CNNをベースとした完全自動脳-運動-隔離システムの開発研究は急速に進展している。
実際に適用可能なシステムには、優れた処理品質と信頼性が不可欠です。
提案方式のCNNは2つの特徴を持つユニークな構造を持つ。
論文 参考訳（メタデータ） (2022-05-02T22:10:36Z) - Mutual-Information Based Few-Shot Classification [34.95314059362982]
数ショット学習のためのTIM(Transductive Infomation Maximization)を提案する。
提案手法は,与えられた数発のタスクに対して,クエリ特徴とラベル予測との相互情報を最大化する。
そこで我々は,勾配に基づく最適化よりもトランスダクティブ推論を高速化する交代方向解法を提案する。
論文 参考訳（メタデータ） (2021-06-23T09:17:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。