Fugu-MT 論文翻訳(概要): Benchmarking LLMs for Pairwise Causal Discovery in Biomedical and Multi-Domain Contexts

論文の概要: Benchmarking LLMs for Pairwise Causal Discovery in Biomedical and Multi-Domain Contexts

arxiv url: http://arxiv.org/abs/2601.15479v1
Date: Wed, 21 Jan 2026 21:29:46 GMT
ステータス: 翻訳完了
システム内更新日: 2026-01-23 21:37:20.420469
Title: Benchmarking LLMs for Pairwise Causal Discovery in Biomedical and Multi-Domain Contexts
Title（参考訳）: バイオメディカル・マルチドメインコンテキストにおけるPairwise Causal DiscoveryのためのLCMのベンチマーク
Authors: Sydney Anuyah, Sneha Shajee-Mohan, Ankit-Singh Chauhan, Sunandan Chakraborty,
Abstract要約: バイオメディシンのような高レベルの分野における大きな言語モデル(LLM)は、原因と効果を推論できる必要がある。ベンチマークでは、12の多様なデータセットを使用して、2つのコアスキルを評価します。 textbfCausal Detection (テキストに因果リンクが含まれているかどうかを識別する) および textbfCausal extract (正確な原因と効果句を抽出する)
参考スコア（独自算出の注目度）: 0.434964016971127
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The safe deployment of large language models (LLMs) in high-stakes fields like biomedicine, requires them to be able to reason about cause and effect. We investigate this ability by testing 13 open-source LLMs on a fundamental task: pairwise causal discovery (PCD) from text. Our benchmark, using 12 diverse datasets, evaluates two core skills: 1) \textbf{Causal Detection} (identifying if a text contains a causal link) and 2) \textbf{Causal Extraction} (pulling out the exact cause and effect phrases). We tested various prompting methods, from simple instructions (zero-shot) to more complex strategies like Chain-of-Thought (CoT) and Few-shot In-Context Learning (FICL). The results show major deficiencies in current models. The best model for detection, DeepSeek-R1-Distill-Llama-70B, only achieved a mean score of 49.57\% ($C_{detect}$), while the best for extraction, Qwen2.5-Coder-32B-Instruct, reached just 47.12\% ($C_{extract}$). Models performed best on simple, explicit, single-sentence relations. However, performance plummeted for more difficult (and realistic) cases, such as implicit relationships, links spanning multiple sentences, and texts containing multiple causal pairs. We provide a unified evaluation framework, built on a dataset validated with high inter-annotator agreement ($κ\ge 0.758$), and make all our data, code, and prompts publicly available to spur further research. \href{https://github.com/sydneyanuyah/CausalDiscovery}{Code available here: https://github.com/sydneyanuyah/CausalDiscovery}
Abstract（参考訳）: 大規模言語モデル(LLM)をバイオメディシンのような高レベルな分野に安全に展開するには、原因と効果を推論する必要がある。テキストからのペア因果発見(PCD)という,13のオープンソース LLM を基本課題として,本能力を検証した。私たちのベンチマークでは、12の多様なデータセットを使用して、2つのコアスキルを評価しています。 1) \textbf{Causal Detection} (テキストに因果リンクが含まれているかどうかを識別) 2) \textbf{Causal extract} (正確な原因及び効果句を抽出する) 簡単な命令(ゼロショット)から、Chain-of-Thought(CoT)やFew-shot In-Context Learning(FICL)といった複雑な戦略まで、さまざまなプロンプト手法を試した。その結果,現在のモデルでは大きな欠陥がみられた。検出のための最良のモデルであるDeepSeek-R1-Distill-Llama-70Bは49.57 %(C_{detect}$)のスコアしか得られなかったが、抽出のためのQwen2.5-Coder-32B-Instructは47.12 %(C_{extract}$)に達した。モデルは単純で明示的で単文関係が最もよく機能した。しかし、暗黙の関係、複数の文にまたがるリンク、複数の因果対を含むテキストなど、より難しい(そして現実的な)ケースではパフォーマンスが急落した。我々は、高アノテータ契約(κ\ge 0.758$)で検証されたデータセット上に構築された統一された評価フレームワークを提供し、さらなる研究を促進するために、すべてのデータ、コード、プロンプトを公開しています。 https://github.com/sydneyanuyah/CausalDiscovery}{Code can available here: https://github.com/sydneyanuyah/CausalDiscovery}

関連論文リスト

CodeContests-O: Powering LLMs via Feedback-Driven Iterative Test Case Generation [71.42965967582147]
既存のアプローチは、Large Language Models (LLM) を用いたテストケースの合成を試みる包括的なテストケース構築のために、textbfFeedback-Bench Iterative Framework$を提案します。私たちのデータセットは、平均的真正率(TPR)が89.37%、真負率(TNR)が90.89%で、CodeContestsとCodeContests+をそれぞれ4.32%、9.37%で大幅に上回っている。
論文参考訳（メタデータ） (2026-01-20T07:32:44Z)
Assertion-Aware Test Code Summarization with Large Language Models [0.0]
単体テストは、テスト意図を伝える簡潔な要約を欠くことが多い。本稿では,開発者による要約と組み合わせた実世界のJavaテストケース91のベンチマークを示す。
論文参考訳（メタデータ） (2025-11-09T04:58:32Z)
Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文参考訳（メタデータ） (2025-09-25T14:05:55Z)
Evaluating the Use of LLMs for Documentation to Code Traceability [3.076436880934678]
大規模言語モデルは、様々なソフトウェアドキュメンテーションとソースコードの間のトレースリンクを確立することができる。私たちは2つのオープンソースプロジェクト(Unity CatalogとCrawl4AI)から2つの新しいデータセットを作成します。その結果、最高の性能のLLMは2つのデータセットで79.4%と80.4%のF1スコアを達成した。
論文参考訳（メタデータ） (2025-06-19T16:18:53Z)
LLMSR@XLLM25: An Empirical Study of LLM for Structural Reasoning [6.700515856842664]
We present Team asdfo123's submit to the LLMSR@XLLM25 shared task。我々は、粒度、制御性、解釈可能な推論プロセスを生成する上で、大きな言語モデルを評価する。提案手法は, マクロF1スコアを, より複雑で資源消費の少ないパイプラインと同等に達成し, 総合5位にランク付けする。
論文参考訳（メタデータ） (2025-05-18T09:46:30Z)
Don't Get Lost in the Trees: Streamlining LLM Reasoning by Overcoming Tree Search Exploration Pitfalls [83.89771461061903]
検証者による木探索アルゴリズムの最近の進歩は、大規模言語モデル(LLM)の推論能力を大幅に向上させた。検証者による木探索アルゴリズムの最近の進歩は、大規模言語モデル(LLM)の推論能力を大幅に向上させた。意味論的に等価なコンテンツを持つ冗長な状態による$textitover-Exploration$と、検証器のスコアリングにおける高いばらつきに起因する$textitunder-Exploration$である。各種木探索アルゴリズムに適合するフレキシブルなプラグアンドプレイシステムであるFETCHを提案する。
論文参考訳（メタデータ） (2025-02-16T16:12:01Z)
FLARE: Faithful Logic-Aided Reasoning and Exploration [47.46564769245296]
タスク分解を用いて問題空間をトラバースする新しい手法を提案する。我々はLarge Language Modelsを使ってソリューションを計画し、クエリを事実に軟式化し、論理プログラミングコードを使って述語する。提案手法は,生成したコードに対する推論プロセスの忠実度を計算し,外部の解法に頼らずにマルチホップ探索のステップを解析する。
論文参考訳（メタデータ） (2024-10-14T19:39:11Z)
Graph of Records: Boosting Retrieval Augmented Generation for Long-context Summarization with Graphs [12.878608250420832]
Retrieval-augmented Generation (RAG)は、再活性化されたLarge Language Models (LLM)である。長文グローバル要約のためのRAGを強化するために,$textitgraph of record$$(textbfGoR$)を提案する。 GoRには、$textitgraph Neural Network$と、セルフ教師付きモデルトレーニングのための、詳しく設計された$textitBERTScore$ベースの目的がある。
論文参考訳（メタデータ） (2024-10-14T18:34:29Z)
Exploiting Pre-trained Models for Drug Target Affinity Prediction with Nearest Neighbors [58.661454334877256]
薬物-標的結合親和性(DTA)予測は、薬物発見に不可欠である。 DTA予測へのディープラーニング手法の適用にもかかわらず、達成された精度は依然として準最適である。事前学習したDTA予測モデルに適用した非表現埋め込みに基づく検索手法である$k$NN-DTAを提案する。
論文参考訳（メタデータ） (2024-07-21T15:49:05Z)
Can Large Language Models Infer Causation from Correlation? [104.96351414570239]
大規模言語モデル(LLM)の純粋因果推論スキルをテストする。相関文の集合を取り、変数間の因果関係を決定する新しいタスクCorr2Causeを定式化する。これらのモデルがタスクのランダムな性能にほぼ近い結果が得られることを示す。
論文参考訳（メタデータ） (2023-06-09T12:09:15Z)
1Cademy @ Causal News Corpus 2022: Enhance Causal Span Detection via Beam-Search-based Position Selector [31.170220710119327]
症例2022における共有タスク3citetan-etal-2022-eventのサブタスク2について, 原因効果信号スパン検出のアプローチを提案する。本稿では,タスクを読み取り理解(RC)問題としてモデル化し,トークンレベルRCベースのスパン予測パラダイムをベースラインとして適用する。
論文参考訳（メタデータ） (2022-10-31T09:09:59Z)
You can't pick your neighbors, or can you? When and how to rely on retrieval in the $k$NN-LM [65.74934004876914]
Retrieval-enhanced Language Model (LM) は、大規模な外部データストアから取得したテキストにそれらの予測を条件付ける。そのようなアプローチの1つ、$k$NN-LMは、既存のLMの予測を$k$-nearest近くのモデルの出力と補間する。本研究では,2つの英語モデルデータセットに対するアプローチの有効性を実証的に測定する。
論文参考訳（メタデータ） (2022-10-28T02:57:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。