論文の概要: Retrieve to Explain: Evidence-driven Predictions with Language Models
- arxiv url: http://arxiv.org/abs/2402.04068v3
- Date: Tue, 18 Jun 2024 10:42:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-20 04:25:08.549567
- Title: Retrieve to Explain: Evidence-driven Predictions with Language Models
- Title（参考訳）: Retrieve to Explain: 言語モデルによるエビデンス駆動予測
- Authors: Ravi Patel, Angus Brayne, Rogier Hintzen, Daniel Jaroslawicz, Georgiana Neculae, Dane Corneil,
- Abstract要約: 本稿では,検索に基づく言語モデルであるRetrieve to Explain (R2E)を紹介する。
R2Eは、ドキュメントコーパスから取得した証拠に基づいて、研究質問に対するすべての可能な回答をスコアし、ランク付けする。
薬物標的同定の課題を科学的文献から評価する。
- 参考スコア（独自算出の注目度）: 0.791663505497707
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Language models hold incredible promise for enabling scientific discovery by synthesizing massive research corpora. Many complex scientific research questions have multiple plausible answers, each supported by evidence of varying strength. However, existing language models lack the capability to quantitatively and faithfully compare answer plausibility in terms of supporting evidence. To address this issue, we introduce Retrieve to Explain (R2E), a retrieval-based language model. R2E scores and ranks all possible answers to a research question based on evidence retrieved from a document corpus. The architecture represents each answer only in terms of its supporting evidence, with the answer itself masked. This allows us to extend feature attribution methods, such as Shapley values, to transparently attribute each answer's score back to its supporting evidence at inference time. The architecture also allows R2E to incorporate new evidence without retraining, including non-textual data modalities templated into natural language. We assess on the challenging task of drug target identification from scientific literature, a human-in-the-loop process where failures are extremely costly and explainability is paramount. When predicting whether drug targets will subsequently be confirmed as efficacious in clinical trials, R2E not only matches non-explainable literature-based models but also surpasses a genetics-based target identification approach used throughout the pharmaceutical industry.
- Abstract（参考訳）: 言語モデルは、巨大な研究コーパスを合成することで科学的な発見を可能にするという素晴らしい約束を持っています。
多くの複雑な科学的研究の質問は、様々な強さの証拠によって支持される複数のもっともらしい答えを持っている。
しかし、既存の言語モデルは、証拠を裏付けるという点で、答えの妥当性を定量的かつ忠実に比較する能力に欠ける。
本稿では,検索に基づく言語モデルであるRetrieve to Explain (R2E)を紹介する。
R2Eは、ドキュメントコーパスから取得した証拠に基づいて、研究質問に対するすべての可能な回答をスコアし、ランク付けする。
アーキテクチャは,それぞれの回答を,その裏付けとしてのみ表現し,回答自体が隠蔽されている。
これにより、Shapley値などの特徴属性メソッドを拡張して、各回答のスコアを推論時の支持エビデンスに透過的に関連付けることができます。
このアーキテクチャにより、R2Eは、自然言語にテンプレート化された非テキストデータモダリティを含む、再トレーニングなしで新たなエビデンスを組み込むことができる。
我々は,障害が極端にコストがかかり,説明可能性が最重要となる,人為的ループプロセスである,科学的文献からの薬物標的同定の課題を評価する。
臨床試験で薬物標的が有効かどうかを予測した場合、R2Eは説明不能な文献ベースのモデルに適合するだけでなく、医薬品業界全体で使用されている遺伝子に基づく標的識別アプローチを超越する。
関連論文リスト
- A generative framework to bridge data-driven models and scientific theories in language neuroscience [84.76462599023802]
脳内の言語選択性の簡潔な説明を生成するためのフレームワークである生成的説明媒介バリデーションを提案する。
本研究では,説明精度が基礎となる統計モデルの予測力と安定性と密接に関連していることを示す。
論文 参考訳（メタデータ） (2024-10-01T15:57:48Z) - Evidence-Enhanced Triplet Generation Framework for Hallucination Alleviation in Generative Question Answering [41.990482015732574]
本稿では,三重項(クエスト,エビデンス,アンスワー)の組合せを予測するための新しいエビデンス強化三重項生成フレームワークであるEATQAを提案する。
推測段階における証拠から知識を抽出するために,分布ギャップを橋渡しする。
我々のフレームワークは,クエリとエビデンスと応答の間の論理的関係を学習し,同時にエビデンス生成とクエリ応答を改善する。
論文 参考訳（メタデータ） (2024-08-27T13:07:07Z) - Uncertainty Estimation of Large Language Models in Medical Question Answering [60.72223137560633]
大規模言語モデル(LLM)は、医療における自然言語生成の約束を示すが、事実的に誤った情報を幻覚させるリスクがある。
医学的問合せデータセットのモデルサイズが異なる人気不確実性推定(UE)手法をベンチマークする。
以上の結果から,本領域における現在のアプローチは,医療応用におけるUEの課題を浮き彫りにしている。
論文 参考訳（メタデータ） (2024-07-11T16:51:33Z) - Answering real-world clinical questions using large language model based systems [2.2605659089865355]
大規模言語モデル(LLM)は、出版された文献を要約するか、実世界データ(RWD)に基づいた新しい研究を生成することによって、両方の課題に対処できる可能性がある。
臨床50問に回答する5つのLCMベースのシステムについて検討し,9名の医師に関連性,信頼性,行動性について検討した。
論文 参考訳（メタデータ） (2024-06-29T22:39:20Z) - Groundedness in Retrieval-augmented Long-form Generation: An Empirical Study [61.74571814707054]
検索した文書やモデルの事前学習データに生成されたすべての文が接地されているかどうかを評価する。
3つのデータセットと4つのモデルファミリーにまたがって、生成した文のかなりの部分が一貫してアングラウンド化されていることが明らかとなった。
以上の結果から,より大きなモデルではアウトプットをより効果的に基礎づける傾向にあるものの,正解のかなりの部分が幻覚によって損なわれていることが示唆された。
論文 参考訳（メタデータ） (2024-04-10T14:50:10Z) - Heterogeneous Graph Reasoning for Fact Checking over Texts and Tables [22.18384189336634]
HeterFCは、非構造化情報および構造化情報に対するFact Checkingのための単語レベルの不均一グラフベースのモデルである。
我々は,レーショナルグラフニューラルネットワークによる情報伝達,クレームとエビデンス間の相互作用を行う。
本稿では,エビデンス検索における潜在的な不正確性を考慮したマルチタスク損失関数を提案する。
論文 参考訳（メタデータ） (2024-02-20T14:10:40Z) - InfoLossQA: Characterizing and Recovering Information Loss in Text Simplification [60.10193972862099]
本研究は, 簡易化による情報損失を問合せ・問合せ形式で特徴づけ, 回復する枠組みを提案する。
QAペアは、読者がテキストの知識を深めるのに役立つように設計されている。
論文 参考訳（メタデータ） (2024-01-29T19:00:01Z) - A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
固有プローブ構築のための新しい潜在変数定式化を提案する。
我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
論文 参考訳（メタデータ） (2022-01-20T15:01:12Z) - Grow-and-Clip: Informative-yet-Concise Evidence Distillation for Answer
Explanation [22.20733260041759]
我々は、QAモデルの解釈可能性を高めるために、解答の証拠が重要であると論じる。
我々は、証拠の概念を、情報的で簡潔で読みやすい文脈における支援事実として明確に定義する最初の人物である。
本稿では, トレードオフ情報性, 簡潔性, 可読性からエビデンスを抽出するGCEDアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-01-13T17:18:17Z) - Commonsense Evidence Generation and Injection in Reading Comprehension [57.31927095547153]
本稿では,CEGI と命名された理解を読み取るためのコモンセンス・エビデンス・ジェネレーション・インジェクション・フレームワークを提案する。
この枠組みは、2種類の補助的コモンセンス証拠を包括的読解に注入し、機械に合理的思考能力を持たせる。
CosmosQAデータセットの実験では、提案されたCEGIモデルが現在の最先端アプローチよりも優れていることが示された。
論文 参考訳（メタデータ） (2020-05-11T16:31:08Z) - Evidence Inference 2.0: More Data, Better Models [22.53884716373888]
Evidence Inferenceデータセットは、この目的に向けた研究を促進するために最近リリースされた。
本稿では、エビデンス推論データセットを25%拡張するための追加アノテーションを収集する。
新しいベースラインと評価のための更新されたコーパス、ドキュメント、コードはhttp://evidence-inference.ebm-nlp.com/で公開されている。
論文 参考訳（メタデータ） (2020-05-08T17:16:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。