論文の概要: Retrieve to Explain: Evidence-driven Predictions with Language Models
- arxiv url: http://arxiv.org/abs/2402.04068v3
- Date: Tue, 18 Jun 2024 10:42:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-20 04:25:08.549567
- Title: Retrieve to Explain: Evidence-driven Predictions with Language Models
- Title（参考訳）: Retrieve to Explain: 言語モデルによるエビデンス駆動予測
- Authors: Ravi Patel, Angus Brayne, Rogier Hintzen, Daniel Jaroslawicz, Georgiana Neculae, Dane Corneil,
- Abstract要約: 本稿では,検索に基づく言語モデルであるRetrieve to Explain (R2E)を紹介する。
R2Eは、ドキュメントコーパスから取得した証拠に基づいて、研究質問に対するすべての可能な回答をスコアし、ランク付けする。
薬物標的同定の課題を科学的文献から評価する。
- 参考スコア（独自算出の注目度）: 0.791663505497707
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Language models hold incredible promise for enabling scientific discovery by synthesizing massive research corpora. Many complex scientific research questions have multiple plausible answers, each supported by evidence of varying strength. However, existing language models lack the capability to quantitatively and faithfully compare answer plausibility in terms of supporting evidence. To address this issue, we introduce Retrieve to Explain (R2E), a retrieval-based language model. R2E scores and ranks all possible answers to a research question based on evidence retrieved from a document corpus. The architecture represents each answer only in terms of its supporting evidence, with the answer itself masked. This allows us to extend feature attribution methods, such as Shapley values, to transparently attribute each answer's score back to its supporting evidence at inference time. The architecture also allows R2E to incorporate new evidence without retraining, including non-textual data modalities templated into natural language. We assess on the challenging task of drug target identification from scientific literature, a human-in-the-loop process where failures are extremely costly and explainability is paramount. When predicting whether drug targets will subsequently be confirmed as efficacious in clinical trials, R2E not only matches non-explainable literature-based models but also surpasses a genetics-based target identification approach used throughout the pharmaceutical industry.
- Abstract（参考訳）: 言語モデルは、巨大な研究コーパスを合成することで科学的な発見を可能にするという素晴らしい約束を持っています。
多くの複雑な科学的研究の質問は、様々な強さの証拠によって支持される複数のもっともらしい答えを持っている。
しかし、既存の言語モデルは、証拠を裏付けるという点で、答えの妥当性を定量的かつ忠実に比較する能力に欠ける。
本稿では,検索に基づく言語モデルであるRetrieve to Explain (R2E)を紹介する。
R2Eは、ドキュメントコーパスから取得した証拠に基づいて、研究質問に対するすべての可能な回答をスコアし、ランク付けする。
アーキテクチャは,それぞれの回答を,その裏付けとしてのみ表現し,回答自体が隠蔽されている。
これにより、Shapley値などの特徴属性メソッドを拡張して、各回答のスコアを推論時の支持エビデンスに透過的に関連付けることができます。
このアーキテクチャにより、R2Eは、自然言語にテンプレート化された非テキストデータモダリティを含む、再トレーニングなしで新たなエビデンスを組み込むことができる。
我々は,障害が極端にコストがかかり,説明可能性が最重要となる,人為的ループプロセスである,科学的文献からの薬物標的同定の課題を評価する。
臨床試験で薬物標的が有効かどうかを予測した場合、R2Eは説明不能な文献ベースのモデルに適合するだけでなく、医薬品業界全体で使用されている遺伝子に基づく標的識別アプローチを超越する。
関連論文リスト
- Uncertainty Estimation of Large Language Models in Medical Question Answering [60.72223137560633]
大規模言語モデル(LLM)は、医療における自然言語生成の約束を示すが、事実的に誤った情報を幻覚させるリスクがある。
医学的問合せデータセットのモデルサイズが異なる人気不確実性推定(UE)手法をベンチマークする。
以上の結果から,本領域における現在のアプローチは,医療応用におけるUEの課題を浮き彫りにしている。
論文 参考訳（メタデータ） (2024-07-11T16:51:33Z) - Answering real-world clinical questions using large language model based systems [2.2605659089865355]
大規模言語モデル(LLM)は、出版された文献を要約するか、実世界データ(RWD)に基づいた新しい研究を生成することによって、両方の課題に対処できる可能性がある。
臨床50問に回答する5つのLCMベースのシステムについて検討し,9名の医師に関連性,信頼性,行動性について検討した。
論文 参考訳（メタデータ） (2024-06-29T22:39:20Z) - Groundedness in Retrieval-augmented Long-form Generation: An Empirical Study [61.74571814707054]
検索した文書やモデルの事前学習データに生成されたすべての文が接地されているかどうかを評価する。
3つのデータセットと4つのモデルファミリーにまたがって、生成した文のかなりの部分が一貫してアングラウンド化されていることが明らかとなった。
以上の結果から,より大きなモデルではアウトプットをより効果的に基礎づける傾向にあるものの,正解のかなりの部分が幻覚によって損なわれていることが示唆された。
論文 参考訳（メタデータ） (2024-04-10T14:50:10Z) - Heterogeneous Graph Reasoning for Fact Checking over Texts and Tables [22.18384189336634]
HeterFCは、非構造化情報および構造化情報に対するFact Checkingのための単語レベルの不均一グラフベースのモデルである。
我々は,レーショナルグラフニューラルネットワークによる情報伝達,クレームとエビデンス間の相互作用を行う。
本稿では,エビデンス検索における潜在的な不正確性を考慮したマルチタスク損失関数を提案する。
論文 参考訳（メタデータ） (2024-02-20T14:10:40Z) - Verif.ai: Towards an Open-Source Scientific Generative
Question-Answering System with Referenced and Verifiable Answers [0.0]
本研究の成果は,オープンソースの科学的生成質問応答システムであるVerifaiの紹介と検証を行った結果である。
本システムの構成要素は,(1) 科学的論文(ミストラル7B)上でのセマンティクスと語彙検索技術を組み合わせた情報検索システム,(3) クレームが導出された論文を参照して回答を生成し,(3) クレームが導出された論文と,そのクレームが導出された要約あるいは論文を相互に検証する検証エンジンである。
論文 参考訳（メタデータ） (2024-02-09T10:25:01Z) - InfoLossQA: Characterizing and Recovering Information Loss in Text Simplification [60.10193972862099]
本研究は, 簡易化による情報損失を問合せ・問合せ形式で特徴づけ, 回復する枠組みを提案する。
QAペアは、読者がテキストの知識を深めるのに役立つように設計されている。
論文 参考訳（メタデータ） (2024-01-29T19:00:01Z) - A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
固有プローブ構築のための新しい潜在変数定式化を提案する。
我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
論文 参考訳（メタデータ） (2022-01-20T15:01:12Z) - Grow-and-Clip: Informative-yet-Concise Evidence Distillation for Answer
Explanation [22.20733260041759]
我々は、QAモデルの解釈可能性を高めるために、解答の証拠が重要であると論じる。
我々は、証拠の概念を、情報的で簡潔で読みやすい文脈における支援事実として明確に定義する最初の人物である。
本稿では, トレードオフ情報性, 簡潔性, 可読性からエビデンスを抽出するGCEDアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-01-13T17:18:17Z) - Text Mining to Identify and Extract Novel Disease Treatments From
Unstructured Datasets [56.38623317907416]
Google Cloudを使って、NPRラジオ番組のポッドキャストのエピソードを書き起こします。
次に、テキストを体系的に前処理するためのパイプラインを構築します。
我々のモデルは、Omeprazoleが心臓熱傷の治療に役立てることに成功しました。
論文 参考訳（メタデータ） (2020-10-22T19:52:49Z) - Commonsense Evidence Generation and Injection in Reading Comprehension [57.31927095547153]
本稿では,CEGI と命名された理解を読み取るためのコモンセンス・エビデンス・ジェネレーション・インジェクション・フレームワークを提案する。
この枠組みは、2種類の補助的コモンセンス証拠を包括的読解に注入し、機械に合理的思考能力を持たせる。
CosmosQAデータセットの実験では、提案されたCEGIモデルが現在の最先端アプローチよりも優れていることが示された。
論文 参考訳（メタデータ） (2020-05-11T16:31:08Z) - Evidence Inference 2.0: More Data, Better Models [22.53884716373888]
Evidence Inferenceデータセットは、この目的に向けた研究を促進するために最近リリースされた。
本稿では、エビデンス推論データセットを25%拡張するための追加アノテーションを収集する。
新しいベースラインと評価のための更新されたコーパス、ドキュメント、コードはhttp://evidence-inference.ebm-nlp.com/で公開されている。
論文 参考訳（メタデータ） (2020-05-08T17:16:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。