論文の概要: Retrieve to Explain: Evidence-driven Predictions with Language Models
- arxiv url: http://arxiv.org/abs/2402.04068v1
- Date: Tue, 6 Feb 2024 15:13:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 14:16:39.540051
- Title: Retrieve to Explain: Evidence-driven Predictions with Language Models
- Title(参考訳): got to explain: 言語モデルによる証拠駆動予測
- Authors: Ravi Patel (1), Angus Brayne (1), Rogier Hintzen (1), Daniel
Jaroslawicz (1), Georgiana Neculae (1), Dane Corneil (1) ((1) BenevolentAI)
- Abstract要約: Retrieve to Explain (R2E) は、ドキュメントコーパスのエビデンスに基づいた研究質問に対する回答を優先する検索ベースの言語モデルである。
R2Eは、再訓練することなく新しいエビデンスに適応し、自然言語へのテンプレート化を通じて構造化データを組み込むことができる。
本モデルは,臨床治験結果の予測において,業界標準遺伝学的アプローチよりも優れていることを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Machine learning models, particularly language models, are notoriously
difficult to introspect. Black-box models can mask both issues in model
training and harmful biases. For human-in-the-loop processes, opaque
predictions can drive lack of trust, limiting a model's impact even when it
performs effectively. To address these issues, we introduce Retrieve to Explain
(R2E). R2E is a retrieval-based language model that prioritizes amongst a
pre-defined set of possible answers to a research question based on the
evidence in a document corpus, using Shapley values to identify the relative
importance of pieces of evidence to the final prediction. R2E can adapt to new
evidence without retraining, and incorporate structured data through templating
into natural language. We assess on the use case of drug target identification
from published scientific literature, where we show that the model outperforms
an industry-standard genetics-based approach on predicting clinical trial
outcomes.
- Abstract(参考訳): 機械学習モデル、特に言語モデルは内省が難しいことで悪名高い。
ブラックボックスモデルは、モデルトレーニングと有害バイアスの両方の問題を隠蔽することができる。
ヒューマン・イン・ザ・ループのプロセスでは、不透明な予測は信頼の欠如を招き、効果的に実行してもモデルへの影響を制限する。
これらの問題に対処するために、Retrieve to Explain (R2E)を紹介します。
R2Eは検索に基づく言語モデルであり、文書コーパスのエビデンスに基づいた研究質問に対して、最終的な予測に対する証拠の相対的重要性を特定するためにシェープリー値を使用する。
R2Eは再訓練することなく新しいエビデンスに適応し、自然言語へのテンプレート化を通じて構造化データを組み込むことができる。
本研究は,本モデルが臨床治験結果を予測するための業界標準遺伝学的アプローチよりも優れていることを示す。
関連論文リスト
- A Comprehensive Evaluation and Analysis Study for Chinese Spelling Check [53.152011258252315]
音声とグラフィックの情報を合理的に使用することは,中国語のスペルチェックに有効であることを示す。
モデルはテストセットのエラー分布に敏感であり、モデルの欠点を反映している。
一般的なベンチマークであるSIGHANは、モデルの性能を確実に評価できない。
論文 参考訳(メタデータ) (2023-07-25T17:02:38Z) - Explaining Hate Speech Classification with Model Agnostic Methods [0.9990687944474738]
本研究の目的は、ヘイトスピーチ予測と、その決定を支援するためにシステムによって生成された説明とのギャップを埋めることである。
これは、まずテキストの分類を予測し、その後、ポストホック、モデル非依存、代理的解釈可能性アプローチを提供することによって達成されている。
論文 参考訳(メタデータ) (2023-05-30T19:52:56Z) - Rationalizing Predictions by Adversarial Information Calibration [65.19407304154177]
我々は2つのモデルを共同で訓練する: 1つは、正確だがブラックボックスな方法でタスクを解く典型的なニューラルモデルであり、もう1つは、予測の理論的根拠を付加するセレクタ・予測モデルである。
我々は,2つのモデルから抽出した情報を,それらの違いが欠落した特徴や過度に選択された特徴の指標であるように校正するために,敵対的手法を用いる。
論文 参考訳(メタデータ) (2023-01-15T03:13:09Z) - Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。
これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。
モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文 参考訳(メタデータ) (2022-11-09T18:58:29Z) - Pathologies of Pre-trained Language Models in Few-shot Fine-tuning [50.3686606679048]
実例が少ない事前学習言語モデルはラベル間に強い予測バイアスを示すことを示す。
わずかな微調整で予測バイアスを軽減できるが,本分析では,非タスク関連の特徴を捉えることで,モデルの性能向上を図っている。
これらの観察は、より少ない例でモデルのパフォーマンスを追求することは、病理学的予測行動を引き起こす可能性があることを警告する。
論文 参考訳(メタデータ) (2022-04-17T15:55:18Z) - A Generative Language Model for Few-shot Aspect-Based Sentiment Analysis [90.24921443175514]
我々は、アスペクト項、カテゴリを抽出し、対応する極性を予測するアスペクトベースの感情分析に焦点を当てる。
本稿では,一方向の注意を伴う生成言語モデルを用いて,抽出タスクと予測タスクをシーケンス生成タスクに再構成することを提案する。
提案手法は,従来の最先端(BERTをベースとした)の性能を,数ショットとフルショットの設定において,大きなマージンで上回ります。
論文 参考訳(メタデータ) (2022-04-11T18:31:53Z) - How Does Data Corruption Affect Natural Language Understanding Models? A
Study on GLUE datasets [4.645287693363387]
モデルが微調整されたり、破損したデータでテストされた場合、ほとんどのGLUEタスクのパフォーマンスは高いままである。
提案したデータ変換は,特定のデータセットがモデルの言語理解能力を評価するための適切なテストベッドを構成する範囲を評価するための診断ツールとして利用することができる。
論文 参考訳(メタデータ) (2022-01-12T13:35:53Z) - Explain, Edit, and Understand: Rethinking User Study Design for
Evaluating Model Explanations [97.91630330328815]
我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。
単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
論文 参考訳(メタデータ) (2021-12-17T18:29:56Z) - On the Lack of Robust Interpretability of Neural Text Classifiers [14.685352584216757]
本研究では,事前学習したトランスフォーマーエンコーダをベースとしたニューラルテキスト分類器の解釈の堅牢性を評価する。
どちらのテストも、期待された行動から驚くほど逸脱しており、実践者が解釈から引き出す可能性のある洞察の程度について疑問を呈している。
論文 参考訳(メタデータ) (2021-06-08T18:31:02Z) - Exploring Lexical Irregularities in Hypothesis-Only Models of Natural
Language Inference [5.283529004179579]
自然言語推論(NLI)またはテキスト関連認識(RTE)は、文のペア間の関係を予測するタスクです。
包含を理解するモデルは前提と仮説の両方をエンコードするべきである。
Poliakらによる実験。
仮説でのみ観察されたパターンに対するこれらのモデルの強い好みを明らかにした。
論文 参考訳(メタデータ) (2021-01-19T01:08:06Z) - In Pursuit of Interpretable, Fair and Accurate Machine Learning for
Criminal Recidivism Prediction [19.346391120556884]
本研究では、二項予測よりも確率を出力する解釈可能なモデルを訓練し、定量的フェアネス定義を用いてモデルを評価する。
フロリダ州とケンタッキー州の2つの異なる犯罪再犯データセット上で,ブラックボックスと解釈可能なMLモデルを生成した。
いくつかの解釈可能なMLモデルは、ブラックボックスMLモデルと同様に復調を予測でき、CompASやアーノルドPSAよりも正確である。
論文 参考訳(メタデータ) (2020-05-08T17:16:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。