論文の概要: Retrieving Versus Understanding Extractive Evidence in Few-Shot Learning

• arxiv url: http://arxiv.org/abs/2502.14095v1
• Date: Wed, 19 Feb 2025 20:48:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 14:28:21.168441
• Title: Retrieving Versus Understanding Extractive Evidence in Few-Shot Learning
• Title（参考訳）: ファウショット学習における抽出的エビデンスを理解する動詞の検索
• Authors: Karl Elbakian, Samuel Carton,
• Abstract要約: 大規模言語モデルにおける文書内証拠の検索と解釈の関係を解析する。 ラベル予測とエビデンス検索の誤りが関連する証拠の質に起因するかどうかを2つのアブレーション研究により調査する。
• 参考スコア（独自算出の注目度）: 4.230202411425062
• License:
• Abstract: A key aspect of alignment is the proper use of within-document evidence to construct document-level decisions. We analyze the relationship between the retrieval and interpretation of within-document evidence for large language model in a few-shot setting. Specifically, we measure the extent to which model prediction errors are associated with evidence retrieval errors with respect to gold-standard human-annotated extractive evidence for five datasets, using two popular closed proprietary models. We perform two ablation studies to investigate when both label prediction and evidence retrieval errors can be attributed to qualities of the relevant evidence. We find that there is a strong empirical relationship between model prediction and evidence retrieval error, but that evidence retrieval error is mostly not associated with evidence interpretation error--a hopeful sign for downstream applications built on this mechanism.
• Abstract（参考訳）: アライメントの重要な側面は、文書レベルの決定を構築するためにドキュメント内証拠を適切に使用することである。 本研究では,大規模言語モデルにおける文書内証拠の検索と解釈の関係を,数ショットで解析する。 具体的には, モデル予測誤差が, 5つのデータセットに対して, ゴールドスタンダードな人間による注釈付き抽出証拠に対して, 証拠検索誤差と関連している範囲を, 2つの有名なクローズドプロプライエタリモデルを用いて測定する。 ラベル予測とエビデンス検索の誤りが関連する証拠の質に起因するかどうかを2つのアブレーション研究により調査する。 モデル予測とエビデンス検索誤差との間には強い経験的関係があることが分かるが、エビデンス検索誤差はエビデンス解釈エラーとはほとんど関連がない。

関連論文リスト

• Heterogeneous Graph Reasoning for Fact Checking over Texts and Tables [22.18384189336634]
  HeterFCは、非構造化情報および構造化情報に対するFact Checkingのための単語レベルの不均一グラフベースのモデルである。 我々は,レーショナルグラフニューラルネットワークによる情報伝達,クレームとエビデンス間の相互作用を行う。 本稿では,エビデンス検索における潜在的な不正確性を考慮したマルチタスク損失関数を提案する。
  論文  参考訳（メタデータ） (2024-02-20T14:10:40Z)
• Give Me More Details: Improving Fact-Checking with Latent Retrieval [58.706972228039604]
  証拠は、自動化された事実チェックにおいて重要な役割を果たす。 既存のファクトチェックシステムは、エビデンス文が与えられたと仮定するか、検索エンジンが返した検索スニペットを使用する。 資料から得られた全文を証拠として組み込んで,2つの豊富なデータセットを導入することを提案する。
  論文  参考訳（メタデータ） (2023-05-25T15:01:19Z)
• Read it Twice: Towards Faithfully Interpretable Fact Verification by Revisiting Evidence [59.81749318292707]
  本稿では,証拠の検索とクレームの検証を行うためにReReadという名前の事実検証モデルを提案する。 提案システムは,異なる設定下での最良のレポートモデルに対して,大幅な改善を実現することができる。
  論文  参考訳（メタデータ） (2023-05-02T03:23:14Z)
• Uncertain Evidence in Probabilistic Models and Stochastic Simulators [80.40110074847527]
  我々は、不確実性を伴う観測を伴う確率論的モデルにおいて、ベイズ的推論を行うという問題について考察する。 我々は、不確実な証拠をどう解釈するかを探求し、潜伏変数の推論に関連する適切な解釈の重要性を拡大する。 我々は、不確実な証拠を説明するための具体的なガイドラインを考案し、特に一貫性に関する新しい洞察を提供する。
  論文  参考訳（メタデータ） (2022-10-21T20:32:59Z)
• Distantly-Supervised Evidence Retrieval Enables Question Answering without Evidence Annotation [19.551623461082617]
  オープンドメインの質問応答は、大きなコーパスから取得した証拠に基づいて質問に答える。 本稿では,大規模コーパスからモデルが証拠の発見を学べるかどうかを,モデル学習のための回答ラベルからのみ遠ざかって検討する。 我々は,最新のモデルから証拠を交互に発見し,最も可能性の高い証拠を学習するよう促すことにより,弱いレトリバーよりも反復的に改善する新しいアプローチ(DistDR)を提案する。
  論文  参考訳（メタデータ） (2021-10-10T20:01:27Z)
• Graph-based Retrieval for Claim Verification over Cross-Document Evidence [0.6853165736531939]
  グラフに基づくアプローチは、断片化された証拠を特定するのに役立つと推測する。 我々はこの仮説を、コーパス全体にわたって、上述したエンティティによってテキスト部分を相互接続する大きなグラフを構築して検証した。 実験により,グラフ構造を活用することは,クレームに関連する通路のごく一部を特定する上で有益であることが確認された。
  論文  参考訳（メタデータ） (2021-09-13T14:54:26Z)
• Eider: Evidence-enhanced Document-level Relation Extraction [56.71004595444816]
  文書レベルの関係抽出(DocRE)は、文書内のエンティティペア間の意味関係を抽出することを目的としている。 本稿では,共同関係と証拠抽出,エビデンス中心関係抽出(RE),抽出結果の融合からなる3段階のエビデンス強化DocREフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-16T09:43:16Z)
• Topic-Aware Evidence Reasoning and Stance-Aware Aggregation for Fact Verification [19.130541561303293]
  本稿では,事実検証のための新たな話題認識型証拠推論とスタンス認識型アグリゲーションモデルを提案する。 2つのベンチマークデータセットで実施されたテストは、事実検証のためのいくつかの最先端アプローチよりも提案モデルの方が優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-02T14:33:12Z)
• A Multi-Level Attention Model for Evidence-Based Fact Checking [58.95413968110558]
  シーケンス構造をトレーニング可能な,シンプルなモデルを提案する。 Fact extract and VERification のための大規模データセットの結果、我々のモデルはグラフベースのアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-06-02T05:40:12Z)
• AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
  実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。 アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。 我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
  論文  参考訳（メタデータ） (2021-04-01T17:40:08Z)
• DeSePtion: Dual Sequence Prediction and Adversarial Examples for Improved Fact-Checking [46.13738685855884]
  ファクトチェックの現在のシステムは、ファクトチェックの現実的な課題の3つのカテゴリに脆弱であることを示す。 文書選択に複数のポインタネットワークを用いて,これらの「攻撃」に対して耐性を持つように設計されたシステムを提案する。 その結果,これらの攻撃に対処する際には,証拠検索の改善が主な原因で,FEVERの最先端の結果が得られることがわかった。
  論文  参考訳（メタデータ） (2020-04-27T15:18:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。