論文の概要: When Sufficient is not Enough: Utilizing the Rashomon Effect for Complete Evidence Extraction
- arxiv url: http://arxiv.org/abs/2511.07055v1
- Date: Mon, 10 Nov 2025 12:46:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-11 21:18:45.249882
- Title: When Sufficient is not Enough: Utilizing the Rashomon Effect for Complete Evidence Extraction
- Title(参考訳): 十分でない場合:完全証拠抽出における羅生門効果の利用
- Abstract要約: 個々のモデルは通常、完全な証拠のサブセットのみを復元する。
我々は、リコール精度トレードオフ、エビデンスによるトレーニングの役割、確実なしきい値によるダイナミックアンサンブルを分析し、含意を議論する。
- 参考スコア(独自算出の注目度): 3.2944203974612045
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Feature attribution methods typically provide minimal sufficient evidence justifying a model decision. However, in many applications this is inadequate. For compliance and cataloging, the full set of contributing features must be identified - complete evidence. We perform a case study on a medical dataset which contains human-annotated complete evidence. We show that individual models typically recover only subsets of complete evidence and that aggregating evidence from several models improves evidence recall from $\sim$0.60 (single best model) to $\sim$0.86 (ensemble). We analyze the recall-precision trade-off, the role of training with evidence, dynamic ensembles with certainty thresholds, and discuss implications.
- Abstract(参考訳): 特徴帰属法は典型的には、モデル決定を正当化する十分な証拠を最小限に提供する。
しかし、多くのアプリケーションではこれは不十分である。
コンプライアンスとカタログ化のためには、完全なエビデンスとして、コントリビューション機能の完全なセットを特定しなければなりません。
人手による完全証拠を含む医療データセットのケーススタディを行う。
個々のモデルは典型的には完全な証拠のサブセットのみを回収し、いくつかのモデルから証拠を集約することで、$\sim$0.60 (single best model) から$\sim$0.86 (ensemble) へのエビデンスを改善することを示す。
我々は、リコール精度トレードオフ、エビデンスによるトレーニングの役割、確実なしきい値によるダイナミックアンサンブルを分析し、含意を議論する。
関連論文リスト
- Don't Let Me Ask for It: LLMs Show Deficiencies in Active Multi-Turn Information Acquisition for Abductive Inference [15.768100289136392]
帰納的推論は、観察された証拠を説明し、新しい証拠が利用可能になるにつれてそれらを修正する仮説を形成する必要がある。
本稿では、異なる相互作用モード下でこれらの振る舞いを研究するための対話型プローブであるAlien Abductionを紹介する。
論文 参考訳(メタデータ) (2026-08-04T09:39:24Z) - AuthTrace: Diagnosing Evidence Construction in Thematically Dense Single-Author Corpora [6.956097396264084]
AuthTraceは,主題的に密集した単一著者コーパスに基づいて構築された診断ベンチマークである。
AuthTraceは明示的な引用されたエビデンス、正確なファンインアノテーション、エビデンスリコール、エビデンス精度、答えの正当性を測定する統一パックレベルのプロトコルを提供する。
論文 参考訳(メタデータ) (2026-05-25T03:10:52Z) - FIKA-Bench: From Fine-grained Recognition to Fine-Grained Knowledge Acquisition [54.31138496553705]
日常生活におけるきめ細かい認識は、しばしばクローズドブックの分類問題ではない。
既存のベンチマークは主に視覚的認識を評価しており、このアクティブな外部知識獲得能力は過小評価されている。
そこでは,システムが外部の証拠を探し,検証し,利用し,オープンエンドのきめ細かい認識質問に答えなければならない,きめ細かな知識獲得について検討する。
論文 参考訳(メタデータ) (2026-05-13T08:49:51Z) - Case-Grounded Evidence Verification: A Framework for Constructing Evidence-Sensitive Supervision [1.7044563989708406]
ケースグラウンドによる証拠検証を導入する。
得られたサポートタスクに対して標準検証器をトレーニングする。
結果は、根拠となる証拠の大きなボトルネックは、モデル能力だけでなく、監督の欠如にあることを示唆している。
論文 参考訳(メタデータ) (2026-04-10T17:55:38Z) - Retrieving Versus Understanding Extractive Evidence in Few-Shot Learning [4.230202411425062]
大規模言語モデルにおける文書内証拠の検索と解釈の関係を解析する。
ラベル予測とエビデンス検索の誤りが関連する証拠の質に起因するかどうかを2つのアブレーション研究により調査する。
論文 参考訳(メタデータ) (2025-02-19T20:48:09Z) - Unleashing Potential of Evidence in Knowledge-Intensive Dialogue
Generation [37.29386687125705]
知識集約対話生成(u-EIDG)におけるエビデンスを効果的に統合する枠組みを提案する。
具体的には,Large Language Models (LLM) のパワーを活用し,ラベルのないデータから信頼性のあるエビデンスラベルを抽出する自動エビデンス生成フレームワークを提案する。
これらのエビデンスラベルを利用することで、検索されたパスから関連するエビデンスを効果的に識別する信頼性のあるエビデンス指標をトレーニングする。
論文 参考訳(メタデータ) (2023-09-15T13:13:30Z) - Give Me More Details: Improving Fact-Checking with Latent Retrieval [58.706972228039604]
証拠は、自動化された事実チェックにおいて重要な役割を果たす。
既存のファクトチェックシステムは、エビデンス文が与えられたと仮定するか、検索エンジンが返した検索スニペットを使用する。
資料から得られた全文を証拠として組み込んで,2つの豊富なデータセットを導入することを提案する。
論文 参考訳(メタデータ) (2023-05-25T15:01:19Z) - Complex Claim Verification with Evidence Retrieved in the Wild [73.19998942259073]
Webから生の証拠を取り出すことによって,実世界のクレームをチェックするための,最初の完全自動化パイプラインを提示する。
私たちのパイプラインには,クレーム分解,生文書検索,きめ細かい証拠検索,クレーム中心の要約,正確性判定という5つのコンポーネントが含まれています。
論文 参考訳(メタデータ) (2023-05-19T17:49:19Z) - Read it Twice: Towards Faithfully Interpretable Fact Verification by
Revisiting Evidence [59.81749318292707]
本稿では,証拠の検索とクレームの検証を行うためにReReadという名前の事実検証モデルを提案する。
提案システムは,異なる設定下での最良のレポートモデルに対して,大幅な改善を実現することができる。
論文 参考訳(メタデータ) (2023-05-02T03:23:14Z) - Revealing Unfair Models by Mining Interpretable Evidence [50.48264727620845]
機械学習の人気は、不公平なモデルがハイリスクなアプリケーションにデプロイされるリスクを高めている。
本稿では,解釈可能な証拠をマイニングすることで不公平なモデルを明らかにする新しい課題に取り組む。
本手法は,訓練されたモデルの不公平性を効果的に明らかにするために,極めて解釈可能な確固たる証拠を見出す。
論文 参考訳(メタデータ) (2022-07-12T20:03:08Z) - Distantly-Supervised Evidence Retrieval Enables Question Answering
without Evidence Annotation [19.551623461082617]
オープンドメインの質問応答は、大きなコーパスから取得した証拠に基づいて質問に答える。
本稿では,大規模コーパスからモデルが証拠の発見を学べるかどうかを,モデル学習のための回答ラベルからのみ遠ざかって検討する。
我々は,最新のモデルから証拠を交互に発見し,最も可能性の高い証拠を学習するよう促すことにより,弱いレトリバーよりも反復的に改善する新しいアプローチ(DistDR)を提案する。
論文 参考訳(メタデータ) (2021-10-10T20:01:27Z) - A Multi-Level Attention Model for Evidence-Based Fact Checking [58.95413968110558]
シーケンス構造をトレーニング可能な,シンプルなモデルを提案する。
Fact extract and VERification のための大規模データセットの結果、我々のモデルはグラフベースのアプローチよりも優れていることが示された。
論文 参考訳(メタデータ) (2021-06-02T05:40:12Z) - AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。
アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。
我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
論文 参考訳(メタデータ) (2021-04-01T17:40:08Z) - Weakly- and Semi-supervised Evidence Extraction [107.47661281843232]
本稿では,エビデンス抽出の課題に対して,いくつかのエビデンスアノテーションと豊富な文書レベルラベルを組み合わせた新たな手法を提案する。
私たちのアプローチは、数百のエビデンスアノテーションでかなりの利益をもたらします。
論文 参考訳(メタデータ) (2020-11-03T04:05:00Z) - Hierarchical Evidence Set Modeling for Automated Fact Extraction and
Verification [5.836068916903788]
階層的エビデンス・セット・モデリング(Heerarchical Evidence Set Modeling, HESM)は、エビデンス・セットを抽出し、サポート対象のクレームを検証するためのフレームワークである。
実験の結果,HESMは事実抽出とクレーム検証の7つの最先端手法より優れていた。
論文 参考訳(メタデータ) (2020-10-10T22:27:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。