論文の概要: Table-Text Alignment: Explaining Claim Verification Against Tables in Scientific Papers
- arxiv url: http://arxiv.org/abs/2506.10486v1
- Date: Thu, 12 Jun 2025 08:40:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-13 15:37:22.653777
- Title: Table-Text Alignment: Explaining Claim Verification Against Tables in Scientific Papers
- Title(参考訳): テーブルテキストアライメント:科学論文におけるテーブルに対する主張の検証
- Authors: Xanh Ho, Sunisth Kumar, Yun-Ang Wu, Florian Boudin, Atsuhiro Takasu, Akiko Aizawa,
- Abstract要約: 最終的なラベルのみを予測することは不十分である、と我々は主張する。
これを解決するために、我々は、表-テキストアライメントを説明タスクとして再設定し、クレーム検証に不可欠な表セルをモデルで識別する必要がある。
我々は、SciTabベンチマークを人間に注釈付きセルレベルの有理値で拡張することで、新しいデータセットを構築する。
- 参考スコア(独自算出の注目度): 27.077318442827686
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Scientific claim verification against tables typically requires predicting whether a claim is supported or refuted given a table. However, we argue that predicting the final label alone is insufficient: it reveals little about the model's reasoning and offers limited interpretability. To address this, we reframe table-text alignment as an explanation task, requiring models to identify the table cells essential for claim verification. We build a new dataset by extending the SciTab benchmark with human-annotated cell-level rationales. Annotators verify the claim label and highlight the minimal set of cells needed to support their decision. After the annotation process, we utilize the collected information and propose a taxonomy for handling ambiguous cases. Our experiments show that (i) incorporating table alignment information improves claim verification performance, and (ii) most LLMs, while often predicting correct labels, fail to recover human-aligned rationales, suggesting that their predictions do not stem from faithful reasoning.
- Abstract(参考訳): 表に対する科学的クレーム検証は、通常、表が与えられた場合、クレームがサポートされているか、反証されているかを予測する必要がある。
しかし、最終ラベルのみを予測することは不十分である、と我々は論じている。
これを解決するために、我々は、表文アライメントを説明タスクとして再設定し、クレーム検証に不可欠な表セルをモデルで識別する必要がある。
我々は、SciTabベンチマークを人間に注釈付きセルレベルの有理値で拡張することで、新しいデータセットを構築する。
アノテーションはクレームラベルを検証し、その決定をサポートするのに必要な最小限のセル群を強調します。
アノテーション処理の後、収集した情報を活用し、あいまいな事例を扱うための分類法を提案する。
私たちの実験は
一 表アライメント情報を組み込むことで、クレーム検証性能を向上させること。
(i)ほとんどのLSMは、しばしば正しいラベルを予測しているが、人間の整合した合理性を取り戻すことができず、その予測は忠実な推論から生じるものではないことを示唆している。
関連論文リスト
- Atomic Reasoning for Scientific Table Claim Verification [83.14588611859826]
非専門家は、その高い情報密度と認識される信頼性のために、科学的表に基づく主張を誤解させるおそれがある。
既存のテーブルクレーム検証モデル、例えば最先端の大規模言語モデル(LLM)は、しばしば精密なきめ細かい推論に苦しむ。
認知負荷理論に触発されて、表に基づく主張を解釈するモデルの能力を高めるには、認知負荷を減らす必要がある。
論文 参考訳(メタデータ) (2025-06-08T02:46:22Z) - Chain-of-Table: Evolving Tables in the Reasoning Chain for Table
Understanding [79.9461269253121]
そこで我々は、中間思考のプロキシとして、図表データを推論チェーンで明示的に使用するChain-of-Tableフレームワークを提案する。
Chain-of-TableはWikiTQ、FeTaQA、TabFactベンチマークで最新のパフォーマンスを実現している。
論文 参考訳(メタデータ) (2024-01-09T07:46:26Z) - TAP4LLM: Table Provider on Sampling, Augmenting, and Packing Semi-structured Data for Large Language Model Reasoning [55.33939289989238]
テーブルベースタスクにおいて,大規模言語モデル(LLM)を効果的に活用するための汎用プリプロセッサスイートとして,TAP4LLMを提案する。
1)大きなテーブルをクエリセマンティクスに基づいて管理可能なサブテーブルに分解するテーブルサンプリング、(2)外部ソースやモデルから追加の知識でテーブルを拡張するテーブル拡張、(3)テーブルパッキングとシリアライゼーションによりテーブルをLLMの理解に適したさまざまなフォーマットに変換する。
論文 参考訳(メタデータ) (2023-12-14T15:37:04Z) - arXiVeri: Automatic table verification with GPT [44.388120096898554]
自動表検証(AutoTV)の新たな課題を提案する。
本研究の目的は,参照ソースを相互参照することで,テーブル内の数値データの精度を検証することである。
現代の大規模言語モデル(LLM)の柔軟性を活用して,テーブル検証のためのシンプルなベースラインを提案する。
論文 参考訳(メタデータ) (2023-06-13T17:59:57Z) - SCITAB: A Challenging Benchmark for Compositional Reasoning and Claim
Verification on Scientific Tables [68.76415918462418]
本報告では,1.2Kの専門的な科学的クレームからなる,挑戦的な評価データセットであるSCITABについて述べる。
広範な評価を通じて、SCITABは最先端のモデルに重大な課題をもたらすことを示した。
SCITABは,表の接地,主張のあいまいさ,構成的推論など,いくつかの独特な課題を明らかにした。
論文 参考訳(メタデータ) (2023-05-22T16:13:50Z) - Optimization Techniques for Unsupervised Complex Table Reasoning via Self-Training Framework [5.351873055148804]
自己学習フレームワークは複雑な論理を持つ多様な合成データを生成する。
我々は「テーブル・テキスト・マニピュレータ(Table-Text Manipulator)」を用いて、共同テーブル・テキスト推論シナリオの処理を最適化する。
UCTRSTは、異なるタスクやドメインにおける教師付きモデルパフォーマンスの90%以上を達成する。
論文 参考訳(メタデータ) (2022-12-20T09:15:03Z) - Realistic Data Augmentation Framework for Enhancing Tabular Reasoning [15.339526664699845]
半構造化テーブル推論のような自然言語推論タスクのためのトレーニングデータを構築するための既存のアプローチは、クラウドソーシングまたは完全に自動化された方法である。
本稿では,表型推論のためのデータ拡張のための現実的な半自動フレームワークを開発する。
論文 参考訳(メタデータ) (2022-10-23T17:32:19Z) - TabPert: An Effective Platform for Tabular Perturbation [6.555691728969102]
TabPertを使用すると、ユーザはテーブルを更新し、関連する仮説を変更し、ラベルを変更し、仮説分類に重要な行をハイライトすることができる。
これらのカウンターファクトテーブルと仮説は、メタデータと同様に、既存のモデルの欠点を体系的かつ定量的に探求するために使用することができる。
論文 参考訳(メタデータ) (2021-08-02T02:37:48Z) - TGRNet: A Table Graph Reconstruction Network for Table Structure
Recognition [76.06530816349763]
本稿では,表構造認識のためのエンドツーエンドのトレーニング可能な表グラフ再構成ネットワーク(TGRNet)を提案する。
具体的には,異なる細胞の空間的位置と論理的位置を共同で予測するために,細胞検出枝と細胞論理的位置分岐の2つの主枝を有する。
論文 参考訳(メタデータ) (2021-06-20T01:57:05Z) - FEVEROUS: Fact Extraction and VERification Over Unstructured and
Structured information [21.644199631998482]
我々は、87,026の検証済みクレームからなる新しいデータセットとベンチマーク、Fact extract and VERification Over Unstructured and Structured Information (FEVEROUS)を導入する。
それぞれのクレームには、ウィキペディアの表の文やセルの形での証拠と、この証拠が評決に達するのに十分な情報を提供していないかどうかを示すラベルが添付されている。
本研究は, 請求書の正しい証拠と18%の判定の両方を予測できる, テキストや表に対する請求を検証するためのベースラインを開発する。
論文 参考訳(メタデータ) (2021-06-10T12:47:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。