論文の概要: Understanding Errors in LLM-Based Question Answering over Imperfect Tables

• arxiv url: http://arxiv.org/abs/2610.04687v2
• Date: Tue, 06 Oct 2026 03:12:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.327107
• Title: Understanding Errors in LLM-Based Question Answering over Imperfect Tables
• Title（参考訳）: LLMによる不完全な質問応答における誤りの理解
• Abstract要約: 提案手法は, テーブルにエラーが現れる場所と, 正確な質問応答に十分な位置を提供することに依存するかを検討する。 RADAR-Tのヒューマンレビューインスタンスを用いて、3つの大きな言語モデルに対して制御された研究を行う。 コード実行では、修復されたテーブルの精度がエラーマークされたテーブルの精度を39.0-59.1ポイント上回る。
• 参考スコア（独自算出の注目度）: 9.914974837876635
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Answering questions over imperfect tables requires handling errors that can affect the answer. We investigate two challenges for large language models (LLMs): whether error discovery depends on where errors appear in a table, and whether providing their locations is sufficient for accurate question answering (QA). Using human-reviewed instances from RADAR-T, we conduct controlled studies across three LLMs by varying row order and comparing original, error-marked, and repaired tables. First, reordering rows changes error discovery even when the table contents and gold answer remain unchanged. During direct inspection, LLMs are more likely to discover all rows containing relevant errors when these rows appear later in the table or are grouped more closely together. Second, providing verified error locations alone is insufficient for accurate QA: with code execution, accuracy on repaired tables exceeds that on error-marked tables by 39.0-59.1 percentage points across the three LLMs. As a practical application of these findings, we combine error discovery across shuffled table views with explicit guidance for verifying and handling the reported errors in a simple workflow, Geometry-Balanced Discovery and Intervention (GBDI). On RADAR-T, GBDI improves QA accuracy by 3.8-18.5 percentage points over a code-agent baseline across five LLMs (paired 95% confidence intervals exclude zero for four), at the cost of additional inference. These results highlight the importance of both reliable error discovery and effective error handling in QA over imperfect tables. Code is available at https://github.com/645-t/GBDI-ICLR-2027.
• Abstract（参考訳）: 不完全なテーブルに対する質問に答えるには、答えに影響を与える可能性のあるエラーを扱う必要がある。 本研究では,大規模言語モデル(LLM)における2つの課題について検討する。 RADAR-T のヒューマンレビューインスタンスを用いて,行順の異なる3つの LLM の制御実験を行い,元の,エラーマーク付き,修復済みのテーブルを比較した。 まず、表の内容と金の答えが変わらない場合でも、並べ替え行がエラー発見を変更する。 直接検査中、LLMはテーブルにこれらの行が後で現れるか、より密にグループ化されるとき、関連するエラーを含む全ての行を発見する傾向にある。 コード実行では、修理済みのテーブルの精度が3つのLSMで39.0-59.1ポイントの誤差マーク付きテーブルの精度を上回っている。 これらの知見の実践的応用として、シャッフルテーブルビュー全体にわたるエラー発見と、報告されたエラーを簡単なワークフローで検証および処理するための明確なガイダンス(Geometry-Balanced Discovery and Intervention (GBDI))を組み合わせる。 RADAR-T では、GBDI は 5 つの LLM のコードエージェントベースラインに対して QA の精度を 3.8-18.5 ポイント改善する(95% 信頼区間は 0 を 4 に除いた)。 これらの結果は、不完全なテーブル上のQAにおいて、信頼性の高いエラー発見と効果的なエラー処理の両方の重要性を強調している。 コードはhttps://github.com/645-t/GBDI-ICLR-2027で公開されている。

関連論文リスト

• SALUS: Automated Auditing of NL-to-SQL Benchmarks through Weak Supervision of Multi-Agent Output [11.568071613299553]
  本稿では,ベンチマーク中のアノテーションエラーを自動的に検出するシステムであるSALUSを提案する。 SALUSは、弱い教師付きエラー検出としてベンチマーク監査を行う。 我々は,BIRDで約37%,Spiderで約27%のアノテーション誤差率を推定した。
  論文  参考訳（メタデータ） (2026-10-04T21:12:58Z)
• From Diagnosis to Correction: Benchmarking and Improving Real-World Table Parsing [50.70862449978062]
  最近の文書では OmniDocBench v1.6 の 93 以上の TEDS スコアが達成されている。 このギャップを定量化するために、916の現実世界のテーブルの診断ベンチマークであるTableParseMapを紹介します。
  論文  参考訳（メタデータ） (2026-08-10T16:59:30Z)
• ErrorLLM: Modeling SQL Errors for Text-to-SQL Refinement [57.98138819417949]
  テキスト・ツー・クエリを明示的にモデル化するフレームワークであるErrorLLMを提案する。 ErrorLLMは、バックボーンの初期生成よりも大幅に改善されていることを示す。 ErrorLLMは、精錬効率を維持しつつ、高い検出F1スコアで両面に対処する。
  論文  参考訳（メタデータ） (2026-03-04T05:27:20Z)
• Towards Practical Benchmarking of Data Cleaning Techniques: On Generating Authentic Errors via Large Language Models [15.985949745494747]
  TableEGは、大規模な言語モデルを利用して、真のエラーを生成するフレームワークである。 10の異なるドメインにまたがる12の現実世界のデータセットをトレーニングしました。 TableEGは、合成エラーと実世界のエラーのギャップを埋めるだけでなく、その後のエラー検出と修正タスクの堅牢なベンチマークも確立している。
  論文  参考訳（メタデータ） (2025-07-15T02:58:25Z)
• Protecting multimodal large language models against misleading visualizations [94.71976205962527]
  この結果から,誤解を招く可視化に対する質問応答(QA)の精度が,ランダムなベースラインのレベルに平均で低下していることが示唆された。 本研究では,非ミスリーディングの精度を損なうことなく,誤解を招くビジュアライゼーションにおけるQA性能を改善するための最初の推論時間手法を提案する。 テーブルベースのQAと視覚化を再描画する2つの方法が有効であり、最大19.6ポイントの改善が期待できる。
  論文  参考訳（メタデータ） (2025-02-27T20:22:34Z)
• Interpretable LLM-based Table Question Answering [5.484058026469263]
  テーブル質問回答(Table QA)の解釈可能性は非常に重要です。 本稿では,モデルの意思決定過程を解釈可能なテーブルQA法を提案する。
  論文  参考訳（メタデータ） (2024-12-16T22:44:31Z)
• Context-Aware SQL Error Correction Using Few-Shot Learning -- A Novel Approach Based on NLQ, Error, and SQL Similarity [0.0]
  本稿では,誤り訂正 insql 生成のための新しい数ショット学習手法を提案する。 与えられた自然言語質問(NLQ)に対して最も適した少数ショット誤り訂正例を選択することにより、生成されたクエリの精度を向上させる。 オープンソースデータセットを用いた実験では、単純な誤り訂正法により、誤り訂正のない修正エラーが39.2%増加し、10%増加した。
  論文  参考訳（メタデータ） (2024-10-11T18:22:08Z)
• Increasing the LLM Accuracy for Question Answering: Ontologies to the Rescue! [1.0786522863027366]
  本稿では,1)オントロジーに基づくクエリチェック (OBQC) と2) LLM修復からなるアプローチを提案する。 当社のアプローチでは、"知らない"結果の8%を含む、全体的な精度を72%に向上しています。
  論文  参考訳（メタデータ） (2024-05-20T00:28:00Z)
• KET-QA: A Dataset for Knowledge Enhanced Table Question Answering [63.56707527868466]
  本研究では,TableQAの外部知識源として知識ベース(KB)を用いることを提案する。 すべての質問は、答えるテーブルとサブグラフの両方からの情報を統合する必要がある。 我々は,膨大な知識サブグラフから関連する情報を抽出するために,レトリバー・レゾナー構造パイプラインモデルを設計する。
  論文  参考訳（メタデータ） (2024-05-13T18:26:32Z)
• The Earth is Flat? Unveiling Factual Errors in Large Language Models [89.94270049334479]
  ChatGPTのような大規模言語モデル(LLM)は、事前学習や微調整の知識が豊富にあるため、様々な応用がある。 それにもかかわらず、医療、ジャーナリズム、教育といった重要な分野に懸念を抱き、事実と常識の誤りを引き起こす傾向にある。 LLMにおける事実不正確な事実を明らかにすることを目的とした,新しい自動テストフレームワークであるFactCheckerを紹介する。
  論文  参考訳（メタデータ） (2024-01-01T14:02:27Z)
• TACRED Revisited: A Thorough Evaluation of the TACRED Relation Extraction Task [80.38130122127882]
  TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである パフォーマンスの天井に到達したのか、改善の余地はあるのか? ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
  論文  参考訳（メタデータ） (2020-04-30T15:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。