論文の概要: TrustDABench: Benchmarking Reliability and Robustness of LLMs for Structured Data Analysis
- arxiv url: http://arxiv.org/abs/2608.24145v1
- Date: Tue, 25 Aug 2026 07:09:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-26 14:09:34.853285
- Title: TrustDABench: Benchmarking Reliability and Robustness of LLMs for Structured Data Analysis
- Title（参考訳）: TrustDABench: 構造化データ分析のためのLCMの信頼性とロバスト性のベンチマーク
- Abstract要約: 信頼できる結果は、ユーザ質問から関連するデータエビデンスへの有効なパスによってサポートされるべきである。
この要件は2つの診断質問を生成する: LLMがそのような経路が存在しない場合、答えを拒否するか、明確化を求めることができるか、同じ証拠が異なる表形式で表現された場合、正しい分析を維持できるかである。
信頼性と堅牢性としてこれらの質問を運用するベンチマークであるTrustDABenchを紹介します。
- 参考スコア（独自算出の注目度）: 42.62413276719373
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLMs are increasingly used to analyze spreadsheets, CSV files, and other structured data, but producing a correct-looking answer is not the same as producing a trustworthy analysis. A trustworthy result should be supported by a valid path from the user question to the relevant data evidence. This requirement creates two diagnostic questions: whether an LLM can refuse to answer or ask for clarification when such a path does not exist, and whether it can preserve the correct analysis when the same evidence is expressed in different table forms. We introduce TrustDABench, a benchmark that operationalizes these questions as reliability and robustness. Starting from the evidence-path view, we derive 19 perturbation operators and instantiate them through an Agentic-LLM-based generation framework. TrustDABench contains 2,340 human-verified perturbed instances, and we evaluate eight representative LLMs. The results show substantial headroom: the best reliability result is only 24.21% average MRS, achieved by GPT-5.5, while the best robustness result still has 9.10% average ASR, achieved by Claude-Sonnet-5. The failures are systematic: models rarely detect conflicting evidence, often continue along executable but unsupported analysis paths, and remain sensitive to perturbations that change observation boundaries or cross-table relations. These findings suggest that stronger evidence-boundary recognition and representation-invariant reasoning are still needed for reliable structured-data analysis.
- Abstract（参考訳）: LLMは、スプレッドシート、CSVファイル、その他の構造化データの解析にますます使われているが、正しい答えを生み出すことは、信頼できる分析を生成するのと同じではない。
信頼できる結果は、ユーザ質問から関連するデータエビデンスへの有効なパスによってサポートされるべきである。
この要件は2つの診断質問を生成する: LLMがそのような経路が存在しない場合、答えを拒否するか、明確化を求めることができるか、同じ証拠が異なる表形式で表現された場合、正しい分析を維持できるかである。
信頼性と堅牢性としてこれらの質問を運用するベンチマークであるTrustDABenchを紹介します。
エビデンスパスの観点から、19の摂動演算子を導出し、エージェントLLMベースの生成フレームワークを介してインスタンス化する。
TrustDABench には 2,340 個の有意な摂動例があり, 8 個の代表的な LLM の評価を行った。
最大の信頼性は、GPT-5.5によって達成された平均MSSの24.21%に過ぎず、最高の堅牢性は、Claude-Sonnet-5によって達成された平均ASRの9.10%に留まっている。
モデルは矛盾する証拠を検出することは滅多になく、しばしば実行可能な解析経路に沿って継続し、観測境界や横断的な関係を変える摂動に敏感である。
これらの結果は,信頼性の高い構造化データ解析には,強い証拠境界認識と表現不変推論が必要であることを示唆している。
関連論文リスト
- NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。
既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。
本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文 参考訳（メタデータ） (2026-09-10T08:34:56Z) - Rethinking Modality Reliability in Multimodal Sentiment Analysis with Incomplete Observations [9.993152436695421]
不完全観測設定において、モダリティの信頼性は中心的な変数であり、モデル化に失敗すると2つの問題が発生する。
不完全な観察を伴うマルチモーダル感性分析のためのモダリティ信頼性校正フレームワークを提案する。
MRCFにはReliability-Aware Branchが含まれており、モジュール内の品質基準とモジュール間のセマンティック一貫性からサンプル固有のモダリティの信頼性を推定する。
CMU-MOSI、CMU-MOSEI、CH-SIMSの実験により、MRCFは標準的な不完全観測プロトコルで高い性能を発揮することが示された。
論文 参考訳（メタデータ） (2026-08-04T13:02:48Z) - Confidence-Aware Alignment Makes Reasoning LLMs More Reliable [65.44962502963378]
CASPOは、トークンレベルの信頼度とステップワイドな論理的正しさを、個別の報酬モデルをトレーニングせずに整合させるフレームワークである。
推論中、信頼を意識した思考(CaT)を提案し、不確実な推論枝を無視可能なO(V)レイテンシで動的に生成する。
10のベンチマークと複数のモデルファミリでの実験では、CASPOは推論の信頼性と推論効率を一貫して改善している。
論文 参考訳（メタデータ） (2026-05-08T07:08:25Z) - Trust but Verify: Introducing DAVinCI -- A Framework for Dual Attribution and Verification in Claim Inference for Language Models [53.279391576560755]
大規模言語モデル(LLM)は、広範囲のNLPタスクにおいて顕著な流速と汎用性を示してきたが、実際的な不正確さと制限が伴う傾向にある。
これは、信頼と妥当性が最優先される医療、法律、科学コミュニケーションといった、高リスク領域に重大なリスクをもたらす。
LLM出力の事実的信頼性と解釈可能性を高めるために設計されたDAVinCI - Dual Attribution and Verificationフレームワークを紹介する。
論文 参考訳（メタデータ） (2026-04-23T01:37:50Z) - Fact-Checking with Large Language Models via Probabilistic Certainty and Consistency [7.806516365113592]
大規模言語モデル(LLM)は、事実の正確性を必要とするアプリケーションでますます使われている。
事実チェックはこれらのエラーを軽減することができるが、既存の手法は通常、外的証拠を無差別に回収する。
本稿では,確率的確実性と一貫性(PCC)について紹介する。
論文 参考訳（メタデータ） (2026-01-05T21:57:41Z) - TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。
スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。
我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
論文 参考訳（メタデータ） (2025-09-25T13:04:29Z) - Can LLMs Detect Their Confabulations? Estimating Reliability in Uncertainty-Aware Language Models [24.72990207218907]
LLM(Large Language Models)は、畳み込み(confabulation)として知られる、流動的だが不正なコンテンツを生成する傾向にある。
本研究では、文脈内情報がモデル行動にどのように影響するか、LLMが信頼できない応答を識別できるかを検討する。
論文 参考訳（メタデータ） (2025-08-11T16:12:36Z) - Expect the Unexpected: FailSafe Long Context QA for Finance [0.0]
FailSafeQAは、金融におけるヒューマン・インタフェース・インタラクションの6つのバリエーションに対して、LLMの堅牢性とコンテキスト認識性をテストするように設計されている。
我々は,Qwen2.5-72B-Instruct を用いた LLM-as-a-Judge 手法を採用し,ロバストネス,コンテキストグラウンド,コンプライアンススコアを24個のオフザシェルフモデルで定義・算出するために,きめ細かい評価基準を用いた。
論文 参考訳（メタデータ） (2025-02-10T10:29:28Z) - Factual Confidence of LLMs: on Reliability and Robustness of Current Estimators [6.403926452181712]
大規模言語モデル(LLM)は、その答えの事実において信頼できない傾向にある。
本稿では,事実信頼度の推定者の調査と実証的比較について述べる。
実験により, 訓練された隠れ状態プローブが最も信頼性の高い信頼度を推定できることが示唆された。
論文 参考訳（メタデータ） (2024-06-19T10:11:37Z) - Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。
本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-05T16:35:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。