論文の概要: SleuthBench: Benchmarking Statistical LLM Evaluation Using Tabular Hidden Signals

• arxiv url: http://arxiv.org/abs/2609.34228v1
• Date: Mon, 28 Sep 2026 03:34:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 22:46:05.406343
• Title: SleuthBench: Benchmarking Statistical LLM Evaluation Using Tabular Hidden Signals
• Title（参考訳）: SleuthBench: タブラル隠れ信号を用いた統計的LLM評価のベンチマーク
• Abstract要約: SLEUTHBENCHは、制御されたデータ品質の問題と、パブリックデータセットに機能効果を注入するベンチマークである。 注入されたパターンは、実データ解析で報告された現象に基づいてモデル化される。 我々は、データサイエンスと70の検証されたデータセット-テンプレートの組み合わせのビジネス・フレーズに基づいて、Pythonのコーディングツールを用いてデータを解析する6つの最先端LCMを評価した。
• 参考スコア（独自算出の注目度）: 4.216927605951118
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating statistical discovery by large language model (LLM) agents requires verifiable analytical ground truth. Establishing such ground truth for real-world datasets is costly, and prior knowledge of public datasets can influence agent responses. We introduce SLEUTHBENCH, a benchmark that addresses both problems by injecting controlled data-quality problems and feature effects into public tabular datasets: the injected pattern determines the answer, so reference answers are computed automatically and memorized knowledge of the original table is insufficient, while the table keeps its background structure. The injected patterns are modeled on phenomena reported in real data analyses. The benchmark defines 17 question templates in two families: data-quality questions and feature-contribution questions. We evaluate six state-of-the-art LLMs that analyze the data using a Python coding tool, on data-science and business phrasings of 70 validated dataset-template combinations, yielding 1680 graded responses in total. The models detect data-quality problems reliably (83.8% accuracy) but recover feature contributions poorly (41.9%). Finding how features shape the target requires searching over both candidate variables and analytical procedures. To address this issue, we propose the Empirical Layer, a set of precomputed statistical artifacts comprising summaries, fitted feature and interaction effects, and dataset descriptions, which exposes candidate patterns for direct inspection. Access to these artifacts raises feature-contribution accuracy from 41.9% to 68.0%.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントによる統計的発見を評価するには,解析的根拠の検証が必要である。 現実世界のデータセットに対してそのような基礎的な真実を確立するにはコストがかかり、公開データセットの事前知識はエージェントの応答に影響を与える可能性がある。 本稿では、制御されたデータ品質問題と公共の表表データセットに特徴効果を注入することで、両方の問題に対処するベンチマークSLEUTHBENCHを紹介する。 注入されたパターンは、実データ解析で報告された現象に基づいてモデル化される。 このベンチマークでは、データ品質の質問と機能貢献の質問の2つのカテゴリで17の質問テンプレートを定義している。 我々は、Pythonのコーディングツールを用いてデータを分析する6つの最先端LCMを、70の検証済みデータセット-テンプレートの組み合わせによるデータサイエンスとビジネスのフレーズに基づいて評価し、合計1680のグレードされた応答を得た。 モデルはデータ品質の問題(83.8%の精度)を確実に検出するが、機能のコントリビューションは不十分(41.9%)である。 ターゲットの機能をどう形作るかを見つけるには、候補変数と分析手順の両方を検索する必要がある。 この問題に対処するために,要約,特徴・相互作用効果,データセット記述を含む事前計算された統計アーティファクトの集合である経験層を提案し,直接検査のための候補パターンを明らかにする。 これらのアーティファクトへのアクセスは、特徴貢献の精度を41.9%から68.0%に引き上げる。

関連論文リスト

• Extracting Dataset Mentions in Forced Displacement and FCV Documents: A Weakly Supervised Framework with LLM-Based Label Refinement [0.0]
  本稿では,データセット抽出を強制変位,Fragile,Conflict, Violence(FCV)文書に適用するためのフレームワークを提案する。 一般的な研究文献に基づいて訓練された軽量モデルは、ラベルのないドメイン文書から候補データセットの言及を生成する。 我々は、研究、人道、運用文書にまたがる1,706本のテキストパスの独立したゴールドスタンダード・ベンチマークで、結果のモデルを評価した。
  論文  参考訳（メタデータ） (2026-09-10T18:34:08Z)
• An Empirical Investigation of Robustness in Large Language Models under Tabular Distortions [8.023379679609151]
  大規模言語モデル(LLM)は、他の標準表現の表計算データが意味的および構造的歪みを受けると失敗する。 システムプロンプトを通じて明示的な事前情報を提供する場合のみ、モデルは推論戦略を部分的に調整し、いくつかの歪みを修正する。
  論文  参考訳（メタデータ） (2026-01-08T15:10:32Z)
• Sigma: A dataset for text-to-code semantic parsing with statistical analysis [9.781031411221395]
  SIGMAには6000の質問と対応するPythonコードラベルが含まれており、160のデータベースにまたがっている。 質問の半分はクエリタイプで、元のフォーマットで情報を返す。 データセットのPythonコードラベルは、4種類のクエリタイプと40種類の統計分析パターンをカバーしています。
  論文  参考訳（メタデータ） (2025-04-05T23:30:20Z)
• Tab-Shapley: Identifying Top-k Tabular Data Quality Insights [7.666573679741346]
  本研究では,データの異常な性質に対する各属性の寄与を定量化するために,Shapley値を用いた協調ゲーム理論に基づくフレームワークであるTab-Shapleyを紹介する。 シェープリー値の計算は通常指数時間を必要とするが、我々のゲームはクローズドフォームの解を認め、計算を効率的にすることを示した。
  論文  参考訳（メタデータ） (2025-01-12T02:24:55Z)
• Beyond Confusion: A Fine-grained Dialectical Examination of Human Activity Recognition Benchmark Datasets [4.249657064343807]
  HAR(Human Activity Recognition)のための機械学習アルゴリズムの研究は、公開データセットで大きく進歩した。 トランスフォーマーのような最近のモデルは、ベンチマーク指標から限られた成功を収めたHARデータセットに適用されている。 本稿では,6つの人気のあるHARベンチマークデータセットのきめ細かい検査を行うことで,これらのオープンな問題に対処することを目的とする。
  論文  参考訳（メタデータ） (2024-12-12T07:53:17Z)
• KET-QA: A Dataset for Knowledge Enhanced Table Question Answering [63.56707527868466]
  本研究では,TableQAの外部知識源として知識ベース(KB)を用いることを提案する。 すべての質問は、答えるテーブルとサブグラフの両方からの情報を統合する必要がある。 我々は,膨大な知識サブグラフから関連する情報を抽出するために,レトリバー・レゾナー構造パイプラインモデルを設計する。
  論文  参考訳（メタデータ） (2024-05-13T18:26:32Z)
• Are LLMs Capable of Data-based Statistical and Causal Reasoning? Benchmarking Advanced Quantitative Reasoning with Data [89.2410799619405]
  実世界のデータを用いた統計的および因果推論において,大規模言語モデルの能力を評価するために,データベンチマークを用いた定量的推論を導入する。 このベンチマークは、教科書、オンライン学習教材、学術論文のデータシートを伴う411の質問のデータセットで構成されている。 データとテキストに対するモデルの量的推論能力を比較するために、ベンチマークを290のテキストのみの質問、すなわちQRTextで強化する。
  論文  参考訳（メタデータ） (2024-02-27T16:15:03Z)
• Data-SUITE: Data-centric identification of in-distribution incongruous examples [81.21462458089142]
  Data-SUITEは、ID(In-distriion)データの不連続領域を特定するためのデータ中心のフレームワークである。 我々は,Data-SUITEの性能保証とカバレッジ保証を実証的に検証する。
  論文  参考訳（メタデータ） (2022-02-17T18:58:31Z)
• Competency Problems: On Finding and Removing Artifacts in Language Data [50.09608320112584]
  複雑な言語理解タスクでは、すべての単純な特徴相関が突発的であると論じる。 人間バイアスを考慮したコンピテンシー問題に対するデータ作成の難しさを理論的に分析します。
  論文  参考訳（メタデータ） (2021-04-17T21:34:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。