論文の概要: GLEAN: Grounded Lightweight Evaluation Anchors for Contamination-Aware Tabular Reasoning

• arxiv url: http://arxiv.org/abs/2603.02212v1
• Date: Thu, 22 Jan 2026 13:56:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 01:20:08.070562
• Title: GLEAN: Grounded Lightweight Evaluation Anchors for Contamination-Aware Tabular Reasoning
• Title（参考訳）: GLEAN:汚染を考慮した話者推論のための軽量評価アンカー
• Abstract要約: 本稿では, 汚染対応プローブ, 弱スーパービジョンガバナンス, 検索推論診断, 構造化エラー属性を統合する軽量な評価プロトコルを提案する。 我々は16GBのGPU予算でTabFact、WTQをSquall、TableBench、RobuT、SciTabで評価した。
• 参考スコア（独自算出の注目度）: 0.5414847001704249
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tabular reasoning benchmarks mix semantic inference, numerical computation, and brittle table formatting, yet evaluations for small models remain vulnerable to contamination, dataset artifacts, and retrieval failures. We propose GLEAN, a lightweight evaluation protocol that integrates contamination-aware probes, weak-supervision governance, retrieval-reasoning diagnostics, and structured error attribution under tight hardware constraints. We evaluate across TabFact, WTQ via Squall, TableBench, RobuT, and SciTab under a 16GB GPU budget. Using Squall gold SQL as an executable anchor (95.2% execution), GLEAN assigns a deterministic error taxonomy (L0-L4 plus L0.5 context miss) and reveals a stable error-mode separation: TAPEX errors skew toward grounding (L3) while TAPAS errors skew toward hallucination/abstention (L2/L0). We validate evidence-row heuristics against SQL-derived rows on simple queries (0.62 precision / 0.71 recall; hybrid recall 0.81) and show that retrieval Recall@K can saturate even when end-to-end EM/F1 remains limited, motivating attribution beyond raw recall. We release a modular framework with audits and sensitivity checks to make small-model tabular evaluation more contamination-aware and diagnostic.
• Abstract（参考訳）: タブラル推論ベンチマークはセマンティック推論、数値計算、不安定なテーブルフォーマッティングを混合するが、小さなモデルの評価は汚染、データセットのアーティファクト、検索失敗に弱いままである。 本稿では, 汚染対応プローブ, 弱スーパービジョンガバナンス, 検索推論診断, ハードウェアの厳密な制約下での構造化誤り帰属を統合した軽量な評価プロトコルであるGLEANを提案する。 我々は16GBのGPU予算でTabFact、WTQをSquall、TableBench、RobuT、SciTabで評価した。 Squall Gold SQLを実行可能なアンカーとして(95.2%の実行)、GLEANは決定論的エラー分類(L0-L4とL0.5コンテキストミス)を割り当て、安定したエラーモード分離を明らかにする。 単純なクエリ(0.62精度/0.71リコール、ハイブリッドリコール0.81)でSQL由来の行に対するエビデンス・ローのヒューリスティックスを検証するとともに、エンドツーエンドのEM/F1が制限された場合でもRecall@Kが飽和し、生リコール以上の属性を動機付けることを示す。 監査と感度チェックを備えたモジュラーフレームワークを公開し、小型のタブラ評価をより汚染に気付き、診断できるようにする。

関連論文リスト

• From Diagnosis to Correction: Benchmarking and Improving Real-World Table Parsing [50.70862449978062]
  最近の文書では OmniDocBench v1.6 の 93 以上の TEDS スコアが達成されている。 このギャップを定量化するために、916の現実世界のテーブルの診断ベンチマークであるTableParseMapを紹介します。
  論文  参考訳（メタデータ） (2026-08-10T16:59:30Z)
• Are the Financial Reasoning from LLMs Credible? A Real World Test over Long-Horizon Statements [33.97676862545625]
  Finindicesは、不正な財務状況に対するデータ処理の忠実度を評価する大規模なベンチマークである。 評価の結果,2つの重篤なLSM脆弱性が明らかとなった。第一に,事前学習中に公式を記憶しているにもかかわらず,モデルが脆弱なパターンマッチングを示す「知識ボトルネック」である。 第二に、"Structure Bottleneck": マルチメトリックの多周期テーブルを生成するという、強い認知負荷は、推論能力を積極的に消費する。
  論文  参考訳（メタデータ） (2026-07-22T06:53:07Z)
• Semantic Drift in Bug Resolution: How Behavioral Signals Propagate from Reports to Tests and Patches [18.727291516223115]
  Desc2Fixは、バグレポートのセマンティックアライメント、テストのトリガー、開発者による修正を測定するフレームワークである。 GPT-4o と DeepSeek-Chat を用いて,Defects4J と SWT-Bench の2,857 個のレポート・パッチを解析した。
  論文  参考訳（メタデータ） (2026-07-20T22:32:23Z)
• Constraint-Anchored Reasoning Traces [9.39195684989942]
  MLLM(Autoregressive Multimodal Large Language Model)は、ミススノーボールに悩まされる。 最先端のオープンソースMLLMでは、最初のエラーが発生すると、これらのケースの65%で、残りのステップすべてにわたって推論カスケードが失敗する。 本稿では,MLLMを学習し,言語推論のステップを記号的制約アサーションでインターリーブする,ニューロシンボリック・シンボリック・フレームワークであるConstraint-Anchored Reasoning Traces (CART)を提案する。
  論文  参考訳（メタデータ） (2026-07-18T09:24:45Z)
• What Predicts Correctness in Text-to-SQL? A Selective-Prediction Study [0.0]
  我々はAUROCを用いて、各クエリがいかに正確かを測定する。 BIRDとスパイダーでは、文字列、構造、実行の自己整合性、スキーマ関連スコア、クエリ実行性といったブラックボックス信号はすべて0.61から0.68AUROCに該当する。 検証器をトレーニングできるかどうかを問う。符号化器と生成器の両方で、約0.77～0.79 AUROCの非分布に到達するが、未知のスキーマでは約0.66に低下する。
  論文  参考訳（メタデータ） (2026-07-07T20:52:58Z)
• Dynamic analysis enhances issue resolution [53.50448142467294]
  DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。 テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。 Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
  論文  参考訳（メタデータ） (2026-03-23T14:48:54Z)
• Fundamental Limits of Black-Box Safety Evaluation: Information-Theoretic and Computational Barriers from Latent Context Conditioning [1.9290392443571385]
  AIシステムのブラックボックス安全性評価では、テストディストリビューションのモデル動作がデプロイメントのパフォーマンスを確実に予測していると仮定する。 我々は、この仮定を、潜伏した文脈条件のポリシーによって定式化し、挑戦する。 ブラックボックス評価者が配置リスクを確実に見積もることができないという基本的な制限を確立します。
  論文  参考訳（メタデータ） (2026-02-19T01:03:11Z)
• SpatialBench-UC: Uncertainty-Aware Evaluation of Spatial Prompt Following in Text-to-Image Generation [0.0]
  SpaceBench-UCは、ペアの空間関係を再現可能な小さなベンチマークである。 ベンチマークパッケージ、バージョン付きプロンプト、ピン付き構成、サンプルごとのチェッカー出力、レポートテーブルをリリースします。 安定拡散1.5, SD 1.5 BoxDiff, SD 1.4 GLIGENの3つのベースラインについて検討した。
  論文  参考訳（メタデータ） (2026-01-19T23:37:10Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)
• Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
  生成のための教師なし共形推論フレームワークを提案する。 我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。 その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
  論文  参考訳（メタデータ） (2025-09-26T23:40:47Z)
• TEN: Table Explicitization, Neurosymbolically [13.178005058859583]
  本稿では,テキスト入力からデータを取り出すためのニューロシンボリックアプローチであるTENを提案する。 我々の実験では、TENは複数のデータセットやメトリクスで純粋にニューラルネットワークを著しく上回ります。 21人の被験者による調査では、TENのテーブルの精度がかなり高いことが確認された。
  論文  参考訳（メタデータ） (2025-08-12T20:16:41Z)
• Data Leakage and Redundancy in the LIT-PCBA Benchmark [0.0]
  LIT-PCBAは仮想スクリーニングモデルのベンチマークに広く使われている。 データ漏洩と分子の冗長性は、そのモデルにまたがっている。 LIT-PCBAで公表された結果のほとんどすべてが弱体化されている。
  論文  参考訳（メタデータ） (2025-07-29T00:23:45Z)
• Long-Form Information Alignment Evaluation Beyond Atomic Facts [60.25969380388974]
  明示的な幻覚を導入することなく、真理のステートメントを"モンテージ"することで、偽りの物語を構築するベンチマークであるMontageLieを紹介します。 本稿では,事実の正確性とイベント順序の整合性を共同で検証する新しいフレームワークであるDoveScoreを提案する。
  論文  参考訳（メタデータ） (2025-05-21T17:46:38Z)
• BUMP: A Benchmark of Unfaithful Minimal Pairs for Meta-Evaluation of Faithfulness Metrics [70.52570641514146]
  不誠実な最小対 (BUMP) のベンチマークを示す。 BUMPは、889人の人間が書いた最小限のサマリーペアのデータセットである。 非ペアベースのデータセットとは異なり、BUMPはメトリクスの一貫性を測定するために使用することができる。
  論文  参考訳（メタデータ） (2022-12-20T02:17:30Z)
• TACRED Revisited: A Thorough Evaluation of the TACRED Relation Extraction Task [80.38130122127882]
  TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである パフォーマンスの天井に到達したのか、改善の余地はあるのか? ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
  論文  参考訳（メタデータ） (2020-04-30T15:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。