論文の概要: From Tables to Quantified Statements: Evaluating LLM Inference Generation through Executable Verification

• arxiv url: http://arxiv.org/abs/2609.23966v1
• Date: Mon, 21 Sep 2026 00:36:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.033707
• Title: From Tables to Quantified Statements: Evaluating LLM Inference Generation through Executable Verification
• Title（参考訳）: テーブルから定量化ステートメントへ:実行可能検証によるLLM推論生成の評価
• Abstract要約: 我々は、すべて、あるもの、ないもの、そして最も多くといった量化された構造を用いて、テーブルから流動的な記述を生成する方法を示す。 我々は LLM 生成した Python チェッカーコードを用いて,実行時に対応する真理条件をテーブルに対して検証する。 その結果,自動チェッカーは人間の判断と密接に一致していることがわかった。
• 参考スコア（独自算出の注目度）: 38.77491380211449
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLMs can generate fluent descriptions from tables, but their outputs may remain logically unsupported by the structured data. We introduce STAT-TO-TEXT, a controlled task in which LLMs generate quantified natural language inferences from statistical tables using quantified constructions such as all, some, no, and most. To evaluate these inferences, we use an LLM generated Python checker code which when executed verifies the corresponding truth conditions against the table. We compare four open-weight LLMs across model families and scales, evaluating faithfulness, logical accuracy, table coverage, and diversity. Our results show that model scale and family matter, with the largest model (GPT-OSS-120B) consistently producing the most faithful inferences without sacrificing greater table coverage and quantifier diversity, as opposed to smaller models. These findings are supported by human annotation, which shows that the automated checker closely aligns with human judgments.
• Abstract（参考訳）: LLMはテーブルから流動的な記述を生成することができるが、その出力は構造化データによって論理的に支持される。 本稿では,LLMが全,一部,非,最多といった量化構造を用いて,統計表から量子化自然言語推論を生成する制御タスクSTAT-TO-TEXTを紹介する。 これらの推論を評価するために LLM 生成した Python チェッカーコードを使用し、実行時にテーブルに対して対応する真理条件を検証する。 モデルファミリとスケールの4つのオープンウェイトLLMを比較し,忠実度,論理的精度,表カバレッジ,多様性を評価した。 以上の結果から,モデルスケールとファミリーマターは,最大モデル (GPT-OSS-120B) で表のカバレッジや量化の多様性を犠牲にすることなく,最も忠実な推論を一貫して生成していることがわかった。 これらの知見は人間のアノテーションによって支持され、自動チェッカーが人間の判断と密接に一致していることを示す。

関連論文リスト

• Idiosyncrasies in Large Language Models [54.26923012617675]
  大規模言語モデル(LLM)における慣用句の公開と研究 LLM生成テキストへの微調整テキスト埋め込みモデルにより,優れた分類精度が得られることがわかった。 我々はLLMを審査員として利用し、各モデルの慣用句の詳細かつオープンな記述を生成する。
  論文  参考訳（メタデータ） (2025-02-17T18:59:02Z)
• Better Think with Tables: Tabular Structures Enhance LLM Comprehension for Data-Analytics Requests [33.471112091886894]
  大規模言語モデル(LLM)は、情報検索やデータ操作に関連するデータ分析要求に悩まされることが多い。 我々は、データ分析要求のために表構造をLCMに注入するThinking with Tablesを紹介した。 テーブルを提供すると平均的なパフォーマンスが40.29パーセント向上し、操作性やトークン効率が向上することを示す。
  論文  参考訳（メタデータ） (2024-12-22T23:31:03Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• $\forall$uto$\exists$val: Autonomous Assessment of LLMs in Formal Synthesis and Interpretation Tasks [21.12437562185667]
  本稿では,形式構文を自然言語に翻訳する際のLLM評価のスケールアップ手法を提案する。 我々は、文脈自由文法(CFG)を用いて、その場で配布外のデータセットを生成する。 我々はまた、このパラダイムの実現可能性と拡張性を示すために、複数のSOTAクローズドおよびオープンソースLCMの評価を行う。
  論文  参考訳（メタデータ） (2024-03-27T08:08:00Z)
• TAP4LLM: Table Provider on Sampling, Augmenting, and Packing Semi-structured Data for Large Language Model Reasoning [55.33939289989238]
  テーブルベースタスクにおいて,大規模言語モデル(LLM)を効果的に活用するための汎用プリプロセッサスイートとして,TAP4LLMを提案する。 1)大きなテーブルをクエリセマンティクスに基づいて管理可能なサブテーブルに分解するテーブルサンプリング、(2)外部ソースやモデルから追加の知識でテーブルを拡張するテーブル拡張、(3)テーブルパッキングとシリアライゼーションによりテーブルをLLMの理解に適したさまざまなフォーマットに変換する。
  論文  参考訳（メタデータ） (2023-12-14T15:37:04Z)
• CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
  本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。 このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:29:54Z)
• Investigating Table-to-Text Generation Capabilities of LLMs in Real-World Information Seeking Scenarios [32.84523661055774]
  タブラルデータは様々な産業で広く使われており、ユーザが情報検索の目的を理解し、操作するのにかなりの時間と労力を要する。 テーブル情報探索における大規模言語モデル (LLM) の現実的応用は, いまだに実証されていない。 本稿では,2つの実世界情報探索シナリオ内の4つのデータセットを用いて,異なるLLMのテーブル・トゥ・テキスト機能について検討する。
  論文  参考訳（メタデータ） (2023-05-24T10:22:30Z)
• Table Meets LLM: Can Large Language Models Understand Structured Table Data? A Benchmark and Empirical Study [44.39031420687302]
  大規模言語モデル(LLM)は、自然言語(NL)に関連する課題を解決するために、数ショットの推論器として魅力的になってきている。 LLMの構造的理解能力を評価するためのベンチマークを設計して,これを理解しようと試みる。 重要な値や範囲識別など,効率的な構造的プロンプトのための$textitself-augmentation$を提案する。
  論文  参考訳（メタデータ） (2023-05-22T14:23:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。