論文の概要: FABLE: A Novel Data-Flow Analysis Benchmark on Procedural Text for Large Language Model Evaluation

• arxiv url: http://arxiv.org/abs/2505.24258v1
• Date: Fri, 30 May 2025 06:32:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.804528
• Title: FABLE: A Novel Data-Flow Analysis Benchmark on Procedural Text for Large Language Model Evaluation
• Title（参考訳）: FABLE:大規模言語モデル評価のための手続き型テキストの新しいデータフロー解析ベンチマーク
• Authors: Vishal Pallagani, Nitin Gupta, John Aydin, Biplav Srivastava,
• Abstract要約: FABLEは、構造化された手続き型テキストを用いて、大規模言語モデルのデータフロー理解を評価するために設計されたベンチマークである。 推論中心モデル(DeepSeek-R1 8B)、汎用モデル(LLaMA 3.1 8B)、コード固有モデル(Granite Code 8B)の3種類を評価した。 その結果,推理モデルでは精度が向上するが,他のモデルに比べて20倍以上の推論が遅くなることがわかった。
• 参考スコア（独自算出の注目度）: 5.866040886735852
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding how data moves, transforms, and persists, known as data flow, is fundamental to reasoning in procedural tasks. Despite their fluency in natural and programming languages, large language models (LLMs), although increasingly being applied to decisions with procedural tasks, have not been systematically evaluated for their ability to perform data-flow reasoning. We introduce FABLE, an extensible benchmark designed to assess LLMs' understanding of data flow using structured, procedural text. FABLE adapts eight classical data-flow analyses from software engineering: reaching definitions, very busy expressions, available expressions, live variable analysis, interval analysis, type-state analysis, taint analysis, and concurrency analysis. These analyses are instantiated across three real-world domains: cooking recipes, travel routes, and automated plans. The benchmark includes 2,400 question-answer pairs, with 100 examples for each domain-analysis combination. We evaluate three types of LLMs: a reasoning-focused model (DeepSeek-R1 8B), a general-purpose model (LLaMA 3.1 8B), and a code-specific model (Granite Code 8B). Each model is tested using majority voting over five sampled completions per prompt. Results show that the reasoning model achieves higher accuracy, but at the cost of over 20 times slower inference compared to the other models. In contrast, the general-purpose and code-specific models perform close to random chance. FABLE provides the first diagnostic benchmark to systematically evaluate data-flow reasoning and offers insights for developing models with stronger procedural understanding.
• Abstract（参考訳）: データフローとして知られる、データの移動、変換、永続化の仕方を理解することは、手続き的なタスクにおける推論に不可欠である。 自然言語やプログラミング言語に習熟しているにもかかわらず、大規模言語モデル(LLM)は手続き的タスクによる決定にますます適用されているが、データフロー推論を行う能力について体系的に評価されていない。 我々は、構造化された手続き型テキストを用いて、LCMによるデータフローの理解を評価するために設計された拡張可能なベンチマークであるFABLEを紹介する。 FABLEは、ソフトウェアエンジニアリングの8つの古典的なデータフロー分析に適応している。定義の到達、非常に忙しい表現、利用可能な式、ライブ変数分析、インターバル分析、型状態分析、テイント分析、並行解析である。 これらの分析は、料理レシピ、旅行ルート、自動計画という3つの現実世界の領域でインスタンス化されている。 ベンチマークには2,400の質問と回答のペアが含まれており、各ドメインと分析の組み合わせで100のサンプルが提供されている。 推論中心モデル(DeepSeek-R1 8B)、汎用モデル(LLaMA 3.1 8B)、コード固有モデル(Granite Code 8B)の3種類を評価した。 各モデルは、プロンプト毎に5つ以上のサンプル完了を多数投票でテストする。 その結果,推理モデルでは精度が向上するが,他のモデルに比べて20倍以上の推論が遅くなることがわかった。 対照的に、汎用モデルとコード固有モデルはランダムな確率で実行されます。 FABLEは、データフロー推論を体系的に評価する最初の診断ベンチマークを提供し、より強力な手続き的理解を持つモデルを開発するための洞察を提供する。

関連論文リスト

• Flowco: Rethinking Data Analysis in the Age of LLMs [2.1874189959020427]
  大規模言語モデル(LLM)は、単純なルーチン解析のためにそのようなコードを生成することができるようになった。 LLMは、限られたプログラミングの専門知識を持つ者がデータ分析を行うことで、データサイエンスの民主化を約束する。 多くの実世界のアナリストは、特定の分析手順をきめ細かな制御をしなければならない。 本稿では,これらの課題に対処する新たな混合開始システムであるFlowcoを紹介する。
  論文  参考訳（メタデータ） (2025-04-18T19:01:27Z)
• AutoLogi: Automated Generation of Logic Puzzles for Evaluating Reasoning Abilities of Large Language Models [86.83875864328984]
  本稿では,オープンエンド論理パズルを自動合成する手法を提案し,それをバイリンガルベンチマークであるAutoLogiの開発に利用する。 提案手法は,プログラムベースの検証と制御可能な難易度を特徴とし,モデルの推論能力をよりよく区別する信頼性の高い評価を可能にする。
  論文  参考訳（メタデータ） (2025-02-24T07:02:31Z)
• Self-supervised Analogical Learning using Language Models [59.64260218737556]
  自己教師型アナログ学習フレームワークであるSALを提案する。 SALは人間の類推過程を模倣し、高品質な記号解を明示的に伝達するようモデルを訓練する。 得られたモデルは、幅広い推論ベンチマークでベース言語モデルより優れていることを示す。
  論文  参考訳（メタデータ） (2025-02-03T02:31:26Z)
• CoddLLM: Empowering Large Language Models for Data Analytics [38.23203246023766]
  大規模言語モデル(LLM)は、データ分析に革命をもたらす可能性がある。 我々は、Turbo後合成のための新しいデータレシピを公開した。 我々はMistralNeMo-12Bに基づく新しい基礎モデルであるCoddLLMをポストトレーニングする。
  論文  参考訳（メタデータ） (2025-02-01T06:03:55Z)
• DiscoveryBench: Towards Data-Driven Discovery with Large Language Models [50.36636396660163]
  我々は、データ駆動探索の多段階プロセスを形式化する最初の包括的なベンチマークであるDiscoveryBenchを紹介する。 我々のベンチマークには、社会学や工学などの6つの分野にまたがる264のタスクが含まれている。 私たちのベンチマークでは、自律的なデータ駆動型発見の課題を説明し、コミュニティが前進するための貴重なリソースとして役立ちます。
  論文  参考訳（メタデータ） (2024-07-01T18:58:22Z)
• UQE: A Query Engine for Unstructured Databases [71.49289088592842]
  構造化されていないデータ分析を可能にするために,大規模言語モデルの可能性を検討する。 本稿では,非構造化データ収集からの洞察を直接問合せ,抽出するUniversal Query Engine (UQE)を提案する。
  論文  参考訳（メタデータ） (2024-06-23T06:58:55Z)
• LLMDFA: Analyzing Dataflow in Code with Large Language Models [8.92611389987991]
  本稿では,コンパイル不要でカスタマイズ可能なデータフロー解析フレームワークLLMDFAを提案する。 問題をいくつかのサブタスクに分解し、一連の新しい戦略を導入する。 LLMDFAは平均87.10%の精度と80.77%のリコールを達成し、F1スコアを最大0.35に向上させた。
  論文  参考訳（メタデータ） (2024-02-16T15:21:35Z)
• Text2Analysis: A Benchmark of Table Question Answering with Advanced Data Analysis and Unclear Queries [67.0083902913112]
  高度な解析タスクを取り入れたText2Analysisベンチマークを開発した。 また,5つのイノベーティブかつ効果的なアノテーション手法を開発した。 3つの異なる指標を用いて5つの最先端モデルを評価する。
  論文  参考訳（メタデータ） (2023-12-21T08:50:41Z)
• Assessing and Enhancing the Robustness of Large Language Models with Task Structure Variations for Logical Reasoning [25.496627355906966]
  我々は「ReClor-plus」、「LogiQA-plus」、「LogiQAv2-plus」という3つの新しい論理推論データセットを開発した。 実験により、これらの単純な拡張がモデルの性能を著しく損なうことが示されている。 微調整とプロンプトのためのロジック駆動型データ拡張の適用は、識別モデルと生成モデルの両方における一般化を促進することができる。
  論文  参考訳（メタデータ） (2023-10-13T22:29:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。