論文の概要: FCoReBench: Can Large Language Models Solve Challenging First-Order Combinatorial Reasoning Problems?

• arxiv url: http://arxiv.org/abs/2402.02611v3
• Date: Sat, 01 Mar 2025 12:46:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-04 16:13:06.800625
• Title: FCoReBench: Can Large Language Models Solve Challenging First-Order Combinatorial Reasoning Problems?
• Title（参考訳）: FCoReBench: 大規模言語モデルは、第一級のコンビネーション推論問題を解決することができるか?
• Authors: Chinmay Mittal, Krishna Kartik, Mausam, Parag Singla,
• Abstract要約: 一階推論問題は、様々なサイズの無限個の問題インスタンスでインスタンス化することができる。 課題40のデータセットであるFCoReBenchと,さまざまなサイズの問題インスタンスを生成し,そのソリューションを自動検証して生成するスクリプトを提案する。 本稿では,LLMとシンボルソルバとプログラムインタプリタを組み合わせたSymPro-LMを提案する。
• 参考スコア（独自算出の注目度）: 25.352721856952655
• License:
• Abstract: Can the large language models (LLMs) solve challenging first-order combinatorial reasoning problems such as graph coloring, knapsack, and cryptarithmetic? By first-order, we mean these problems can be instantiated with potentially an infinite number of problem instances of varying sizes. They are also challenging being NP-hard and requiring several reasoning steps to reach a solution. While existing work has focused on coming up with datasets with hard benchmarks, there is limited work which exploits the first-order nature of the problem structure. To address this challenge, we present FCoReBench, a dataset of 40 such challenging problems, along with scripts to generate problem instances of varying sizes and automatically verify and generate their solutions. We first observe that LLMs, even when aided by symbolic solvers, perform rather poorly on our dataset, being unable to leverage the underlying structure of these problems. We specifically observe a drop in performance with increasing problem size. In response, we propose a new approach, SymPro-LM, which combines LLMs with both symbolic solvers and program interpreters, along with feedback from a few solved examples, to achieve huge performance gains. Our proposed approach is robust to changes in the problem size, and has the unique characteristic of not requiring any LLM call during inference time, unlike earlier approaches. As an additional experiment, we also demonstrate SymPro-LM's effectiveness on other logical reasoning benchmarks.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、グラフ彩色、knapsack、暗号計算といった一階組合せ推論の問題を解決することができるか? 一階述語では、これらの問題を様々なサイズの無限個の問題インスタンスでインスタンス化することができる。 また、NPハードであることは困難であり、ソリューションに到達するにはいくつかの推論ステップが必要である。 既存の作業は、ハードベンチマークによるデータセットの立ち上げに重点を置いているが、問題構造の一階の性質を利用する作業は限られている。 この課題に対処するために、FCoReBenchという40の課題のデータセットと、さまざまなサイズの問題インスタンスを生成し、そのソリューションを自動検証して生成するスクリプトを紹介します。 まず, シンボリック・ソルバの助けを借りても, LLMはデータセット上ではかなり性能が悪く, これらの問題の基盤となる構造を活用できないことが観察された。 問題の大きさの増大に伴うパフォーマンス低下を特に観察する。 そこで本研究では,LLMとシンボリック・ソルバとプログラム・インタプリタを組み合わせたSymPro-LMを提案する。 提案手法は問題サイズの変化に対して頑健であり, 従来の手法とは異なり, LLM呼び出しを必要としないという特徴がある。 また,SymPro-LMが他の論理的推論ベンチマークで有効であることを示す。

関連論文リスト

• Not All LLM Reasoners Are Created Equal [58.236453890457476]
  小学校数学におけるLLMの解答能力の深さについて検討する。 既存の数式語問題に対して,それらの性能を併用して評価する。
  論文  参考訳（メタデータ） (2024-10-02T17:01:10Z)
• Graph Reasoning with Large Language Models via Pseudo-code Prompting [25.469214467011362]
  本稿では,グラフ問題の解法において,擬似コード命令によるプロンプトが大規模言語モデル(LLM)の性能を向上させるか否かを検討する。 実験により, 疑似符号命令を用いることで, 一般にLLMの性能が向上することが示された。
  論文  参考訳（メタデータ） (2024-09-26T14:52:40Z)
• Step-by-Step Reasoning to Solve Grid Puzzles: Where do LLMs Falter? [36.14795256060537]
  複雑度が異なる274のグリッドベースパズルからなる評価データセットであるGridPuzzleを開発した。 第2に, GPT-4, Claude-3, Gemini, Mistral, Llama-2 など LLM の推論鎖を手動で解析した新しい誤り分類法を提案する。 第3に、大規模主観的評価のためのLLMベースのフレームワーク(すなわち、誤りを特定する)と客観的な指標であるPuzzleEvalを開発し、推論連鎖の正しさを評価する。
  論文  参考訳（メタデータ） (2024-07-20T07:43:07Z)
• Solving Zebra Puzzles Using Constraint-Guided Multi-Agent Systems [25.0042181817455]
  本稿では,大言語モデルとオフ・ザ・シェルフ定理証明器を統合したマルチエージェントシステムZPSを紹介する。 このシステムは、問題をより小さく管理可能な部分に分割することで、複雑なパズル解決作業に取り組む。 また,問題解の正当性を評価するための自動グリッドパズルグレーダを導入し,ユーザスタディで評価することで,自動グレーダが信頼性が高いことを示す。
  論文  参考訳（メタデータ） (2024-07-04T14:22:25Z)
• Navigating the Labyrinth: Evaluating and Enhancing LLMs' Ability to Reason About Search Problems [59.72548591120689]
  我々は,11種類の検索問題を含む新しいベンチマークであるSearchBenchを紹介する。 もっとも先進的なLCMでさえ、これらの問題をエンドツーエンドのテキストで解決することができないことを示す。 LLMにその問題を解決するコードを生成するように指示することは助けになるが、GPT4のパフォーマンスは11.7%向上した。
  論文  参考訳（メタデータ） (2024-06-18T00:44:58Z)
• Do Language Models Exhibit the Same Cognitive Biases in Problem Solving as Human Learners? [140.9751389452011]
  本研究では,大言語モデル(LLM)の偏りを,算術語問題を解く際に,子どもに知られているものと関連づけて検討する。 我々は,これらの各テストに対して,問題特徴のきめ細かい制御を可能にするニューロシンボリックアプローチを用いて,新しい単語問題を生成する。
  論文  参考訳（メタデータ） (2024-01-31T18:48:20Z)
• Thought Propagation: An Analogical Approach to Complex Reasoning with Large Language Models [62.96551299003463]
  大規模言語モデルの複雑な推論能力を高めるために,textbftextitThought Propagation (TP)を提案する。 TP はまず LLM に対して,入力問題に関連する類似問題の集合を提案し,解決するよう促す。 TPは、類似問題の結果を再利用して、新しいソリューションを直接生成したり、スクラッチから得られた初期ソリューションを修正するための知識集約的な実行プランを導出する。
  論文  参考訳（メタデータ） (2023-10-06T01:40:09Z)
• Fill in the Blank: Exploring and Enhancing LLM Capabilities for Backward Reasoning in Math Word Problems [17.80128896525717]
  後向きの推論は 比較的未調査です 後方推論は 前方推論の「逆」と見なすことができます 性能改善のための3つの異なる前方推論戦略のバリエーションを提案する。
  論文  参考訳（メタデータ） (2023-10-03T12:03:06Z)
• Faith and Fate: Limits of Transformers on Compositionality [109.79516190693415]
  3つの代表的構成課題にまたがる変圧器大言語モデルの限界について検討する。 これらのタスクは、問題をサブステップに分割し、これらのステップを正確な答えに合成する必要があります。 実験結果から,多段階合成推論を線形化部分グラフマッチングに還元することにより,トランスフォーマーLLMが構成課題を解くことが示唆された。
  論文  参考訳（メタデータ） (2023-05-29T23:24:14Z)
• PAL: Program-aided Language Models [112.94785609781503]
  自然言語問題を理解するために,プログラム支援言語モデル(PaL)を提案する。 PaLはソリューションステップをPythonインタプリタのようなプログラムランタイムにオフロードする。 私たちは12のベンチマークで新しい最先端の結果を設定しました。
  論文  参考訳（メタデータ） (2022-11-18T18:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。