論文の概要: Can LLMs Reason in the Wild with Programs?

• arxiv url: http://arxiv.org/abs/2406.13764v1
• Date: Wed, 19 Jun 2024 18:26:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-21 18:35:22.117659
• Title: Can LLMs Reason in the Wild with Programs?
• Title（参考訳）: LLMはプログラムで自然界で理にかなっているか?
• Authors: Yuan Yang, Siheng Xiong, Ali Payani, Ehsan Shareghi, Faramarz Fekri,
• Abstract要約: 本研究では, LLM が未知型推論問題の解法を課題とする, 野生における推論の課題を紹介する。 我々は,多種多様な推論問題に対する詳細な解を含む大規模戦術誘導軌道データセットを作成する。 実験では、既存のLLMは曖昧で混在したスコープの問題で著しく失敗する。
• 参考スコア（独自算出の注目度）: 20.47557047823847
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have shown superior capability to solve reasoning problems with programs. While being a promising direction, most of such frameworks are trained and evaluated in settings with a prior knowledge of task requirements. However, as LLMs become more capable, it is necessary to assess their reasoning abilities in more realistic scenarios where many real-world problems are open-ended with ambiguous scope, and often require multiple formalisms to solve. To investigate this, we introduce the task of reasoning in the wild, where an LLM is tasked to solve a reasoning problem of unknown type by identifying the subproblems and their corresponding formalisms, and writing a program to solve each subproblem, guided by a tactic. We create a large tactic-guided trajectory dataset containing detailed solutions to a diverse set of reasoning problems, ranging from well-defined single-form reasoning (e.g., math, logic), to ambiguous and hybrid ones (e.g., commonsense, combined math and logic). This allows us to test various aspects of LLMs reasoning at the fine-grained level such as the selection and execution of tactics, and the tendency to take undesired shortcuts. In experiments, we highlight that existing LLMs fail significantly on problems with ambiguous and mixed scope, revealing critical limitations and overfitting issues (e.g. accuracy on GSM8K drops by at least 50\%). We further show the potential of finetuning a local LLM on the tactic-guided trajectories in achieving better performance. Project repo is available at github.com/gblackout/Reason-in-the-Wild
• Abstract（参考訳）: 大規模言語モデル(LLM)は、プログラムの推論問題を解決する優れた能力を示している。 有望な方向性である一方で、そのようなフレームワークのほとんどは、タスク要求に関する事前の知識のある環境でトレーニングされ、評価されます。 しかし、LLMがより有能になるにつれて、現実の多くの問題があいまいなスコープで開き、しばしば解決するために複数の形式主義を必要とするより現実的なシナリオにおいて、それらの推論能力を評価する必要がある。 そこで本研究では,LLMが未知のタイプの推論問題を解くために,サブプロブレムとその対応する形式を同定し,各サブプロブレムを戦術的に導くプログラムを作成するという,野生における推論の課題を紹介する。 我々は,多種多様な推論問題に対する詳細な解を含む大規模戦術誘導軌道データセットを作成し,よく定義された単一形式推論(例えば,数学,論理)からあいまいでハイブリッドな推論(例えば,コモンセンス,数学と論理の組み合わせ)までを含む。 これにより、戦術の選択や実行、望ましくないショートカットを行う傾向など、微粒なレベルでのLCMの推論の様々な側面をテストすることができる。 実験では、既存のLCMは不明瞭で混合したスコープの問題で著しく失敗し、臨界限界と過度な問題(例えば、GSM8Kの精度は少なくとも50%低下する)を明らかにした。 さらに,戦術誘導軌道上における局所LLMの微調整による性能向上の可能性を示す。 Project repoはgithub.com/gblackout/Reason-in-the-Wildで利用可能

関連論文リスト

• LLM The Genius Paradox: A Linguistic and Math Expert's Struggle with Simple Word-based Counting Problems [28.72485319617863]
  LLMは、人間が扱いやすいようないくつかの基本的なタスク、例えば単語トラウベリーの文字数rを数えるのに苦労する。 我々は,高度な数学的およびコーディング推論能力の伝達可能性について,特殊なLCMから単純なカウントタスクまでの測定を行う。 微調整や文脈内学習といった戦略と比較すると、係り受け推論はLLMのタスクをより知覚するのに役立つ最も堅牢で効率的な方法であることがわかる。
  論文  参考訳（メタデータ） (2024-10-18T04:17:16Z)
• Automatic Curriculum Expert Iteration for Reliable LLM Reasoning [60.60318625779015]
  幻覚(すなわち、可塑性だが不正確な内容を生成する)と怠慢(すなわち過剰な拒絶や「私は知らない」のデフォルト)は、LLM推論における主要な課題として残る。 幻覚を減らそうとする現在の取り組みは、主に知識に基づくタスクにおける事実的誤りに焦点を当てており、しばしば欠陥推論に関連する幻覚を無視している。 本稿では,LLM推論を強化し,モデルの能力に応答する自動カリキュラムエキスパートイテレーション(Auto-CEI)を提案する。
  論文  参考訳（メタデータ） (2024-10-10T05:43:07Z)
• Not All LLM Reasoners Are Created Equal [58.236453890457476]
  小学校数学におけるLLMの解答能力の深さについて検討する。 既存の数式語問題に対して,それらの性能を併用して評価する。
  論文  参考訳（メタデータ） (2024-10-02T17:01:10Z)
• Reasoning with Large Language Models, a Survey [2.831296564800826]
  本稿では,LSMによるプロンプトベース推論の急速に進展する分野について概説する。 我々の分類学は、多段階推論の生成、評価、制御の異なる方法を特定します。 我々は, 自己改善, 自己回帰, 推論過程のいくつかのメタ能力が, プロンプトの司法的利用によって可能であることを発見した。
  論文  参考訳（メタデータ） (2024-07-16T08:49:35Z)
• Flow of Reasoning:Training LLMs for Divergent Problem Solving with Minimal Examples [12.48027669682156]
  推論のフローは、最小限のデータで推論の品質と多様性を改善することを目的としています。 FoR は DAG 構造推論グラフ上のマルコフフローとして多段階 LLM 推論を定式化する。 実験によると、限られたトレーニング例で、FoRは多様な創造的で高品質なソリューションの発見を可能にする。
  論文  参考訳（メタデータ） (2024-06-09T07:06:58Z)
• Reasoning on Efficient Knowledge Paths:Knowledge Graph Guides Large Language Model for Domain Question Answering [18.94220625114711]
  大きな言語モデル(LLM)は驚くほどよく機能し、多くのタスクにおいて人間の専門家より優れています。 本稿では,LLMに基づいてKGから推論経路を選択するパイプラインを統合し,最適化する。 また,思考の連鎖(CoT)とページランクに基づく,シンプルで効果的なサブグラフ検索手法を提案する。
  論文  参考訳（メタデータ） (2024-04-16T08:28:16Z)
• GSM-Plus: A Comprehensive Benchmark for Evaluating the Robustness of LLMs as Mathematical Problem Solvers [68.77382332826167]
  大規模言語モデル (LLM) は、様々な数学的推論ベンチマークで顕著な性能を達成している。 1つの必須かつ頻繁な証拠は、数学の質問がわずかに変更されたとき、LLMは誤って振る舞うことができることである。 このことは, LLMの数学推論能力の頑健性を評価するために, 幅広い質問のバリエーションを試すことによるものである。
  論文  参考訳（メタデータ） (2024-02-29T15:26:14Z)
• Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate [85.3444184685235]
  複数のエージェントが"tit for tat"の状態で議論を表現するマルチエージェント議論(MAD)フレームワークを提案し、審査員が議論プロセスを管理して最終解を得る。 我々のフレームワークは、深い熟考を必要とするタスクに役立ちそうなLSMにおける散発的思考を奨励する。
  論文  参考訳（メタデータ） (2023-05-30T15:25:45Z)
• SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
  本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。 我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。 我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-16T17:55:51Z)
• Search-in-the-Chain: Interactively Enhancing Large Language Models with Search for Knowledge-intensive Tasks [121.74957524305283]
  本稿では、情報検索(IR)とLarge Language Model(LLM)のインタラクションのための、textbfSearch-in-the-Chain(SearChain)という新しいフレームワークを提案する。 実験の結果、SearChainは複雑な知識集約タスクにおける最先端のベースラインを上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-04-28T10:15:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。