論文の概要: Code Simulation as a Proxy for High-order Tasks in Large Language Models

• arxiv url: http://arxiv.org/abs/2502.03568v1
• Date: Wed, 05 Feb 2025 19:30:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-07 14:33:50.227772
• Title: Code Simulation as a Proxy for High-order Tasks in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける高次タスクのプロキシとしてのコードシミュレーション
• Authors: Emanuele La Malfa, Christoph Weinhuber, Orazio Torre, Fangru Lin, X. Angelo Huang, Samuele Marro, Anthony Cohn, Nigel Shadbolt, Michael Wooldridge,
• Abstract要約: 我々は、Large Language Models (LLM) の能力を評価するために、自然主義的および合成的推論タスクのペアを収集する。 我々は、プログラミングにおける共通構造を、自然主義的推論タスクの構成要素の1つとして活用する。 我々の貢献は、手作りの人間注記問題に対するスケーラブルな補完として、LLMの推論能力を総合的にテストすることの上に成り立っている。
• 参考スコア（独自算出の注目度）: 6.71786454125056
• License:
• Abstract: Many reasoning, planning, and problem-solving tasks share an intrinsic algorithmic nature: correctly simulating each step is a sufficient condition to solve them correctly. We collect pairs of naturalistic and synthetic reasoning tasks to assess the capabilities of Large Language Models (LLM). While naturalistic tasks often require careful human handcrafting, we show that synthetic data is, in many cases, a good proxy that is much easier to collect at scale. We leverage common constructs in programming as the counterpart of the building blocks of naturalistic reasoning tasks, such as straight-line programs, code that contains critical paths, and approximate and redundant instructions. We further assess the capabilities of LLMs on sorting problems and repeated operations via sorting algorithms and nested loops. Our synthetic datasets further reveal that while the most powerful LLMs exhibit relatively strong execution capabilities, the process is fragile: it is negatively affected by memorisation and seems to rely heavily on pattern recognition. Our contribution builds upon synthetically testing the reasoning capabilities of LLMs as a scalable complement to handcrafted human-annotated problems.
• Abstract（参考訳）: 多くの推論、計画、問題解決タスクは本質的なアルゴリズムの性質を共有している。 我々は、Large Language Models (LLM) の機能を評価するために、自然主義的および合成的推論タスクのペアを収集する。 自然主義的なタスクは人間の手作りに注意を要することが多いが、合成データは多くの場合、大規模な収集が容易な優れたプロキシであることを示している。 我々はプログラミングにおける共通構造を、直線的プログラムやクリティカルパスを含むコード、近似的かつ冗長な命令など、自然主義的推論タスクの構成要素として活用する。 さらに,ソートアルゴリズムやネストループを用いて,問題のソートや繰り返し操作におけるLLMの機能を評価する。 我々の合成データセットは、最も強力なLCMは比較的強力な実行能力を示すが、そのプロセスは脆弱であり、暗記によって負の影響を受け、パターン認識に大きく依存しているように見える。 我々の貢献は、手作りの人間注記問題に対するスケーラブルな補完として、LLMの推論能力を総合的にテストすることの上に成り立っている。

関連論文リスト

• Executing Arithmetic: Fine-Tuning Large Language Models as Turing Machines [7.695524275630717]
  大規模言語モデル(LLM)は、広範囲の自然言語処理と推論タスクで顕著な機能を示している。 チューリングマシンをエミュレートすることで,LCMがステップバイステップの計算を実行することを学べる構成可能な算術演算フレームワーク(CAEF)を提案する。 評価では, LLaMA 3.1-8B モデル上での7つの一般的な数学的操作に対して, CAEF は100%近い精度を達成している。
  論文  参考訳（メタデータ） (2024-10-10T13:23:49Z)
• Unlocking Reasoning Potential in Large Langauge Models by Scaling Code-form Planning [94.76546523689113]
  CodePlanは、テキストコード形式の計画を生成し、追跡するフレームワークで、高いレベルの構造化された推論プロセスの概要を擬似コードで示します。 CodePlanは、洗練された推論タスク固有のリッチなセマンティクスと制御フローを効果的にキャプチャする。 反応を直接生成するのに比べて25.1%の相対的な改善が達成されている。
  論文  参考訳（メタデータ） (2024-09-19T04:13:58Z)
• CLR-Fact: Evaluating the Complex Logical Reasoning Capability of Large Language Models over Factual Knowledge [44.59258397967782]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにまたがる印象的な機能を示している。 本稿では,LLMの複雑な論理的推論能力の体系的評価について述べる。 LLMは一般世界の知識の推論に優れるが、専門分野固有の知識では重大な課題に直面している。
  論文  参考訳（メタデータ） (2024-07-30T05:40:32Z)
• Do Large Language Models Have Compositional Ability? An Investigation into Limitations and Scalability [12.349247962800813]
  大規模言語モデル(LLM)は多くのAI問題に対する強力なツールとして登場した。 また、ICL(In-context Learning)機能も備えている。 複合的なタスクにどのようにアプローチするかは、未解明の未解決の問題のままである。
  論文  参考訳（メタデータ） (2024-07-22T15:22:34Z)
• Case2Code: Learning Inductive Reasoning with Synthetic Data [105.89741089673575]
  プログラムの表現性と正確性を利用したtextbfCase2Code タスクを提案する。 まず、合成したCase2Codeタスクにおける代表LLMを評価し、LLMにおいてケース・ツー・コード誘導が困難であることを実証する。 実験結果から,このような帰納的学習は,Case2Codeの性能だけでなく,学習用LLMの各種符号化能力の向上にも寄与することがわかった。
  論文  参考訳（メタデータ） (2024-07-17T11:35:00Z)
• Code Simulation Challenges for Large Language Models [6.970495767499435]
  この研究は、LLM(Large Language Models)がいかにコーディングやアルゴリズムのタスクをシミュレートできるかを研究する。 我々は、直線プログラムのベンチマーク、クリティカルパスを含むコード、近似命令および冗長命令を導入する。 本稿では,コンパイラのパターンを行/フォローすることで,LLMにコード実行行をシミュレートするように指示する,OFFプロンプト手法であるChain of Simulation(CoSm)を提案する。
  論文  参考訳（メタデータ） (2024-01-17T09:23:59Z)
• MuSR: Testing the Limits of Chain-of-thought with Multistep Soft Reasoning [63.80739044622555]
  自然言語ナラティブで指定されたソフト推論タスクの言語モデルを評価するデータセットである MuSR を紹介する。 このデータセットには2つの重要な特徴がある。まず、ニューロシンボリック合成-自然生成アルゴリズムによって生成される。 第二に、私たちのデータセットインスタンスは、実世界の推論の領域に対応する無料のテキスト物語です。
  論文  参考訳（メタデータ） (2023-10-24T17:59:20Z)
• Can Large Language Models Understand Real-World Complex Instructions? [54.86632921036983]
  大型言語モデル(LLM)は人間の指示を理解することができるが、複雑な命令には耐えられない。 既存のベンチマークでは、LLMが複雑な命令を理解する能力を評価するには不十分である。 複雑な命令を体系的に追従するLSMの能力を評価するためのベンチマークであるCellOを提案する。
  論文  参考訳（メタデータ） (2023-09-17T04:18:39Z)
• When Do Program-of-Thoughts Work for Reasoning? [51.2699797837818]
  本稿では,コードと推論能力の相関性を測定するために,複雑性に富んだ推論スコア(CIRS)を提案する。 具体的には、抽象構文木を用いて構造情報をエンコードし、論理的複雑性を計算する。 コードはhttps://github.com/zjunlp/EasyInstructのEasyInstructフレームワークに統合される。
  論文  参考訳（メタデータ） (2023-08-29T17:22:39Z)
• SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
  本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。 我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。 我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-16T17:55:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。