Fugu-MT 論文翻訳(概要): Code Simulation Challenges for Large Language Models

論文の概要: Code Simulation Challenges for Large Language Models

arxiv url: http://arxiv.org/abs/2401.09074v4
Date: Wed, 12 Jun 2024 08:55:13 GMT
ステータス: 処理完了
システム内更新日: 2024-06-13 23:03:49.497424
Title: Code Simulation Challenges for Large Language Models
Title（参考訳）: 大規模言語モデルのためのコードシミュレーションの課題
Authors: Emanuele La Malfa, Christoph Weinhuber, Orazio Torre, Fangru Lin, Samuele Marro, Anthony Cohn, Nigel Shadbolt, Michael Wooldridge,
Abstract要約: この研究は、LLM(Large Language Models)がいかにコーディングやアルゴリズムのタスクをシミュレートできるかを研究する。我々は、直線プログラムのベンチマーク、クリティカルパスを含むコード、近似命令および冗長命令を導入する。本稿では,コンパイラのパターンを行/フォローすることで,LLMにコード実行行をシミュレートするように指示する,OFFプロンプト手法であるChain of Simulation(CoSm)を提案する。
参考スコア（独自算出の注目度）: 6.970495767499435
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Many reasoning, planning, and problem-solving tasks share an intrinsic algorithmic nature: correctly simulating each step is a sufficient condition to solve them correctly. This work studies to what extent Large Language Models (LLMs) can simulate coding and algorithmic tasks to provide insights into general capabilities in such algorithmic reasoning tasks. We introduce benchmarks for straight-line programs, code that contains critical paths, and approximate and redundant instructions. We further assess the simulation capabilities of LLMs with sorting algorithms and nested loops and show that a routine's computational complexity directly affects an LLM's ability to simulate its execution. While the most powerful LLMs exhibit relatively strong simulation capabilities, the process is fragile, seems to rely heavily on pattern recognition, and is affected by memorisation. We propose a novel off-the-shelf prompting method, Chain of Simulation (CoSm), which instructs LLMs to simulate code execution line by line/follow the computation pattern of compilers. CoSm efficiently helps LLMs reduce memorisation and shallow pattern recognition while improving simulation performance. We consider the success of CoSm in code simulation to be inspirational for other general routine simulation reasoning tasks.
Abstract（参考訳）: 多くの推論、計画、問題解決タスクは本質的なアルゴリズムの性質を共有している。この研究は、Large Language Models (LLM) がいかにコーディングとアルゴリズムタスクをシミュレートし、そのようなアルゴリズム推論タスクにおける一般的な機能についての洞察を提供するかを研究する。我々は、直線プログラムのベンチマーク、クリティカルパスを含むコード、近似命令および冗長命令を導入する。さらに,アルゴリズムのソートとネストループによるLLMのシミュレーション能力を評価し,ルーチンの計算複雑性がLLMの実行をシミュレートする能力に直接影響を与えることを示す。最も強力なLCMは比較的強力なシミュレーション能力を示すが、このプロセスは脆弱であり、パターン認識に大きく依存しており、記憶の影響を受けている。本稿では,コンパイラの計算パターンを行/追従することによって,LLMにコード実行行をシミュレートするように指示する,既成の計算処理手法であるChain of Simulation(CoSm)を提案する。 CoSmは、シミュレーション性能を改善しながら、LLMの記憶と浅いパターン認識を効率的に行う。コードシミュレーションにおけるCoSmの成功は、他の一般的なシミュレーション推論タスクにインスピレーションを与えるものだと考えている。

関連論文リスト

Code Simulation as a Proxy for High-order Tasks in Large Language Models [6.71786454125056]
我々は、Large Language Models (LLM) の能力を評価するために、自然主義的および合成的推論タスクのペアを収集する。我々は、プログラミングにおける共通構造を、自然主義的推論タスクの構成要素の1つとして活用する。我々の貢献は、手作りの人間注記問題に対するスケーラブルな補完として、LLMの推論能力を総合的にテストすることの上に成り立っている。
論文参考訳（メタデータ） (2025-02-05T19:30:28Z)
Simulation Streams: A Programming Paradigm for Controlling Large Language Models and Building Complex Systems with Generative AI [3.3126968968429407]
Simulation Streamsは、LLM(Large Language Models)を効率的に制御し活用するために設計されたプログラミングパラダイムである。私たちの一番の目標は、一貫性を維持するための制限に対処しながら、LLMのエージェント能力を活用するフレームワークを作ることです。
論文参考訳（メタデータ） (2025-01-30T16:38:03Z)
Pseudocode-Injection Magic: Enabling LLMs to Tackle Graph Computational Tasks [15.69049038121735]
グラフ計算タスクは本質的に困難であり、しばしば効率的な解に対する高度なアルゴリズムを要求する。既存のアプローチは、複雑なグラフ構造を理解するための大きな言語モデルの制限された能力によって制約される。問題理解,迅速な設計,コード生成という3つの重要なステップから構成される新しいフレームワークであるPIEを紹介する。
論文参考訳（メタデータ） (2025-01-23T15:04:22Z)
Interactive and Expressive Code-Augmented Planning with Large Language Models [62.799579304821826]
大きな言語モデル(LLM)は、常識的推論と対話的な意思決定において強力な能力を示す。近年,制御フローなどのコード・アジャセント技術を用いてLCM出力を構造化し,計画性能を向上させる技術が提案されている。完全コード表現で動的なLEM計画手法であるREPL-Planを提案する。
論文参考訳（メタデータ） (2024-11-21T04:23:17Z)
LLMServingSim: A HW/SW Co-Simulation Infrastructure for LLM Inference Serving at Scale [17.00936774784349]
大規模言語モデル(LLM)サービスシステムにおいて、汎用的なハードウェア・ソフトウェア動作を正確にモデル化できるシミュレーション基盤が欠如している。本稿では,LLMServingSimと呼ばれる効率的なシミュレーションツールを開発し,LCMサービスシステムにおける今後の研究を支援することを目的とする。
論文参考訳（メタデータ） (2024-08-10T09:26:15Z)
On the Design and Analysis of LLM-Based Algorithms [74.7126776018275]
大規模言語モデル(LLM)はアルゴリズムのサブルーチンとして使用される。 LLMは素晴らしい経験的成功を収めた。提案フレームワークは,LLMアルゴリズムの進歩を約束する。
論文参考訳（メタデータ） (2024-07-20T07:39:07Z)
Case2Code: Scalable Synthetic Data for Code Generation [105.89741089673575]
大規模言語モデル(LLM)は、コード生成において顕著なブレークスルーを示している。最近の研究は、いくつかの強力なLLMによって生成された合成データをトレーニングすることで、コードLLMを改善している。プログラムの表現性と正確性を利用したtextbfCase2Code タスクを提案する。
論文参考訳（メタデータ） (2024-07-17T11:35:00Z)
Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
論文参考訳（メタデータ） (2024-06-20T13:08:09Z)
Can Language Models Pretend Solvers? Logic Code Simulation with LLMs [3.802945676202634]
トランスフォーマーベースの大規模言語モデル(LLM)は、論理問題に対処する上で大きな可能性を示している。この研究は、論理コードシミュレーションという新しい側面に発展し、論理プログラムの結果を予測するために論理解法をエミュレートするよう LLM に強制する。
論文参考訳（メタデータ） (2024-03-24T11:27:16Z)
When Do Program-of-Thoughts Work for Reasoning? [51.2699797837818]
本稿では,コードと推論能力の相関性を測定するために,複雑性に富んだ推論スコア(CIRS)を提案する。具体的には、抽象構文木を用いて構造情報をエンコードし、論理的複雑性を計算する。コードはhttps://github.com/zjunlp/EasyInstructのEasyInstructフレームワークに統合される。
論文参考訳（メタデータ） (2023-08-29T17:22:39Z)
SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
論文参考訳（メタデータ） (2023-05-16T17:55:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。