論文の概要: On the Design and Analysis of LLM-Based Algorithms

• arxiv url: http://arxiv.org/abs/2407.14788v1
• Date: Sat, 20 Jul 2024 07:39:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-23 20:54:16.015051
• Title: On the Design and Analysis of LLM-Based Algorithms
• Title（参考訳）: LLMアルゴリズムの設計と解析について
• Authors: Yanxi Chen, Yaliang Li, Bolin Ding, Jingren Zhou,
• Abstract要約: 大規模言語モデル(LLM)はアルゴリズムのサブルーチンとして使用される。 LLMは素晴らしい経験的成功を収めた。 我々のフレームワークはLLMベースのアルゴリズムの進歩を約束している。 LLMアルゴリズムのさらなる研究を促進するため、ソースコードはhttps://github.com/modelscope/agentscope/tree/main/examples/paper_llm_based_algorithmで公開しています。
• 参考スコア（独自算出の注目度）: 74.7126776018275
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We initiate a formal investigation into the design and analysis of LLM-based algorithms, i.e. algorithms that contain one or multiple calls of large language models (LLMs) as sub-routines and critically rely on the capabilities of LLMs. While LLM-based algorithms, ranging from basic LLM calls with prompt engineering to complicated LLM-powered agent systems and compound AI systems, have achieved remarkable empirical success, the design and optimization of them have mostly relied on heuristics and trial-and-errors, which is largely due to a lack of formal and analytical study for these algorithms. To fill this gap, we start by identifying the computational-graph representation of LLM-based algorithms, the design principle of task decomposition, and some key abstractions, which then facilitate our formal analysis for the accuracy and efficiency of LLM-based algorithms, despite the black-box nature of LLMs. We further consider parallel decomposition for a case study, providing extensive analytical and empirical study for four concrete examples of this pattern. Our proposed framework holds promise for advancing LLM-based algorithms, by revealing the reasons behind curious empirical phenomena, guiding the choices of hyperparameters, predicting the empirical performance of algorithms, and inspiring new algorithm design. To promote further study of LLM-based algorithms, we release our source code at https://github.com/modelscope/agentscope/tree/main/examples/paper_llm_based_algorithm.
• Abstract（参考訳）: 我々はLLMに基づくアルゴリズムの設計と解析、すなわち1つまたは複数の大言語モデル(LLM)をサブルーチンとして含むアルゴリズムの設計と解析を正式に開始し、LLMの能力に批判的に依存する。 LLMベースのアルゴリズムは、簡単なLLM呼び出しから複雑なLLM駆動エージェントシステムや複合AIシステムまで、驚くほど成功したが、それらの設計と最適化はヒューリスティックやトライアル・アンド・エラーに大きく依存している。 このギャップを埋めるために、LLMのブラックボックスの性質にもかかわらず、LLMベースのアルゴリズムの計算グラフ表現、タスク分解の設計原理、およびLLMベースのアルゴリズムの精度と効率のフォーマルな解析を容易にする重要な抽象化の特定から始める。 さらに,ケーススタディにおける並列分解について考察し,このパターンの4つの具体例について解析的および実証的研究を行った。 提案フレームワークは,興味深い経験的現象の背景にある理由を明らかにし,ハイパーパラメータの選択を導き,アルゴリズムの経験的性能を予測し,新しいアルゴリズム設計を創出することによって,LLMベースのアルゴリズムを進化させる可能性を秘めている。 LLMアルゴリズムのさらなる研究を促進するため、ソースコードはhttps://github.com/modelscope/agentscope/tree/main/examples/paper_llm_based_algorithmで公開しています。

関連論文リスト

• Algorithmic Language Models with Neurally Compiled Libraries [16.284360949127723]
  大規模言語モデルには真のアルゴリズム能力がない。 本稿では,基本的な操作と高度な微分可能プログラムのライブラリによるLLMの拡張を提案する。 微分可能なコンピュータを用いたLLaMA3の拡張可能性について検討する。
  論文  参考訳（メタデータ） (2024-07-06T00:27:05Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• Thought of Search: Planning with Language Models Through The Lens of Efficiency [22.47015814897628]
  我々は近年の傾向が非効率性のために健全性と完全性の両方を放棄していると論じる。 本研究では,LLMを用いて検索コンポーネントのコードを生成することにより,全データセットを100%精度で解けることを示す。
  論文  参考訳（メタデータ） (2024-04-18T01:27:29Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)
• Executing Natural Language-Described Algorithms with Large Language Models: An Investigation [48.461999568129166]
  自然言語で概説したアルゴリズムを理解・実行するための,今日の大規模言語モデルの能力について検討する。 我々は、30個のアルゴリズムを選択し、300個のランダムサンプリングされたインスタンスを生成し、人気のあるLCMがこれらのアルゴリズムを理解し実行できるかを評価した。 この結果から,LLM,特にGPT-4は,重数値計算を伴わない限り,自然言語で記述されたプログラムを効果的に実行できることが判明した。
  論文  参考訳（メタデータ） (2024-02-23T05:31:36Z)
• Algorithm Evolution Using Large Language Model [18.03090066194074]
  大規模言語モデル(AEL)を用いた進化的アルゴリズムを提案する。 AELはモデルトレーニングなしでアルゴリズムレベルの進化を行う。 人間の努力とドメイン知識の要求は大幅に削減できる。
  論文  参考訳（メタデータ） (2023-11-26T09:38:44Z)
• Large Language Model-Enhanced Algorithm Selection: Towards Comprehensive Algorithm Representation [27.378185644892984]
  本稿では,Large Language Models (LLM) をアルゴリズム選択に導入する。 LLMはアルゴリズムの構造的・意味的な側面を捉えるだけでなく、文脈的認識とライブラリ機能理解も示している。 選択されたアルゴリズムは、与えられた問題と異なるアルゴリズムの一致度によって決定される。
  論文  参考訳（メタデータ） (2023-11-22T06:23:18Z)
• Algorithm of Thoughts: Enhancing Exploration of Ideas in Large Language Models [17.059322033670124]
  本稿では,アルゴリズム的推論経路を通じて大規模言語モデルを促進する新しい手法を提案する。 この結果から,LLMをアルゴリズムを用いて指導すると,アルゴリズム自体よりも性能が向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-08-20T22:36:23Z)
• Representation Learning with Multi-Step Inverse Kinematics: An Efficient and Optimal Approach to Rich-Observation RL [106.82295532402335]
  既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。 所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。 我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
  論文  参考訳（メタデータ） (2023-04-12T14:51:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。