論文の概要: Algorithm of Thoughts: Enhancing Exploration of Ideas in Large Language Models

• arxiv url: http://arxiv.org/abs/2308.10379v3
• Date: Sun, 2 Jun 2024 16:01:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 21:00:32.663944
• Title: Algorithm of Thoughts: Enhancing Exploration of Ideas in Large Language Models
• Title（参考訳）: 思考のアルゴリズム:大規模言語モデルにおけるアイデアの探索を促進する
• Authors: Bilgehan Sel, Ahmad Al-Tawaha, Vanshaj Khattar, Ruoxi Jia, Ming Jin,
• Abstract要約: 本稿では,アルゴリズム的推論経路を通じて大規模言語モデルを促進する新しい手法を提案する。 この結果から,LLMをアルゴリズムを用いて指導すると,アルゴリズム自体よりも性能が向上する可能性が示唆された。
• 参考スコア（独自算出の注目度）: 17.059322033670124
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current literature, aiming to surpass the "Chain-of-Thought" approach, often resorts to external modi operandi involving halting, modifying, and then resuming the generation process to boost Large Language Models' (LLMs) reasoning capacities. Due to their myopic perspective, they escalate the number of query requests, leading to increased costs, memory, and computational overheads. Addressing this, we propose the Algorithm of Thoughts -- a novel strategy that propels LLMs through algorithmic reasoning pathways. By employing algorithmic examples fully in-context, this overarching view of the whole process exploits the innate recurrence dynamics of LLMs, expanding their idea exploration with merely one or a few queries. Our technique outperforms earlier single-query methods and even more recent multi-query strategies that employ an extensive tree search algorithms while using significantly fewer tokens. Intriguingly, our results suggest that instructing an LLM using an algorithm can lead to performance surpassing that of the algorithm itself, hinting at LLM's inherent ability to weave its intuition into optimized searches. We probe into the underpinnings of our method's efficacy and its nuances in application. The code and related content can be found in: https://algorithm-of-thoughts.github.io.
• Abstract（参考訳）: 現在の文献は、"Chain-of-Thought"アプローチを超越することを目的としており、しばしば、停止、修正、そして大言語モデル(LLM)推論能力を高めるために生成プロセスの再開を含む外部のmodi Operandiを頼りにしている。 ミオピックな視点から見ると、クエリ要求の数が増加し、コスト、メモリ、計算オーバーヘッドが増大する。 そこで我々は,LLMをアルゴリズム的推論経路を通じて推進する新しい戦略である,思考のアルゴリズムを提案する。 完全にコンテキスト内でのアルゴリズム的な例を利用することで、プロセス全体の全体像は、LLMの自然再帰のダイナミクスを生かし、そのアイデア探索を単に1つまたは数つのクエリで拡張する。 我々の手法は、より少ないトークンを用いて、より広範な木探索アルゴリズムを用いて、より古い単一クエリ手法やより最近のマルチクエリ戦略よりも優れている。 興味深いことに,本研究の結果から,アルゴリズムを用いたLLMの指導がアルゴリズム自体を上回る性能をもたらすことが示唆され,LLMの直感を最適化された検索に織り込む能力が示唆された。 我々は,本手法の有効性の基盤と,適用上のニュアンスについて検討する。 コードとその関連コンテンツは、https://algorithm-of- Thoughts.github.io.comで見ることができる。

関連論文リスト

• On the Design and Analysis of LLM-Based Algorithms [74.7126776018275]
  大規模言語モデル(LLM)はアルゴリズムのサブルーチンとして使用される。 LLMは素晴らしい経験的成功を収めた。 我々のフレームワークはLLMベースのアルゴリズムの進歩を約束している。 LLMアルゴリズムのさらなる研究を促進するため、ソースコードはhttps://github.com/modelscope/agentscope/tree/main/examples/paper_llm_based_algorithmで公開しています。
  論文  参考訳（メタデータ） (2024-07-20T07:39:07Z)
• LiteSearch: Efficacious Tree Search for LLM [70.29796112457662]
  本研究では,動的ノード選択とノードレベルの探索予算を備えた新しいガイド付き木探索アルゴリズムを提案する。 GSM8KおよびTabMWPデータセットを用いて行った実験により,本手法はベースライン法に比べて計算コストが大幅に低いことを示した。
  論文  参考訳（メタデータ） (2024-06-29T05:14:04Z)
• From Decoding to Meta-Generation: Inference-time Algorithms for Large Language Models [63.188607839223046]
  この調査は、推論中に計算をスケールするメリットに焦点を当てている。 我々はトークンレベルの生成アルゴリズム、メタジェネレーションアルゴリズム、効率的な生成という3つの領域を統一的な数学的定式化の下で探索する。
  論文  参考訳（メタデータ） (2024-06-24T17:45:59Z)
• Algorithm Evolution Using Large Language Model [18.03090066194074]
  大規模言語モデル(AEL)を用いた進化的アルゴリズムを提案する。 AELはモデルトレーニングなしでアルゴリズムレベルの進化を行う。 人間の努力とドメイン知識の要求は大幅に削減できる。
  論文  参考訳（メタデータ） (2023-11-26T09:38:44Z)
• The CLRS Algorithmic Reasoning Benchmark [28.789225199559834]
  アルゴリズムの学習表現は機械学習の新たな領域であり、ニューラルネットワークから古典的なアルゴリズムで概念をブリッジしようとしている。 本稿では,従来のアルゴリズムを包括するCLRS Algorithmic Reasoning Benchmarkを提案する。 我々のベンチマークは、ソート、探索、動的プログラミング、グラフアルゴリズム、文字列アルゴリズム、幾何アルゴリズムなど、様々なアルゴリズムの推論手順にまたがっている。
  論文  参考訳（メタデータ） (2022-05-31T09:56:44Z)
• Reinforcement Learning for Branch-and-Bound Optimisation using Retrospective Trajectories [72.15369769265398]
  機械学習は分岐のための有望なパラダイムとして登場した。 分岐のための単純かつ効果的なRLアプローチであるレトロ分岐を提案する。 我々は現在最先端のRL分岐アルゴリズムを3～5倍に上回り、500の制約と1000の変数を持つMILP上での最高のILメソッドの性能の20%以内である。
  論文  参考訳（メタデータ） (2022-05-28T06:08:07Z)
• Identifying Co-Adaptation of Algorithmic and Implementational Innovations in Deep Reinforcement Learning: A Taxonomy and Case Study of Inference-based Algorithms [15.338931971492288]
  我々は、アルゴリズムの革新と実装決定を分離するために、一連の推論に基づくアクター批判アルゴリズムに焦点を当てる。 実装の詳細がアルゴリズムの選択に一致すると、パフォーマンスが大幅に低下します。 結果は、どの実装の詳細がアルゴリズムと共適応され、共進化しているかを示す。
  論文  参考訳（メタデータ） (2021-03-31T17:55:20Z)
• Evolving Reinforcement Learning Algorithms [186.62294652057062]
  メタラーニング強化学習アルゴリズムの手法を提案する。 学習アルゴリズムはドメインに依存しないため、トレーニング中に見えない新しい環境に一般化することができる。 従来の制御タスク、gridworld型タスク、atariゲームよりも優れた一般化性能を得る2つの学習アルゴリズムに注目した。
  論文  参考訳（メタデータ） (2021-01-08T18:55:07Z)
• Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
  本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。 問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。 本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-07T08:00:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。