論文の概要: Teaching Algorithmic Reasoning via In-context Learning

• arxiv url: http://arxiv.org/abs/2211.09066v1
• Date: Tue, 15 Nov 2022 06:12:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 13:44:09.041106
• Title: Teaching Algorithmic Reasoning via In-context Learning
• Title（参考訳）: インコンテキスト学習によるアルゴリズム推論の指導
• Authors: Hattie Zhou, Azade Nova, Hugo Larochelle, Aaron Courville, Behnam Neyshabur, Hanie Sedghi
• Abstract要約: 本研究では,大規模言語モデル (LLM) に対して,文脈内学習によりアルゴリズム推論を教えることができることを示す。 我々は,様々な算術的および定量的推論タスクに対するアプローチを評価する。 最良ベースラインと比較して,約10x,9x,5x,2xの誤差低減を実現した。
• 参考スコア（独自算出の注目度）: 45.45116247046013
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have shown increasing in-context learning capabilities through scaling up model and data size. Despite this progress, LLMs are still unable to solve algorithmic reasoning problems. While providing a rationale with the final answer has led to further improvements in multi-step reasoning problems, Anil et al. 2022 showed that even simple algorithmic reasoning tasks such as parity are far from solved. In this work, we identify and study four key stages for successfully teaching algorithmic reasoning to LLMs: (1) formulating algorithms as skills, (2) teaching multiple skills simultaneously (skill accumulation), (3) teaching how to combine skills (skill composition) and (4) teaching how to use skills as tools. We show that it is possible to teach algorithmic reasoning to LLMs via in-context learning, which we refer to as algorithmic prompting. We evaluate our approach on a variety of arithmetic and quantitative reasoning tasks, and demonstrate significant boosts in performance over existing prompting techniques. In particular, for long parity, addition, multiplication and subtraction, we achieve an error reduction of approximately 10x, 9x, 5x and 2x respectively compared to the best available baselines.
• Abstract（参考訳）: 大規模言語モデル(LLM)では、モデルとデータサイズをスケールアップすることで、コンテキスト内学習能力が向上している。 この進歩にもかかわらず、LLMはアルゴリズムの推論問題をまだ解決できない。 最終回答を根拠として、マルチステップ推論問題をさらに改善する一方で、anilら2022はパリティのような単純なアルゴリズム推論タスクでさえ解決にはほど遠いことを示した。 本研究では,(1)アルゴリズムをスキルとして表現すること,(2)複数のスキルを同時に教えること(スキルの蓄積),(3)スキル(スキル構成)を組み合わせる方法,(4)スキルをツールとして使う方法を教えること,の4つの重要な段階を特定し,学習する。 本稿では,LLMのアルゴリズム推論を文脈内学習によって教えることが可能であることを示す。 我々は,様々な算術的および定量的推論タスクに対するアプローチを評価し,既存のプロンプト技術よりも高い性能を示す。 特に, 長パリティ, 加算, 乗算, 減算では, 最良ベースラインに比べて約10x, 9x, 5x, 2xの誤差低減を実現している。

関連論文リスト

• Reasoning with Large Language Models, a Survey [2.831296564800826]
  本稿では,LSMによるプロンプトベース推論の急速に進展する分野について概説する。 我々の分類学は、多段階推論の生成、評価、制御の異なる方法を特定します。 我々は, 自己改善, 自己回帰, 推論過程のいくつかのメタ能力が, プロンプトの司法的利用によって可能であることを発見した。
  論文  参考訳（メタデータ） (2024-07-16T08:49:35Z)
• MindStar: Enhancing Math Reasoning in Pre-trained LLMs at Inference Time [51.5039731721706]
  MindStarは、大言語モデルの純粋に推論に基づく探索手法である。 推論タスクを探索問題として定式化し、最適な推論経路を特定するための2つの探索アイデアを提案する。 Llama-2-13BやMistral-7Bのようなオープンソースモデルの推論能力を大幅に向上させ、GPT-3.5やGrok-1に匹敵する性能を実現している。
  論文  参考訳（メタデータ） (2024-05-25T15:07:33Z)
• Learning Beyond Pattern Matching? Assaying Mathematical Understanding in LLMs [58.09253149867228]
  本稿では,LLMのドメイン知識を,問題解決に必要な数学的スキルの理解を通じて評価する。 汎用科学アシスタントとしてLLMを用いることで, LLMの確率分布の変化を評価するためにtextitNTKEvalを提案する。 系統的な分析では、文脈内学習中にドメイン理解の証拠が見つかる。 ある命令チューニングは、異なるデータでのトレーニングに関係なく、同様のパフォーマンス変化をもたらし、異なるスキルに対するドメイン理解の欠如を示唆している。
  論文  参考訳（メタデータ） (2024-05-24T12:04:54Z)
• Distilling Algorithmic Reasoning from LLMs via Explaining Solution Programs [2.3020018305241337]
  大きな言語モデルの推論能力を改善する効果的な方法として、明確な推論経路を蒸留する手法が登場している。 本稿では, LLM から推論能力を抽出する手法を提案する。 提案実験は,ReasonerがCoderによるプログラム実装をより効果的にガイドできることを示す。
  論文  参考訳（メタデータ） (2024-04-11T22:19:50Z)
• GSM-Plus: A Comprehensive Benchmark for Evaluating the Robustness of LLMs as Mathematical Problem Solvers [68.77382332826167]
  大規模言語モデル (LLM) は、様々な数学的推論ベンチマークで顕著な性能を達成している。 1つの必須かつ頻繁な証拠は、数学の質問がわずかに変更されたとき、LLMは誤って振る舞うことができることである。 このことは, LLMの数学推論能力の頑健性を評価するために, 幅広い質問のバリエーションを試すことによるものである。
  論文  参考訳（メタデータ） (2024-02-29T15:26:14Z)
• Do Language Models Exhibit the Same Cognitive Biases in Problem Solving as Human Learners? [140.9751389452011]
  本研究では,大言語モデル(LLM)の偏りを,算術語問題を解く際に,子どもに知られているものと関連づけて検討する。 我々は,これらの各テストに対して,問題特徴のきめ細かい制御を可能にするニューロシンボリックアプローチを用いて,新しい単語問題を生成する。
  論文  参考訳（メタデータ） (2024-01-31T18:48:20Z)
• Algorithm of Thoughts: Enhancing Exploration of Ideas in Large Language Models [17.059322033670124]
  本稿では,アルゴリズム的推論経路を通じて大規模言語モデルを促進する新しい手法を提案する。 この結果から,LLMをアルゴリズムを用いて指導すると,アルゴリズム自体よりも性能が向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-08-20T22:36:23Z)
• Dual Algorithmic Reasoning [9.701208207491879]
  本稿では,基礎となるアルゴリズム問題の双対性を利用してアルゴリズムを学習することを提案する。 アルゴリズム学習における最適化問題の2つの定義を同時に学習することで、より良い学習が可能になることを実証する。 次に、難易度の高い脳血管分類タスクにデプロイすることで、二元アルゴリズム推論の現実的な実用性を検証する。
  論文  参考訳（メタデータ） (2023-02-09T08:46:23Z)
• How to transfer algorithmic reasoning knowledge to learn new algorithms? [23.335939830754747]
  我々は,実行トレースにアクセス可能なアルゴリズムを用いて,そうでない同様のタスクを解く方法について検討する。 9つのアルゴリズムと3つの異なるグラフタイプを含むデータセットを作成します。 我々はこれを実証的に検証し、その代わりにマルチタスク学習を用いてアルゴリズム推論知識の伝達を実現する方法を示す。
  論文  参考訳（メタデータ） (2021-10-26T22:14:47Z)
• Mastering Rate based Curriculum Learning [78.45222238426246]
  学習の進行という概念には、学習者のサンプル効率の低下につながるいくつかの欠点があると主張する。 本稿では,習得率の概念に基づく新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-08-14T16:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。