論文の概要: Teaching Algorithmic Reasoning via In-context Learning
- arxiv url: http://arxiv.org/abs/2211.09066v1
- Date: Tue, 15 Nov 2022 06:12:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-17 13:44:09.041106
- Title: Teaching Algorithmic Reasoning via In-context Learning
- Title(参考訳): インコンテキスト学習によるアルゴリズム推論の指導
- Authors: Hattie Zhou, Azade Nova, Hugo Larochelle, Aaron Courville, Behnam
Neyshabur, Hanie Sedghi
- Abstract要約: 本研究では,大規模言語モデル (LLM) に対して,文脈内学習によりアルゴリズム推論を教えることができることを示す。
我々は,様々な算術的および定量的推論タスクに対するアプローチを評価する。
最良ベースラインと比較して,約10x,9x,5x,2xの誤差低減を実現した。
- 参考スコア(独自算出の注目度): 45.45116247046013
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have shown increasing in-context learning
capabilities through scaling up model and data size. Despite this progress,
LLMs are still unable to solve algorithmic reasoning problems. While providing
a rationale with the final answer has led to further improvements in multi-step
reasoning problems, Anil et al. 2022 showed that even simple algorithmic
reasoning tasks such as parity are far from solved. In this work, we identify
and study four key stages for successfully teaching algorithmic reasoning to
LLMs: (1) formulating algorithms as skills, (2) teaching multiple skills
simultaneously (skill accumulation), (3) teaching how to combine skills (skill
composition) and (4) teaching how to use skills as tools. We show that it is
possible to teach algorithmic reasoning to LLMs via in-context learning, which
we refer to as algorithmic prompting. We evaluate our approach on a variety of
arithmetic and quantitative reasoning tasks, and demonstrate significant boosts
in performance over existing prompting techniques. In particular, for long
parity, addition, multiplication and subtraction, we achieve an error reduction
of approximately 10x, 9x, 5x and 2x respectively compared to the best available
baselines.
- Abstract(参考訳): 大規模言語モデル(LLM)では、モデルとデータサイズをスケールアップすることで、コンテキスト内学習能力が向上している。
この進歩にもかかわらず、LLMはアルゴリズムの推論問題をまだ解決できない。
最終回答を根拠として、マルチステップ推論問題をさらに改善する一方で、anilら2022はパリティのような単純なアルゴリズム推論タスクでさえ解決にはほど遠いことを示した。
本研究では,(1)アルゴリズムをスキルとして表現すること,(2)複数のスキルを同時に教えること(スキルの蓄積),(3)スキル(スキル構成)を組み合わせる方法,(4)スキルをツールとして使う方法を教えること,の4つの重要な段階を特定し,学習する。
本稿では,LLMのアルゴリズム推論を文脈内学習によって教えることが可能であることを示す。
我々は,様々な算術的および定量的推論タスクに対するアプローチを評価し,既存のプロンプト技術よりも高い性能を示す。
特に, 長パリティ, 加算, 乗算, 減算では, 最良ベースラインに比べて約10x, 9x, 5x, 2xの誤差低減を実現している。
関連論文リスト
- GSM-Plus: A Comprehensive Benchmark for Evaluating the Robustness of
LLMs as Mathematical Problem Solvers [73.78371810664319]
大規模言語モデル (LLM) は、様々な数学的推論ベンチマークで顕著な性能を達成している。
1つの必須かつ頻繁な証拠は、数学の質問がわずかに変更されたとき、LLMは誤って振る舞うことができることである。
このことは, LLMの数学推論能力の頑健性を評価するために, 幅広い質問のバリエーションを試すことによるものである。
論文 参考訳(メタデータ) (2024-02-29T15:26:14Z) - Do Language Models Exhibit the Same Cognitive Biases in Problem Solving
as Human Learners? [118.37810735783991]
本研究では,大言語モデル(LLM)の偏りを,算術語問題を解く際に,子どもに知られているものと関連づけて検討する。
我々はこれらの各テストに対して,問題特徴のきめ細かい制御を可能にするニューロシンボリック手法を用いて,新しい単語問題セットを生成する。
論文 参考訳(メタデータ) (2024-01-31T18:48:20Z) - Caught in the Quicksand of Reasoning, Far from AGI Summit: Evaluating
LLMs' Mathematical and Coding Competency through Ontology-guided
Interventions [50.68293377521595]
大規模言語モデル(LLM)は論理的推論ベンチマークで顕著な結果を示した。
算術的推論とコード生成という,2つの一般的な推論タスクに注目します。
質問に対して、すべてのモデルで大幅なパフォーマンス低下を見せています。
論文 参考訳(メタデータ) (2024-01-17T18:13:07Z) - MathPrompter: Mathematical Reasoning using Large Language Models [7.953723258038284]
大規模言語モデル (LLM) は算術的推論タスクを解く際の性能に制限がある。
MathPrompterはZero-shot-of- Thoughtプロンプト技術を使って複数の代数式やPython関数を生成し、異なる方法で同じ数学問題を解く。
論文 参考訳(メタデータ) (2023-03-04T04:43:49Z) - Dual Algorithmic Reasoning [9.701208207491879]
本稿では,基礎となるアルゴリズム問題の双対性を利用してアルゴリズムを学習することを提案する。
アルゴリズム学習における最適化問題の2つの定義を同時に学習することで、より良い学習が可能になることを実証する。
次に、難易度の高い脳血管分類タスクにデプロイすることで、二元アルゴリズム推論の現実的な実用性を検証する。
論文 参考訳(メタデータ) (2023-02-09T08:46:23Z) - Practical, Provably-Correct Interactive Learning in the Realizable
Setting: The Power of True Believers [12.09273192079783]
我々は、対話型学習を実現可能な設定で検討し、最適な腕の識別からアクティブな分類に至るまでの問題に対処する一般的な枠組みを開発する。
我々は,最小限の値と対数係数とを一致させる,計算効率のよい新しいアルゴリズムを設計する。
論文 参考訳(メタデータ) (2021-11-09T02:33:36Z) - How to transfer algorithmic reasoning knowledge to learn new algorithms? [23.335939830754747]
我々は,実行トレースにアクセス可能なアルゴリズムを用いて,そうでない同様のタスクを解く方法について検討する。
9つのアルゴリズムと3つの異なるグラフタイプを含むデータセットを作成します。
我々はこれを実証的に検証し、その代わりにマルチタスク学習を用いてアルゴリズム推論知識の伝達を実現する方法を示す。
論文 参考訳(メタデータ) (2021-10-26T22:14:47Z) - The Information Geometry of Unsupervised Reinforcement Learning [133.20816939521941]
教師なしスキル発見(英語: Unsupervised skill discovery)とは、報酬関数にアクセスせずに一連のポリシーを学ぶアルゴリズムのクラスである。
教師なしのスキル発見アルゴリズムは、あらゆる報酬関数に最適なスキルを学習しないことを示す。
論文 参考訳(メタデータ) (2021-10-06T13:08:36Z) - Learning by Self-Explanation, with Application to Neural Architecture
Search [12.317568257671427]
自己説明による学習(LeaSE)と呼ばれる新しい機械学習手法を提案する。
提案手法では,予測結果の作り方について客観モデルに明確に説明することにより,その学習能力を向上させる。
CIFAR-100、CIFAR-10、ImageNetのニューラルネットワーク探索にLeaSEを適用します。
論文 参考訳(メタデータ) (2020-12-23T07:39:54Z) - Mastering Rate based Curriculum Learning [78.45222238426246]
学習の進行という概念には、学習者のサンプル効率の低下につながるいくつかの欠点があると主張する。
本稿では,習得率の概念に基づく新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-08-14T16:34:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。