論文の概要: MoT: Pre-thinking and Recalling Enable ChatGPT to Self-Improve with
Memory-of-Thoughts
- arxiv url: http://arxiv.org/abs/2305.05181v1
- Date: Tue, 9 May 2023 05:25:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-10 13:45:29.862008
- Title: MoT: Pre-thinking and Recalling Enable ChatGPT to Self-Improve with
Memory-of-Thoughts
- Title(参考訳): MoT: ChatGPTを思い浮かべてリコールする
- Authors: Xiaonan Li, Xipeng Qiu
- Abstract要約: 思考の記憶を通してLLMを自己改善させるフレームワークであるMoTを提案する。
実験結果から,ChatGPTは数学推論,コモンセンス推論,事実推論,自然言語推論の能力向上に有効であることが示唆された。
- 参考スコア(独自算出の注目度): 54.8981263565611
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models have shown impressive abilities on various tasks.
However, fundamentally improving them depends on high-quality datasets or
computationally expensive fine-tuning. On the contrary, human can easily
improve themselves by thinking and memory, without external resources. In this
paper, we propose a framework, MoT, to let the LLM self-improve through Memory
of Thoughts, without annotated datasets and parameter updates. Specifically,
the framework is divided into two stages: 1. before the test stage, we let the
LLM pre-think on the unlabeled dataset and save the high-confidence thoughts as
external memory; 2. during inference, given a test question, we let the LLM
recall relevant memory to help itself reason and answer it. Experimental
results show that the proposed framework can help ChatGPT significantly improve
its abilities in math reasoning, commonsense reasoning, factual reasoning and
natural language inference. Further analyses show that each component
contributes critically to the improvements.
- Abstract(参考訳): 大規模言語モデルは様々なタスクで素晴らしい能力を発揮しています。
しかし、基本的には高品質なデータセットや計算コストの高い微調整に依存する。
逆に、人間は外部リソースを使わずに、思考と記憶によって容易に自分自身を改善することができる。
本稿では,注釈付きデータセットやパラメータ更新を使わずに,思考の記憶を通じてLLMを自己改善するフレームワークであるMoTを提案する。
具体的には、フレームワークは2つのステージに分けられる。
1. テストステージの前に、LLMはラベルなしデータセットを事前に考えさせ、信頼度の高い思考を外部メモリとして保存する。
2. 推論の間、テスト質問が与えられたとき、llmは関連するメモリを思い出させ、それ自身を推論し、答えさせる。
実験の結果,提案フレームワークはchatgptが数学推論,常識推論,事実推論,自然言語推論の能力を大幅に向上できることがわかった。
さらなる分析により、各コンポーネントが改善に決定的に寄与することが示された。
関連論文リスト
- MemLLM: Finetuning LLMs to Use An Explicit Read-Write Memory [49.96019697955383]
本稿では,構造化および明示的な読み書きメモリモジュールを統合することで,知識能力を向上させる新しい手法であるMemLLMを紹介する。
実験の結果,MemLLMは言語モデリング全般,特に言語モデルにおいて,性能と解釈可能性を向上させることが示唆された。
私たちは MemLLM を,メモリ拡張による LLM の基盤化と現実化に向けた重要なステップと捉えています。
論文 参考訳(メタデータ) (2024-04-17T18:13:16Z) - Elephants Never Forget: Memorization and Learning of Tabular Data in Large Language Models [21.10890310571397]
トレーニング中に、言語モデルがデータセットを見たかどうかを評価するために、さまざまなテクニックを導入します。
トレーニング中に見られたデータセット上でのLLMの数発の学習性能と、トレーニング後にリリースされたデータセットのパフォーマンスを比較した。
LLMはトレーニング中に見られるデータセットよりも優れており、記憶が過度に適合することを示している。
論文 参考訳(メタデータ) (2024-04-09T10:58:21Z) - GSM-Plus: A Comprehensive Benchmark for Evaluating the Robustness of
LLMs as Mathematical Problem Solvers [73.78371810664319]
大規模言語モデル (LLM) は、様々な数学的推論ベンチマークで顕著な性能を達成している。
1つの必須かつ頻繁な証拠は、数学の質問がわずかに変更されたとき、LLMは誤って振る舞うことができることである。
このことは, LLMの数学推論能力の頑健性を評価するために, 幅広い質問のバリエーションを試すことによるものである。
論文 参考訳(メタデータ) (2024-02-29T15:26:14Z) - Think-in-Memory: Recalling and Post-thinking Enable LLMs with Long-Term
Memory [24.464945401037056]
歴史的思考を記憶するための進化した記憶を大規模言語モデルで維持できるTiM(Think-in-Memory)を提案する。
我々は,多種多様な話題をカバーする実世界および模擬対話の質的,定量的な実験を行う。
論文 参考訳(メタデータ) (2023-11-15T06:08:35Z) - Rephrase and Respond: Let Large Language Models Ask Better Questions for Themselves [57.974103113675795]
本稿では,Rephrase and Respond'(RaR)という手法を提案する。
RaRは、パフォーマンスを改善するためのシンプルだが効果的なプロンプト方法として機能する。
また,RaRは理論的にも経験的にも,一般的なChain-of-Thought(CoT)法と相補的であることを示す。
論文 参考訳(メタデータ) (2023-11-07T18:43:34Z) - Recursively Summarizing Enables Long-Term Dialogue Memory in Large
Language Models [75.98775135321355]
長い会話をすると、大きな言語モデル(LLM)は過去の情報を思い出さず、一貫性のない応答を生成する傾向がある。
本稿では,長期記憶能力を高めるために,大規模言語モデル(LLM)を用いて要約/メモリを生成することを提案する。
論文 参考訳(メタデータ) (2023-08-29T04:59:53Z) - RET-LLM: Towards a General Read-Write Memory for Large Language Models [4.997673761305335]
RET-LLMは、大規模な言語モデルに一般的な読み書きメモリユニットを装備する新しいフレームワークである。
デビッドソンのセマンティクス理論に触発され、三重項の形で知識を抽出し保存する。
本フレームワークは,時間に基づく質問応答タスクの処理において,堅牢な性能を示す。
論文 参考訳(メタデータ) (2023-05-23T17:53:38Z) - Neural Machine Translation with Monolingual Translation Memory [58.98657907678992]
本稿では,モノリンガルメモリを用いて学習可能なメモリ検索を行う新しいフレームワークを提案する。
実験の結果,提案手法は大幅な改善が得られた。
論文 参考訳(メタデータ) (2021-05-24T13:35:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。