論文の概要: Working Memory Capacity of ChatGPT: An Empirical Study
- arxiv url: http://arxiv.org/abs/2305.03731v2
- Date: Sun, 18 Jun 2023 03:00:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-22 02:31:53.113187
- Title: Working Memory Capacity of ChatGPT: An Empirical Study
- Title（参考訳）: ChatGPTの動作記憶能力に関する実証的研究
- Authors: Dongyu Gong, Xingchen Wan, Dingmin Wang
- Abstract要約: OpenAIによって開発された大規模言語モデルであるChatGPT(gpt-3.5-turbo)の動作メモリ容量を体系的に評価する。
実験の結果,ChatGPTはnが増加するにつれて性能が著しく低下することがわかった。
実験結果から, n-backタスクは, 大規模言語モデルの動作メモリ容量をベンチマークするツールとして有効である可能性が示唆された。
- 参考スコア（独自算出の注目度）: 5.882688944510072
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Working memory is a critical aspect of both human intelligence and artificial
intelligence, serving as a workspace for the temporary storage and manipulation
of information. In this paper, we systematically assess the working memory
capacity of ChatGPT (gpt-3.5-turbo), a large language model developed by
OpenAI, by examining its performance in verbal and spatial n-back tasks under
various conditions. Our experiments reveal that ChatGPT experiences significant
declines in performance as n increases (which necessitates more information to
be stored in working memory), suggesting a limit to the working memory capacity
strikingly similar to that of humans. Furthermore, we investigate the impact of
different instruction strategies on ChatGPT's performance and observe that the
fundamental patterns of a capacity limit persist. From our empirical findings,
we propose that n-back tasks may serve as tools for benchmarking the working
memory capacity of large language models and hold potential for informing
future efforts aimed at enhancing AI working memory and deepening our
understanding of human working memory through AI models.
- Abstract（参考訳）: ワーキングメモリは、人間の知性と人工知能の両方において重要な側面であり、情報の一時記憶と操作のためのワークスペースとして機能する。
本稿では,OpenAI が開発した大規模言語モデルである ChatGPT (gpt-3.5-turbo) の動作記憶能力について,様々な条件下での音声および空間的 n-back タスクの性能を検証し,系統的に評価する。
実験の結果,nが増加するにつれてchatgptの性能が大幅に低下することが明らかとなり(作業記憶に格納する情報が増える必要がある),作業記憶能力の限界がヒトに非常に近いことが示唆された。
さらに,chatgptの性能に対する異なる指導戦略の影響を調査し,キャパシティ制限の基本パターンが持続することを確認した。
実験結果から,n-backタスクは大規模言語モデルのワーキングメモリ容量をベンチマークするためのツールとして機能し,aiワーキングメモリの強化とaiモデルによるヒューマンワーキングメモリの理解の深化を目的とした今後の取り組みの可能性を秘めている可能性が示唆された。
関連論文リスト
- Metacognitive Monitoring: A Human Ability Beyond Generative Artificial Intelligence [0.0]
大規模言語モデル(LLM)は、人間の認知過程と顕著に一致している。
本研究は,ChatGPTがヒトに類似したメタ認知モニタリング能力を持っているかを検討する。
論文 参考訳（メタデータ） (2024-10-17T09:42:30Z) - Stable Hadamard Memory: Revitalizing Memory-Augmented Agents for Reinforcement Learning [64.93848182403116]
現在のディープラーニングメモリモデルは、部分的に観察可能で長期にわたる強化学習環境で苦労している。
本稿では,強化学習エージェントのための新しい記憶モデルであるStable Hadamard Memoryを紹介する。
我々の手法は、部分的に観測可能なベンチマークに挑戦する上で、最先端のメモリベースの手法よりも大幅に優れています。
論文 参考訳（メタデータ） (2024-10-14T03:50:17Z) - Learning Symbolic Task Representation from a Human-Led Demonstration: A Memory to Store, Retrieve, Consolidate, and Forget Experiences [3.0501524254444767]
認知的な記憶機能に着想を得たシンボリックラーニングフレームワークを提案する。
我々の主な貢献は、階層的な知識表現をブートストラップするための様々な記憶を調べるために使用できるフレームワークの形式化である。
論文 参考訳（メタデータ） (2024-04-16T14:14:34Z) - In-Memory Learning: A Declarative Learning Framework for Large Language
Models [56.62616975119192]
本研究では,人間ラベルデータに頼らずにエージェントが環境に整合できる新しい学習フレームワークを提案する。
このプロセス全体がメモリコンポーネント内で変換され、自然言語で実装される。
フレームワークの有効性を実証し、この問題に対する洞察を提供する。
論文 参考訳（メタデータ） (2024-03-05T08:25:11Z) - Personalized Large Language Model Assistant with Evolving Conditional Memory [15.780762727225122]
条件記憶を進化させる大規模言語モデルアシスタントをパーソナライズするためのプラグイン・アンド・プレイフレームワークを提案する。
パーソナライズされたアシスタントは、ユーザとの履歴対話から知識と経験をインテリジェントに保存することに焦点を当てる。
論文 参考訳（メタデータ） (2023-12-22T02:39:15Z) - Exploring Memorization in Fine-tuned Language Models [53.52403444655213]
我々は,タスク間の微調整中に,言語モデルの暗記を探索する最初の包括的分析を行う。
オープンソースと、さまざまなタスクにまたがる独自の微調整LMによる研究は、暗記が様々な微調整タスクの間に強い相違を示すことを示している。
本稿では,この課題の相違をスパース符号化理論を用いて直感的に説明し,暗記と注目スコア分布との強い相関関係を明らかにする。
論文 参考訳（メタデータ） (2023-10-10T15:41:26Z) - Towards A Unified Agent with Foundation Models [18.558328028366816]
強化学習(RL)エージェントにそのような能力を組み込んで活用する方法を検討する。
我々は、言語を中核的推論ツールとして使用するフレームワークを設計し、エージェントが一連の基本的なRL課題にどのように取り組むことができるかを探る。
探索効率とオフラインデータセットからのデータの再利用能力において,ベースラインよりも大幅にパフォーマンスが向上したことを示す。
論文 参考訳（メタデータ） (2023-07-18T22:37:30Z) - Think Before You Act: Decision Transformers with Working Memory [44.18926449252084]
決定変換器に基づく意思決定エージェントは、複数のタスクにまたがる一般化能力を示している。
この非効率性は、モデルがトレーニングを通してパラメータの振る舞いを記憶する忘れ現象に起因していると我々は主張する。
ダウンストリームタスクの情報を格納、ブレンド、検索するためのワーキングメモリモジュールを提案する。
論文 参考訳（メタデータ） (2023-05-24T01:20:22Z) - RET-LLM: Towards a General Read-Write Memory for Large Language Models [53.288356721954514]
RET-LLMは、大規模な言語モデルに一般的な読み書きメモリユニットを装備する新しいフレームワークである。
デビッドソンのセマンティクス理論に触発され、三重項の形で知識を抽出し保存する。
本フレームワークは,時間に基づく質問応答タスクの処理において,堅牢な性能を示す。
論文 参考訳（メタデータ） (2023-05-23T17:53:38Z) - CogNGen: Constructing the Kernel of a Hyperdimensional Predictive
Processing Cognitive Architecture [79.07468367923619]
神経生物学的に妥当な2つの計算モデルを組み合わせた新しい認知アーキテクチャを提案する。
我々は、現代の機械学習技術の力を持つ認知アーキテクチャを開発することを目指している。
論文 参考訳（メタデータ） (2022-03-31T04:44:28Z) - Reasoning over Vision and Language: Exploring the Benefits of
Supplemental Knowledge [59.87823082513752]
本稿では,汎用知識基盤(KB)から視覚言語変換器への知識の注入について検討する。
我々は複数のタスクやベンチマークに対する様々なkbの関連性を実証的に研究する。
この技術はモデルに依存しず、最小限の計算オーバーヘッドで任意の視覚言語変換器の適用可能性を拡張することができる。
論文 参考訳（メタデータ） (2021-01-15T08:37:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。