論文の概要: Working Memory Capacity of ChatGPT: An Empirical Study
- arxiv url: http://arxiv.org/abs/2305.03731v2
- Date: Sun, 18 Jun 2023 03:00:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-22 02:31:53.113187
- Title: Working Memory Capacity of ChatGPT: An Empirical Study
- Title(参考訳): ChatGPTの動作記憶能力に関する実証的研究
- Authors: Dongyu Gong, Xingchen Wan, Dingmin Wang
- Abstract要約: OpenAIによって開発された大規模言語モデルであるChatGPT(gpt-3.5-turbo)の動作メモリ容量を体系的に評価する。
実験の結果,ChatGPTはnが増加するにつれて性能が著しく低下することがわかった。
実験結果から, n-backタスクは, 大規模言語モデルの動作メモリ容量をベンチマークするツールとして有効である可能性が示唆された。
- 参考スコア(独自算出の注目度): 5.882688944510072
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Working memory is a critical aspect of both human intelligence and artificial
intelligence, serving as a workspace for the temporary storage and manipulation
of information. In this paper, we systematically assess the working memory
capacity of ChatGPT (gpt-3.5-turbo), a large language model developed by
OpenAI, by examining its performance in verbal and spatial n-back tasks under
various conditions. Our experiments reveal that ChatGPT experiences significant
declines in performance as n increases (which necessitates more information to
be stored in working memory), suggesting a limit to the working memory capacity
strikingly similar to that of humans. Furthermore, we investigate the impact of
different instruction strategies on ChatGPT's performance and observe that the
fundamental patterns of a capacity limit persist. From our empirical findings,
we propose that n-back tasks may serve as tools for benchmarking the working
memory capacity of large language models and hold potential for informing
future efforts aimed at enhancing AI working memory and deepening our
understanding of human working memory through AI models.
- Abstract(参考訳): ワーキングメモリは、人間の知性と人工知能の両方において重要な側面であり、情報の一時記憶と操作のためのワークスペースとして機能する。
本稿では,OpenAI が開発した大規模言語モデルである ChatGPT (gpt-3.5-turbo) の動作記憶能力について,様々な条件下での音声および空間的 n-back タスクの性能を検証し,系統的に評価する。
実験の結果,nが増加するにつれてchatgptの性能が大幅に低下することが明らかとなり(作業記憶に格納する情報が増える必要がある),作業記憶能力の限界がヒトに非常に近いことが示唆された。
さらに,chatgptの性能に対する異なる指導戦略の影響を調査し,キャパシティ制限の基本パターンが持続することを確認した。
実験結果から,n-backタスクは大規模言語モデルのワーキングメモリ容量をベンチマークするためのツールとして機能し,aiワーキングメモリの強化とaiモデルによるヒューマンワーキングメモリの理解の深化を目的とした今後の取り組みの可能性を秘めている可能性が示唆された。
関連論文リスト
- Learning Symbolic Task Representation from a Human-Led Demonstration: A Memory to Store, Retrieve, Consolidate, and Forget Experiences [3.0501524254444767]
認知的な記憶機能に着想を得たシンボリックラーニングフレームワークを提案する。
我々の主な貢献は、階層的な知識表現をブートストラップするための様々な記憶を調べるために使用できるフレームワークの形式化である。
論文 参考訳(メタデータ) (2024-04-16T14:14:34Z) - In-Memory Learning: A Declarative Learning Framework for Large Language
Models [56.62616975119192]
本研究では,人間ラベルデータに頼らずにエージェントが環境に整合できる新しい学習フレームワークを提案する。
このプロセス全体がメモリコンポーネント内で変換され、自然言語で実装される。
フレームワークの有効性を実証し、この問題に対する洞察を提供する。
論文 参考訳(メタデータ) (2024-03-05T08:25:11Z) - Evolving Large Language Model Assistant with Long-Term Conditional
Memory [16.91211676915775]
音声の長期記憶を利用した大規模言語モデルアシスタントを提案する。
モデルは、完了した対話ごとに一連のレコードを生成し、それらをメモリに格納する。
後続の使用では、新しいユーザ入力が与えられた場合、そのモデルがそれを使用して関連するメモリを取得し、応答の品質を向上させる。
論文 参考訳(メタデータ) (2023-12-22T02:39:15Z) - Exploring Memorization in Fine-tuned Language Models [53.52403444655213]
我々は,タスク間の微調整中に,言語モデルの暗記を探索する最初の包括的分析を行う。
オープンソースと、さまざまなタスクにまたがる独自の微調整LMによる研究は、暗記が様々な微調整タスクの間に強い相違を示すことを示している。
本稿では,この課題の相違をスパース符号化理論を用いて直感的に説明し,暗記と注目スコア分布との強い相関関係を明らかにする。
論文 参考訳(メタデータ) (2023-10-10T15:41:26Z) - Towards A Unified Agent with Foundation Models [18.558328028366816]
強化学習(RL)エージェントにそのような能力を組み込んで活用する方法を検討する。
我々は、言語を中核的推論ツールとして使用するフレームワークを設計し、エージェントが一連の基本的なRL課題にどのように取り組むことができるかを探る。
探索効率とオフラインデータセットからのデータの再利用能力において,ベースラインよりも大幅にパフォーマンスが向上したことを示す。
論文 参考訳(メタデータ) (2023-07-18T22:37:30Z) - Think Before You Act: Decision Transformers with Internal Working Memory [39.321873516095714]
大規模言語モデル(LLM)に基づく意思決定エージェントは、複数のタスクをまたいで一般化する能力を示している。
この非効率性は、モデルがトレーニングを通してパラメータの振る舞いを記憶する忘れ現象に起因していると我々は主張する。
本稿では,異なる下流タスクの情報を格納,ブレンド,検索するための内部動作メモリモジュールを提案する。
論文 参考訳(メタデータ) (2023-05-24T01:20:22Z) - Artificial Neuropsychology: Are Large Language Models Developing
Executive Functions? [0.0]
ハノイ・タワーズ・オブ・ハノイ法によるGPTの計画機能と作業記憶の評価を行った。
予備的な結果は、LLMがハノイの塔でほぼ最適解を生成することを示している。
これらの能力は、タスクが分かっていないときに、よく訓練された人間よりも非常に制限され、悪い。
論文 参考訳(メタデータ) (2023-05-06T20:53:22Z) - CogNGen: Constructing the Kernel of a Hyperdimensional Predictive
Processing Cognitive Architecture [79.07468367923619]
神経生物学的に妥当な2つの計算モデルを組み合わせた新しい認知アーキテクチャを提案する。
我々は、現代の機械学習技術の力を持つ認知アーキテクチャを開発することを目指している。
論文 参考訳(メタデータ) (2022-03-31T04:44:28Z) - Reasoning over Vision and Language: Exploring the Benefits of
Supplemental Knowledge [59.87823082513752]
本稿では,汎用知識基盤(KB)から視覚言語変換器への知識の注入について検討する。
我々は複数のタスクやベンチマークに対する様々なkbの関連性を実証的に研究する。
この技術はモデルに依存しず、最小限の計算オーバーヘッドで任意の視覚言語変換器の適用可能性を拡張することができる。
論文 参考訳(メタデータ) (2021-01-15T08:37:55Z) - Learning to Learn Variational Semantic Memory [132.39737669936125]
我々はメタラーニングに変分セマンティックメモリを導入し、数ショットラーニングのための長期的知識を得る。
セマンティックメモリはスクラッチから成長し、経験したタスクから情報を吸収することで徐々に統合される。
アドレスコンテンツから潜在記憶変数の変動推論としてメモリリコールを定式化する。
論文 参考訳(メタデータ) (2020-10-20T15:05:26Z) - PeTra: A Sparsely Supervised Memory Model for People Tracking [50.98911178059019]
メモリスロット内のエンティティを追跡するように設計されたメモリ拡張ニューラルネットワークであるPeTraを提案する。
我々は、重要なモデリング選択を経験的に比較し、強い性能を維持しながら、メモリモジュールの設計のいくつかの側面を単純化できることを見出した。
PeTraは両方の評価に非常に効果的で、限られたアノテーションで訓練されているにもかかわらず、メモリ内の人々を追跡できる能力を示している。
論文 参考訳(メタデータ) (2020-05-06T17:45:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。