論文の概要: Working Memory Capacity of ChatGPT: An Empirical Study
- arxiv url: http://arxiv.org/abs/2305.03731v4
- Date: Thu, 1 Feb 2024 21:39:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-05 20:27:38.799281
- Title: Working Memory Capacity of ChatGPT: An Empirical Study
- Title(参考訳): ChatGPTの動作記憶能力に関する実証的研究
- Authors: Dongyu Gong, Xingchen Wan, Dingmin Wang
- Abstract要約: OpenAIによって開発された大規模言語モデルであるChatGPTの動作メモリ容量を体系的に評価する。
実験の結果,ChatGPTの動作メモリ容量は人間と著しく類似していることが判明した。
- 参考スコア(独自算出の注目度): 10.34965407119012
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Working memory is a critical aspect of both human intelligence and artificial
intelligence, serving as a workspace for the temporary storage and manipulation
of information. In this paper, we systematically assess the working memory
capacity of ChatGPT, a large language model developed by OpenAI, by examining
its performance in verbal and spatial n-back tasks under various conditions.
Our experiments reveal that ChatGPT has a working memory capacity limit
strikingly similar to that of humans. Furthermore, we investigate the impact of
different instruction strategies on ChatGPT's performance and observe that the
fundamental patterns of a capacity limit persist. From our empirical findings,
we propose that n-back tasks may serve as tools for benchmarking the working
memory capacity of large language models and hold potential for informing
future efforts aimed at enhancing AI working memory.
- Abstract(参考訳): ワーキングメモリは、人間の知性と人工知能の両方において重要な側面であり、情報の一時記憶と操作のためのワークスペースとして機能する。
本稿では,openai が開発した大規模言語モデル chatgpt の作業記憶能力について,様々な条件下での言語的・空間的 n-back タスクにおける性能を調べることにより体系的に評価する。
実験の結果,ChatGPTの動作メモリ容量は人間と著しく類似していることが判明した。
さらに,chatgptの性能に対する異なる指導戦略の影響を調査し,キャパシティ制限の基本パターンが持続することを確認した。
実験結果から,n-backタスクは,大規模言語モデルのワーキングメモリ容量をベンチマークするツールとして機能し,AIワーキングメモリの強化を目的とした今後の取り組みを示す可能性を示唆する。
関連論文リスト
- Learning Symbolic Task Representation from a Human-Led Demonstration: A Memory to Store, Retrieve, Consolidate, and Forget Experiences [3.0501524254444767]
認知的な記憶機能に着想を得たシンボリックラーニングフレームワークを提案する。
我々の主な貢献は、階層的な知識表現をブートストラップするための様々な記憶を調べるために使用できるフレームワークの形式化である。
論文 参考訳(メタデータ) (2024-04-16T14:14:34Z) - In-Memory Learning: A Declarative Learning Framework for Large Language
Models [56.62616975119192]
本研究では,人間ラベルデータに頼らずにエージェントが環境に整合できる新しい学習フレームワークを提案する。
このプロセス全体がメモリコンポーネント内で変換され、自然言語で実装される。
フレームワークの有効性を実証し、この問題に対する洞察を提供する。
論文 参考訳(メタデータ) (2024-03-05T08:25:11Z) - Evolving Large Language Model Assistant with Long-Term Conditional
Memory [16.91211676915775]
音声の長期記憶を利用した大規模言語モデルアシスタントを提案する。
モデルは、完了した対話ごとに一連のレコードを生成し、それらをメモリに格納する。
後続の使用では、新しいユーザ入力が与えられた場合、そのモデルがそれを使用して関連するメモリを取得し、応答の品質を向上させる。
論文 参考訳(メタデータ) (2023-12-22T02:39:15Z) - Exploring Memorization in Fine-tuned Language Models [53.52403444655213]
我々は,タスク間の微調整中に,言語モデルの暗記を探索する最初の包括的分析を行う。
オープンソースと、さまざまなタスクにまたがる独自の微調整LMによる研究は、暗記が様々な微調整タスクの間に強い相違を示すことを示している。
本稿では,この課題の相違をスパース符号化理論を用いて直感的に説明し,暗記と注目スコア分布との強い相関関係を明らかにする。
論文 参考訳(メタデータ) (2023-10-10T15:41:26Z) - Towards A Unified Agent with Foundation Models [18.558328028366816]
強化学習(RL)エージェントにそのような能力を組み込んで活用する方法を検討する。
我々は、言語を中核的推論ツールとして使用するフレームワークを設計し、エージェントが一連の基本的なRL課題にどのように取り組むことができるかを探る。
探索効率とオフラインデータセットからのデータの再利用能力において,ベースラインよりも大幅にパフォーマンスが向上したことを示す。
論文 参考訳(メタデータ) (2023-07-18T22:37:30Z) - Think Before You Act: Decision Transformers with Internal Working Memory [39.321873516095714]
大規模言語モデル(LLM)に基づく意思決定エージェントは、複数のタスクをまたいで一般化する能力を示している。
この非効率性は、モデルがトレーニングを通してパラメータの振る舞いを記憶する忘れ現象に起因していると我々は主張する。
本稿では,異なる下流タスクの情報を格納,ブレンド,検索するための内部動作メモリモジュールを提案する。
論文 参考訳(メタデータ) (2023-05-24T01:20:22Z) - Artificial Neuropsychology: Are Large Language Models Developing
Executive Functions? [0.0]
ハノイ・タワーズ・オブ・ハノイ法によるGPTの計画機能と作業記憶の評価を行った。
予備的な結果は、LLMがハノイの塔でほぼ最適解を生成することを示している。
これらの能力は、タスクが分かっていないときに、よく訓練された人間よりも非常に制限され、悪い。
論文 参考訳(メタデータ) (2023-05-06T20:53:22Z) - CogNGen: Constructing the Kernel of a Hyperdimensional Predictive
Processing Cognitive Architecture [79.07468367923619]
神経生物学的に妥当な2つの計算モデルを組み合わせた新しい認知アーキテクチャを提案する。
我々は、現代の機械学習技術の力を持つ認知アーキテクチャを開発することを目指している。
論文 参考訳(メタデータ) (2022-03-31T04:44:28Z) - Reasoning over Vision and Language: Exploring the Benefits of
Supplemental Knowledge [59.87823082513752]
本稿では,汎用知識基盤(KB)から視覚言語変換器への知識の注入について検討する。
我々は複数のタスクやベンチマークに対する様々なkbの関連性を実証的に研究する。
この技術はモデルに依存しず、最小限の計算オーバーヘッドで任意の視覚言語変換器の適用可能性を拡張することができる。
論文 参考訳(メタデータ) (2021-01-15T08:37:55Z) - Learning to Learn Variational Semantic Memory [132.39737669936125]
我々はメタラーニングに変分セマンティックメモリを導入し、数ショットラーニングのための長期的知識を得る。
セマンティックメモリはスクラッチから成長し、経験したタスクから情報を吸収することで徐々に統合される。
アドレスコンテンツから潜在記憶変数の変動推論としてメモリリコールを定式化する。
論文 参考訳(メタデータ) (2020-10-20T15:05:26Z) - PeTra: A Sparsely Supervised Memory Model for People Tracking [50.98911178059019]
メモリスロット内のエンティティを追跡するように設計されたメモリ拡張ニューラルネットワークであるPeTraを提案する。
我々は、重要なモデリング選択を経験的に比較し、強い性能を維持しながら、メモリモジュールの設計のいくつかの側面を単純化できることを見出した。
PeTraは両方の評価に非常に効果的で、限られたアノテーションで訓練されているにもかかわらず、メモリ内の人々を追跡できる能力を示している。
論文 参考訳(メタデータ) (2020-05-06T17:45:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。