論文の概要: Cognitive Effects in Large Language Models

• arxiv url: http://arxiv.org/abs/2308.14337v1
• Date: Mon, 28 Aug 2023 06:30:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-29 15:22:33.436485
• Title: Cognitive Effects in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける認知効果
• Authors: Jonathan Shaki, Sarit Kraus, Michael Wooldridge
• Abstract要約: 大規模言語モデル(LLM)は、過去1年で大きな注目を集め、現在、数億人の人々が毎日利用しています。 我々はこれらのモデルのうちの1つ(GPT-3)を、人間の認知タスクで通常見られる系統的なパターンである認知効果についてテストした。 具体的には, プライミング, 距離, SNARC, サイズ共役効果をGPT-3で示し, アンカー効果は欠如していた。
• 参考スコア（独自算出の注目度）: 14.808777775761753
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) such as ChatGPT have received enormous attention over the past year and are now used by hundreds of millions of people every day. The rapid adoption of this technology naturally raises questions about the possible biases such models might exhibit. In this work, we tested one of these models (GPT-3) on a range of cognitive effects, which are systematic patterns that are usually found in human cognitive tasks. We found that LLMs are indeed prone to several human cognitive effects. Specifically, we show that the priming, distance, SNARC, and size congruity effects were presented with GPT-3, while the anchoring effect is absent. We describe our methodology, and specifically the way we converted real-world experiments to text-based experiments. Finally, we speculate on the possible reasons why GPT-3 exhibits these effects and discuss whether they are imitated or reinvented.
• Abstract（参考訳）: ChatGPTのような大規模言語モデル(LLM)は、過去1年で大きな注目を集め、今では毎日数億人の人々が利用しています。 この技術の急速な普及は、モデルが示す可能性のあるバイアスに関する疑問を自然に提起する。 本研究では,人間の認知課題によく見られる体系的パターンである認知効果について,これらのモデル(gpt-3)の1つをテストした。 LLMは確かに、いくつかの人間の認知的影響を受けやすいことがわかりました。 具体的には, プライミング, 距離, SNARC, サイズ共役効果をGPT-3で示し, アンカー効果は欠如していた。 本手法,特に実世界の実験をテキストベースの実験に変換する方法について述べる。 最後に、gpt-3がこれらの効果を示す理由を推測し、それが模倣されたか再発明されたかについて議論する。

関連論文リスト

• How Well Can LLMs Echo Us? Evaluating AI Chatbots' Role-Play Ability with ECHO [55.25989137825992]
  チューリングテストに触発された評価フレームワークECHOを紹介する。 この枠組みは、人間と機械が生成した反応を区別するために、対象個人の知名度に係わる。 基礎モデルとして GPT-3.5 と GPT-4 の3つのロールプレイング LLM をECHO を用いて評価した。
  論文  参考訳（メタデータ） (2024-04-22T08:00:51Z)
• Assessing the nature of large language models: A caution against anthropocentrism [0.0]
  我々は,標準的,規範的,認知的・人格的尺度を用いて,主に GPT 3.5 の複数の LLM を評価した。 以上の結果から, LLMは人格の発見に反応する能力は興味深いが, 知覚を発達させる可能性が低いことが示唆された。 GPT3.5は、反復観察よりも認知的・人格的尺度に大きな変動を示した。
  論文  参考訳（メタデータ） (2023-09-14T12:58:30Z)
• Instructed to Bias: Instruction-Tuned Language Models Exhibit Emergent Cognitive Bias [57.42417061979399]
  近年の研究では、インストラクションチューニング(IT)と人間フィードバック(RLHF)による強化学習によって、大規模言語モデル(LM)の能力が劇的に向上していることが示されている。 本研究では,ITとRLHFがLMの意思決定と推論に与える影響について検討する。 以上の結果から,GPT-3,Mistral,T5ファミリーの各種モデルにおけるこれらのバイアスの存在が示唆された。
  論文  参考訳（メタデータ） (2023-08-01T01:39:25Z)
• LLM Cognitive Judgements Differ From Human [0.03626013617212666]
  認知科学文献からの限定データ帰納的推論課題におけるGPT-3とChatGPTの機能について検討する。 その結果、これらのモデルの認知的判断は人間に似ていないことが示唆された。
  論文  参考訳（メタデータ） (2023-07-20T16:22:36Z)
• Human-Like Intuitive Behavior and Reasoning Biases Emerged in Language Models -- and Disappeared in GPT-4 [0.0]
  大型言語モデル (LLM) は人間の直感に類似した行動を示す。 また、直感的な意思決定の傾向がいかに頑丈かも調べる。
  論文  参考訳（メタデータ） (2023-06-13T08:43:13Z)
• Do Large Language Models Show Decision Heuristics Similar to Humans? A Case Study Using GPT-3.5 [0.0]
  GPT-3.5は、ChatGPTと呼ばれる会話エージェントをサポートするLLMの例である。 本研究では,ChatGPTがバイアスを示すか,その他の決定効果を示すかを決定するために,一連の新しいプロンプトを用いた。 また、同じプロンプトをヒトでもテストしました。
  論文  参考訳（メタデータ） (2023-05-08T01:02:52Z)
• Sparks of Artificial General Intelligence: Early experiments with GPT-4 [66.1188263570629]
  OpenAIが開発したGPT-4は、前例のない規模の計算とデータを使って訓練された。 我々は, GPT-4が数学, コーディング, ビジョン, 医学, 法学, 心理学などにまたがる, 新規で困難な課題を解くことを実証した。 我々は、GPT-4を人工知能(AGI)システムの早期(まだ未完成)版と見なすことができると信じている。
  論文  参考訳（メタデータ） (2023-03-22T16:51:28Z)
• Evaluating Psychological Safety of Large Language Models [72.88260608425949]
  我々は,大規模言語モデル(LLM)の心理的安全性を評価するために,バイアスのないプロンプトを設計した。 短い暗黒トライアド(SD-3)とビッグファイブインベントリ(BFI)の2つのパーソナリティテストを用いて5種類のLDMを試験した。 毒性を減らすための安全基準を微調整したものの、InstructGPT, GPT-3.5, GPT-4は依然として暗い性格パターンを示した。 直接選好最適化を用いたBFIからの反応を微調整したLlama-2-chat-7Bは、モデルの心理的毒性を効果的に低減する。
  論文  参考訳（メタデータ） (2022-12-20T18:45:07Z)
• Thinking Fast and Slow in Large Language Models [0.08057006406834465]
  大規模言語モデル(LLM)は、現在、人間のコミュニケーションと日常の生活を結び付けるAIシステムの最前線にある。 本研究では, GPT-3 のような LLM は人間の直感に類似した行動を示し,それに伴う認知的誤りを示す。
  論文  参考訳（メタデータ） (2022-12-10T05:07:30Z)
• PIGLeT: Language Grounding Through Neuro-Symbolic Interaction in a 3D World [86.21137454228848]
  我々はPIGLeTを物理力学モデルと別言語モデルに分類する。 PIGLeTは文を読み、次に何が起こるか神経的にシミュレートし、その結果を文字通りの記号表現を通して伝達する。 80%以上の英語の文から「次に何が起こるか」を正確に予測することができ、100倍以上のテキスト・テキスト・アプローチを10%以上上回っている。
  論文  参考訳（メタデータ） (2021-06-01T02:32:12Z)
• Language Models are Few-Shot Learners [61.36677350504291]
  言語モデルのスケールアップにより、タスクに依存しない、少数ショットのパフォーマンスが大幅に向上することを示す。 我々は、1750億のパラメータを持つ自動回帰言語モデルであるGPT-3を訓練し、その性能を数ショットでテストする。 GPT-3は、翻訳、質問応答、クローズタスクを含む多くのNLPデータセットで高いパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-05-28T17:29:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。