論文の概要: Mind Scramble: Unveiling Large Language Model Psychology Via Typoglycemia
- arxiv url: http://arxiv.org/abs/2410.01677v3
- Date: Thu, 24 Oct 2024 02:49:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-04 16:03:18.877923
- Title: Mind Scramble: Unveiling Large Language Model Psychology Via Typoglycemia
- Title（参考訳）: Mind Scramble:Typoglycemiaによる大規模言語モデル心理学の展開
- Authors: Miao Yu, Junyuan Mao, Guibin Zhang, Jingheng Ye, Junfeng Fang, Aoxiao Zhong, Yang Liu, Yuxuan Liang, Kun Wang, Qingsong Wen,
- Abstract要約: 大規模言語モデル(LLM)の研究は、物理世界の複雑なタスクに対処する上で有望であることを示している。
GPT-4のような強力なLDMは、人間のような認知能力を示し始めていることが研究で示唆されている。
- 参考スコア（独自算出の注目度）: 27.650551131885152
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Research into the external behaviors and internal mechanisms of large language models (LLMs) has shown promise in addressing complex tasks in the physical world. Studies suggest that powerful LLMs, like GPT-4, are beginning to exhibit human-like cognitive abilities, including planning, reasoning, and reflection. In this paper, we introduce a research line and methodology called LLM Psychology, leveraging human psychology experiments to investigate the cognitive behaviors and mechanisms of LLMs. We migrate the Typoglycemia phenomenon from psychology to explore the "mind" of LLMs. Unlike human brains, which rely on context and word patterns to comprehend scrambled text, LLMs use distinct encoding and decoding processes. Through Typoglycemia experiments at the character, word, and sentence levels, we observe: (I) LLMs demonstrate human-like behaviors on a macro scale, such as lower task accuracy and higher token/time consumption; (II) LLMs exhibit varying robustness to scrambled input, making Typoglycemia a benchmark for model evaluation without new datasets; (III) Different task types have varying impacts, with complex logical tasks (e.g., math) being more challenging in scrambled form; (IV) Each LLM has a unique and consistent "cognitive pattern" across tasks, revealing general mechanisms in its psychology process. We provide an in-depth analysis of hidden layers to explain these phenomena, paving the way for future research in LLM Psychology and deeper interpretability.
- Abstract（参考訳）: 大規模言語モデル(LLM)の外部動作と内部機構の研究は、物理世界の複雑なタスクに対処する上で有望であることが示されている。
研究によると、GPT-4のような強力なLDMは、計画、推論、反射を含む人間のような認知能力を示し始めている。
本稿では,LLMの認知行動とメカニズムを解明するために,人間の心理学実験を活用するLLM心理学という研究ラインと方法論を紹介する。
我々は, LLMの「ミンド」を探るため, タイポ血糖現象を心理学から移行した。
スクランブルテキストを理解するための文脈や単語パターンに依存する人間の脳とは異なり、LLMは異なるエンコーディングとデコードプロセスを使用する。
キャラクタ,単語,文レベルでのタイポ血糖実験を通じて, (I) LLMは, タスク精度の低下やトークン/時間消費の増大など,マクロスケールでの人間的行動を示す; (II) LLMはスクランブル入力に対して様々な堅牢性を示す; (II) タイポ血糖を新しいデータセットを使わずにモデル評価のためのベンチマークにする; (III) 複雑な論理的タスク(例えば数学)がスクランブルフォームでより困難である; (IV) 各LLMは,タスク全体にわたって一貫した「認知パターン」を持ち,その心理学的プロセスにおける一般的なメカニズムを明らかにする。
我々は、これらの現象を説明するために隠された層を詳細に分析し、LLM心理学における将来の研究と深い解釈可能性の道を開く。
関連論文リスト
- Large Language Models as Neurolinguistic Subjects: Identifying Internal Representations for Form and Meaning [49.60849499134362]
本研究では,大言語モデル(LLM)の記号化(形式)および記号化(意味)に関する言語的理解について検討する。
伝統的な精神言語学的評価は、しばしばLSMの真の言語能力を誤って表現する統計バイアスを反映している。
ミニマルペアと診断プローブを組み合わせてモデル層間のアクティベーションパターンを解析する新しい手法を用いて,ニューロ言語学的アプローチを提案する。
論文 参考訳（メタデータ） (2024-11-12T04:16:44Z) - Cognitive phantoms in LLMs through the lens of latent variables [0.3441021278275805]
大規模言語モデル(LLM)はますます現実のアプリケーションに到達し、それらの振る舞いをよりよく理解する必要がある。
近年のLCMに対する心理測定調査では、LLMの人間らしい特徴が報告されており、潜在的に影響する可能性がある。
このアプローチは有効性の問題に悩まされており、これらの特性がLLMに存在し、人間用に設計されたツールで測定可能であることを前提としている。
本研究では,人間と3人のLDMの潜在的性格構造を2つの評価されたパーソナリティアンケートを用いて比較することにより,この問題を考察する。
論文 参考訳（メタデータ） (2024-09-06T12:42:35Z) - Psychomatics -- A Multidisciplinary Framework for Understanding Artificial Minds [0.319565400223685]
本稿では,認知科学,言語学,コンピュータ科学を橋渡しする心理学を紹介する。
LLMの高レベル機能をよりよく理解することを目的としている。
心理学は、言語の性質、認知、知性に関する変革的な洞察を与える可能性を秘めている。
論文 参考訳（メタデータ） (2024-07-23T12:53:41Z) - Quantifying AI Psychology: A Psychometrics Benchmark for Large Language Models [57.518784855080334]
大きな言語モデル(LLM)は例外的なタスク解決能力を示しており、人間に似た役割を担っている。
本稿では,LLMにおける心理学的次元を調査するための枠組みとして,心理学的識別,評価データセットのキュレーション,結果検証による評価について述べる。
本研究では,個性,価値観,感情,心の理論,モチベーション,知性の6つの心理学的側面を網羅した総合的心理測定ベンチマークを導入する。
論文 参考訳（メタデータ） (2024-06-25T16:09:08Z) - Exploring Concept Depth: How Large Language Models Acquire Knowledge at Different Layers? [57.04803703952721]
大規模言語モデル(LLM)は、幅広いタスクで顕著なパフォーマンスを示している。
しかし、これらのモデルが様々な複雑さのタスクを符号化するメカニズムは、いまだに理解されていない。
我々は、より複雑な概念が一般的により深い層で取得されることを示すために、概念深さの概念を紹介します。
論文 参考訳（メタデータ） (2024-04-10T14:56:40Z) - Exploring the Frontiers of LLMs in Psychological Applications: A Comprehensive Review [4.147674289030404]
大規模言語モデル(LLM)は、人間の認知と行動の側面をシミュレートする可能性がある。
LLMは、文献レビュー、仮説生成、実験的なデザイン、実験的な主題、データ分析、学術的な執筆、心理学におけるピアレビューのための革新的なツールを提供する。
データプライバシ、心理的研究にLLMを使うことの倫理的意味、モデルの制限をより深く理解する必要がある、といった問題があります。
論文 参考訳（メタデータ） (2024-01-03T03:01:29Z) - Illuminating the Black Box: A Psychometric Investigation into the
Multifaceted Nature of Large Language Models [3.692410936160711]
本研究では,AIパーソナリティやAInalityの概念を探求し,Large Language Models(LLM)が人間のパーソナリティに似たパターンを示すことを示唆する。
プロジェクティブテストを用いて,直接質問を通じて容易にはアクセスできないLLM個性の隠れた側面を明らかにする。
機械学習解析の結果,LSMは異なるAinality特性を示し,多様な性格型を示し,外的指示に応答して動的に変化を示すことが明らかとなった。
論文 参考訳（メタデータ） (2023-12-21T04:57:21Z) - Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。
ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。
本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
論文 参考訳（メタデータ） (2023-11-08T20:41:18Z) - Machine Psychology [54.287802134327485]
我々は、心理学にインスパイアされた行動実験において、研究のための実りある方向が、大きな言語モデルに係わっていると論じる。
本稿では,本手法が表に示す理論的視点,実験パラダイム,計算解析技術について述べる。
これは、パフォーマンスベンチマークを超えた、生成人工知能(AI)のための「機械心理学」の道を開くものだ。
論文 参考訳（メタデータ） (2023-03-24T13:24:41Z) - Evaluating and Inducing Personality in Pre-trained Language Models [78.19379997967191]
人間の個性理論を機械行動研究のツールとして活用することで,心理測定研究からインスピレーションを得た。
これらの疑問に答えるために,機械の動作を研究するためのMachine Personality Inventory(MPI)ツールを紹介した。
MPIは、ビッグファイブ・パーソナリティ・ファクター(Big Five Personality Factors、ビッグファイブ・パーソナリティ・ファクター)理論とパーソナリティ評価在庫に基づく標準化されたパーソナリティ・テストに従う。
パーソナリティ・プロンプト法(P2法)を考案し、特定のパーソナリティを持つLSMを制御可能な方法で誘導する。
論文 参考訳（メタデータ） (2022-05-20T07:32:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。