論文の概要: A Comparison of Large Language Model and Human Performance on Random Number Generation Tasks

• arxiv url: http://arxiv.org/abs/2408.09656v1
• Date: Mon, 19 Aug 2024 02:34:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-20 17:44:03.275224
• Title: A Comparison of Large Language Model and Human Performance on Random Number Generation Tasks
• Title（参考訳）: 乱数生成課題における大規模言語モデルと人的性能の比較
• Authors: Rachel M. Harrison,
• Abstract要約: ランダム数生成タスク(RNGT)は、人間が予測可能なパターンを欠くシーケンスをどのように生成するかを調べる心理学で用いられる。 本研究では,人間の生成したテキストに基づいて学習した大規模言語モデルであるChatGPT-3.5が,ランダム数列を生成する際の認知バイアスを示すかどうかを検証した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Random Number Generation Tasks (RNGTs) are used in psychology for examining how humans generate sequences devoid of predictable patterns. By adapting an existing human RNGT for an LLM-compatible environment, this preliminary study tests whether ChatGPT-3.5, a large language model (LLM) trained on human-generated text, exhibits human-like cognitive biases when generating random number sequences. Initial findings indicate that ChatGPT-3.5 more effectively avoids repetitive and sequential patterns compared to humans, with notably lower repeat frequencies and adjacent number frequencies. Continued research into different models, parameters, and prompting methodologies will deepen our understanding of how LLMs can more closely mimic human random generation behaviors, while also broadening their applications in cognitive and behavioral science research.
• Abstract（参考訳）: ランダム数生成タスク(RNGT)は、人間が予測可能なパターンを欠くシーケンスをどのように生成するかを調べる心理学で用いられる。 既存の人間のRNGTをLLM互換環境に適用することにより、人間の生成したテキストに基づいて訓練された大きな言語モデルであるChatGPT-3.5が、ランダムな数列を生成する際に人間に似た認知バイアスを示すかどうかを予備研究により検証する。 初期の知見から、ChatGPT-3.5は人間に比べて繰り返しパターンやシーケンシャルパターンを効果的に回避し、特に頻度が低く、数頻度が隣接していることが示唆された。 異なるモデル、パラメータ、およびプロンプトの方法論に関する継続的な研究は、LLMが人間のランダムな生成行動をより密に模倣する方法の理解を深めるとともに、認知科学や行動科学の研究におけるそれらの応用を広げる。

関連論文リスト

• From Loops to Oops: Fallback Behaviors of Language Models Under Uncertainty [67.81977289444677]
  大型言語モデル(LLM)は幻覚やシーケンスの繰り返しのような望ましくない振る舞いを示すことが多い。 転倒行動(シークエンス反復、退化テキスト、幻覚)を分類し、それらを広範囲に分析する。 我々の実験では、これらのすべての軸にまたがる、明確な、一貫したフォールバック動作の順序が明らかになりました。
  論文  参考訳（メタデータ） (2024-07-08T16:13:42Z)
• Humans and language models diverge when predicting repeating text [52.03471802608112]
  我々は,人間とLMのパフォーマンスが分岐するシナリオを提示する。 人間とGPT-2 LMの予測はテキストスパンの最初のプレゼンテーションで強く一致しているが、メモリが役割を担い始めると、その性能は急速にバラバラになる。 このシナリオが,LMを人間の行動に近づける上で,今後の作業に拍車をかけることを期待しています。
  論文  参考訳（メタデータ） (2023-10-10T08:24:28Z)
• What Comes Next? Evaluating Uncertainty in Neural Text Generators Against Human Production Variability [28.403105682913374]
  我々は,4つの自然言語生成(NLG)タスクにおいて,人間の生産が語彙的に,構文的に,意味的に変化する範囲を特徴付ける。 次に、生成系の予測確率分布と復号化アルゴリズムによって形成される出力文字列の空間を調べ、その不確実性を探索する。 我々は、NLGモデルと復号化戦略を分析し、複数のサンプルを持つジェネレータを探索することで、モデルの不確実性表現を理解するのに必要な詳細レベルが提供されることを示した。
  論文  参考訳（メタデータ） (2023-05-19T14:41:55Z)
• Learning signatures of decision making from many individuals playing the same game [54.33783158658077]
  我々は、個人の「行動スタイル」を符号化する表現を学習する予測フレームワークを設計する。 我々は,3本腕のバンディットタスクを行う1,000人の人間による大規模行動データセットに本手法を適用した。
  論文  参考訳（メタデータ） (2023-02-21T21:41:53Z)
• Out of One, Many: Using Language Models to Simulate Human Samples [3.278541277919869]
  このようなツール(GPT-3言語モデル)の「アルゴリズムバイアス」は、粒度と人口統計学的に相関していることを示す。 我々は、実際の人間の参加者から何千もの社会デマトグラフィーのバックストリーにモデルを条件付けることで「シリコンサンプル」を作成します。
  論文  参考訳（メタデータ） (2022-09-14T19:53:32Z)
• Cognitive Modeling of Semantic Fluency Using Transformers [6.445605125467574]
  本研究では,認知科学におけるよく研究された課題であるセマンティック・フラエンシ・タスク(SFT)において,人間のパフォーマンスを予測することで第一歩を踏み出す。 実装上の違いが明らかであるにもかかわらず,人間の流布作業行動の個人差を識別するためにTLMを使用することが可能であることを示す予備的証拠を報告する。 本稿では,知識表現の認知的モデリングにおける本研究の意義について論じる。
  論文  参考訳（メタデータ） (2022-08-20T16:48:04Z)
• Overcoming the Domain Gap in Neural Action Representations [60.47807856873544]
  3Dポーズデータは、手動で介入することなく、マルチビュービデオシーケンスから確実に抽出できる。 本稿では,ニューラルアクション表現の符号化を,ニューラルアクションと行動拡張のセットと共に導くために使用することを提案する。 ドメインギャップを減らすために、トレーニングの間、同様の行動をしているように見える動物間で神経と行動のデータを取り替える。
  論文  参考訳（メタデータ） (2021-12-02T12:45:46Z)
• Time Series Clustering for Human Behavior Pattern Mining [11.906475748246532]
  時系列データから人間の行動をモデル化するための新しいクラスタリング手法を提案する。 頻繁な人間の行動パターンを効果的にマイニングするために、我々は3段階のパイプラインを利用する。 2つの実世界のデータセットとシミュレーションデータセットに関する実証研究は、MTパターンの有効性を実証している。
  論文  参考訳（メタデータ） (2021-10-14T17:19:35Z)
• A Targeted Assessment of Incremental Processing in Neural LanguageModels and Humans [2.7624021966289605]
  本稿では,人間とニューラル言語モデルにおけるインクリメンタル処理のスケールアップ比較について述べる。 データはInterpolated Maze Taskと呼ばれる新しいオンライン実験パラダイムに由来する。 人間と言語モデルの両方が、非文法的な文領域における処理困難を増大させていることが判明した。
  論文  参考訳（メタデータ） (2021-06-06T20:04:39Z)
• Decoding Methods for Neural Narrative Generation [74.37264021226308]
  ナラティブ生成(英: Narrative generation)とは、モデルがプロンプトを与えられたストーリーを生成するオープンエンドのNLPタスクである。 ニューラル・ナラティブ・ジェネレーションに対するニューラル・レスポンス・ジェネレーションのためのデコード手法の適用と評価を行った。
  論文  参考訳（メタデータ） (2020-10-14T19:32:56Z)
• Mechanisms for Handling Nested Dependencies in Neural-Network Language Models and Humans [75.15855405318855]
  我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。 ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。 我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
  論文  参考訳（メタデータ） (2020-06-19T12:00:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。