論文の概要: Use of probabilistic phrases in a coordination game: human versus GPT-4
- arxiv url: http://arxiv.org/abs/2310.10544v1
- Date: Mon, 16 Oct 2023 16:14:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-17 13:11:58.201819
- Title: Use of probabilistic phrases in a coordination game: human versus GPT-4
- Title(参考訳): 協調ゲームにおける確率的フレーズの使用:人間対GPT-4
- Authors: Laurence T Maloney, Maria F Dal Martello, Vivian Fei and Valerie Ma
- Abstract要約: 英語話者は確率的フレーズを使って、出来事の確率や可能性に関する情報を伝える。
まず2つの異なる文脈で23の確率的フレーズの確率とあいまいさを推定する人間の能力を評価した。
その結果,ヒトの中央値とGPT4は一致した確率推定を割り当てた。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: English speakers use probabilistic phrases such as likely to communicate
information about the probability or likelihood of events. Communication is
successful to the extent that the listener grasps what the speaker means to
convey and, if communication is successful, two individuals can potentially
coordinate their actions based on shared knowledge about uncertainty. We first
assessed human ability to estimate the probability and the ambiguity
(imprecision) of 23 probabilistic phrases in two different contexts, investment
advice and medical advice. We then had GPT4 (OpenAI), a recent Large Language
Model, complete the same tasks as the human participants. We found that the
median human participant and GPT4 assigned probability estimates that were in
good agreement (proportions of variance accounted were close to .90). GPT4's
estimates of probability both in the investment and Medical contexts were as
close or closer to that of the human participants as the human participants
were to one another. Estimates of probability for both the human participants
and GPT4 were little affected by context. In contrast, human and GPT4 estimates
of ambiguity were not in as good agreement. We repeated some of the GPT4
estimates to assess their stability: does GPT4, if run twice, produce the same
or similar estimates? There is some indication that it does not.
- Abstract(参考訳): 英語話者は確率的フレーズを使って、出来事の確率や可能性に関する情報を伝える。
コミュニケーションは、リスナーが伝達する意味を把握できる程度に成功し、コミュニケーションが成功すれば、不確実性に関する共有知識に基づいて2人の個人が行動を調整することができる。
まず,23の確率的フレーズの確率とあいまいさ(精度)を,投資アドバイスと医療アドバイスの2つの異なる文脈で評価した。
次に、最近の大規模言語モデルであるGPT4(OpenAI)が、人間の参加者と同じタスクを完了しました。
その結果、ヒトの中央値とGPT4が一致した確率推定値を割り振った(分散の確率は.90に近かった)。
GPT4の投資状況と医療状況の両方における確率の推定は、ヒトの参加者が互いに近かったり近かったりした。
ヒトとgpt4の確率は文脈によってほとんど影響されなかった。
対照的に、人間とgpt4のあいまいさの推定は良い一致ではなかった。
GPT4の安定性を評価するために、GPT4の見積もりをいくつか繰り返した。
そうでないという兆候がいくつかある。
関連論文リスト
- On the Conversational Persuasiveness of Large Language Models: A Randomized Controlled Trial [10.770999939834985]
制御された無害な環境でAIによる説得の効果を分析する。
その結果、GPT-4を個人情報へのアクセスで議論した参加者は、人間を議論した参加者と比較して、相手との合意が増大する確率が81.7%高かった。
論文 参考訳(メタデータ) (2024-03-21T13:14:40Z) - Large Language Models for Psycholinguistic Plausibility Pretesting [47.1250032409564]
本稿では,言語モデル (LM) が妥当性判定に有効かどうかを検討する。
その結果, GPT-4の妥当性判定は, 調査対象の構造全体にわたって, 人間の判断と高い相関関係があることが判明した。
そして、この相関関係が、人間の代わりにLMを使うことを暗示するかどうかを検証した。
論文 参考訳(メタデータ) (2024-02-08T07:20:02Z) - Large Language Model Prediction Capabilities: Evidence from a Real-World
Forecasting Tournament [2.900810893770134]
我々は,OpenAIの最先端の大規模言語モデルであるGPT-4を,Metaculusプラットフォーム上で開催される3ヶ月の予測トーナメントに登録する。
GPT-4の確率予測は人混みの中央値よりもかなり精度が低いことを示す。
この過小評価の潜在的な説明は、現実の予測トーナメントでは、真の答えが予測された時点で真に未知であるということである。
論文 参考訳(メタデータ) (2023-10-17T17:58:17Z) - Automatically measuring speech fluency in people with aphasia: first
achievements using read-speech data [55.84746218227712]
本研究の目的は,言語習得の分野で開発された信号処理algorithmの関連性を評価することである。
論文 参考訳(メタデータ) (2023-08-09T07:51:40Z) - Large language models can segment narrative events similarly to humans [8.167828404303107]
イベント境界は、人間のアノテーションではなく、大きな言語モデルであるGPT-3を使って導出される。
GPT-3アノテーションはヒトのイベントアノテーションと大きく相関している。
この発見は、GPT-3が自動イベントアノテーションの実現可能なソリューションであることを示唆している。
論文 参考訳(メタデータ) (2023-01-24T20:34:37Z) - Probing neural language models for understanding of words of estimative
probability [21.072862529656287]
推定確率の単語(WEP)は、文の妥当性の表現である。
ニューラルネットワーク処理モデルが各WEPに関連付けられた合意確率レベルを捕捉する能力を測定する。
論文 参考訳(メタデータ) (2022-11-07T08:29:11Z) - Reconciling Individual Probability Forecasts [78.0074061846588]
データに同意する2つの当事者は、個々の確率をモデル化する方法に異を唱えることができない。
個々の確率は不可知であるが、計算的かつデータ効率のよいプロセスで競合できると結論付ける。
論文 参考訳(メタデータ) (2022-09-04T20:20:35Z) - On the probability-quality paradox in language generation [76.69397802617064]
我々は情報理論レンズを用いて言語生成を分析する。
人間の言語は自然文字列上の分布のエントロピーに近い量の情報を含むべきであると仮定する。
論文 参考訳(メタデータ) (2022-03-31T17:43:53Z) - Partner Matters! An Empirical Study on Fusing Personas for Personalized
Response Selection in Retrieval-Based Chatbots [51.091235903442715]
本稿では,自己とパートナーの話者が応答選択の課題に与える影響について検討する。
4つのペルソナ融合戦略が設計されており、異なる方法でペルソナがコンテキストや応答と相互作用することを前提としている。
Persona-Chatデータセットに関する実証研究は、パートナーペルソナが応答選択の精度を向上させることができることを示している。
論文 参考訳(メタデータ) (2021-05-19T10:32:30Z) - Epidemic mitigation by statistical inference from contact tracing data [61.04165571425021]
我々は,個人が感染するリスクを推定するためにベイズ推定法を開発した。
本稿では,感染防止のための検査・隔離戦略を最適化するために,確率論的リスク推定手法を提案する。
我々のアプローチは、最近接触した個人間の通信のみを必要とする、完全に分散されたアルゴリズムに変換されます。
論文 参考訳(メタデータ) (2020-09-20T12:24:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。