Fugu-MT 論文翻訳(概要): How Random is Random? Evaluating the Randomness and Humaness of LLMs' Coin Flips

論文の概要: How Random is Random? Evaluating the Randomness and Humaness of LLMs' Coin Flips

arxiv url: http://arxiv.org/abs/2406.00092v1
Date: Fri, 31 May 2024 17:56:07 GMT
ステータス: 処理完了
システム内更新日: 2024-06-06 08:43:16.465512
Title: How Random is Random? Evaluating the Randomness and Humaness of LLMs' Coin Flips
Title（参考訳）: ランダムとは何か? LLMのコインフリップのランダム性と人間性の評価
Authors: Katherine Van Koevering, Jon Kleinberg,
Abstract要約: GPT 4 と Llama 3 は、この文脈でテストしたほとんど全ての人間のバイアスを増悪するが、GPT 3.5 はよりランダムな振る舞いを示す。ランダム性やヒューマネスのこの二分法は、LLMの基本的問題として提案され、どちらの行動も異なる状況で有用である可能性がある。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: One uniquely human trait is our inability to be random. We see and produce patterns where there should not be any and we do so in a predictable way. LLMs are supplied with human data and prone to human biases. In this work, we explore how LLMs approach randomness and where and how they fail through the lens of the well studied phenomena of generating binary random sequences. We find that GPT 4 and Llama 3 exhibit and exacerbate nearly every human bias we test in this context, but GPT 3.5 exhibits more random behavior. This dichotomy of randomness or humaness is proposed as a fundamental question of LLMs and that either behavior may be useful in different circumstances.
Abstract（参考訳）: 人間の特徴の1つは、ランダムであることができないことです。何もすべきでないパターンを見て生成し、予測可能な方法でそれを実行します。 LLMは人間のデータによって供給され、人間の偏見に左右される。本研究では、LLMがランダムネスにどのように近づき、どのようにして二進乱数列を生成するよく研究された現象のレンズを通して失敗するかを考察する。 GPT 4 と Llama 3 は、この文脈でテストしたほとんど全ての人間のバイアスを増悪するが、GPT 3.5 はよりランダムな振る舞いを示す。ランダム性やヒューマネスのこの二分法は、LLMの基本的問題として提案され、どちらの行動も異なる状況で有用である可能性がある。

関連論文リスト

Predicting Emergent Capabilities by Finetuning [98.9684114851891]
微調整された言語モデルでは,出現頻度の低いモデルに展開するスケーリングのポイントをシフトできることがわかった。提案手法は4つの標準NLPベンチマークを用いて検証する。いくつかのケースでは、最大4倍の計算でトレーニングされたモデルが出現したかどうかを正確に予測できる。
論文参考訳（メタデータ） (2024-11-25T01:48:09Z)
Randomness control and reproducibility study of random forest algorithm in R and Python [0.0]
毒性学者に対する無作為林の眼耐性評価への統合戦略について論じる。 randomForestとRanger(Rパッケージ)の4つのパッケージを比較し、SKRangerパッケージを介してPythonで適応し、広く使われているScikit-LearnとRandomForestClassifier()関数を比較します。
論文参考訳（メタデータ） (2024-08-22T07:59:49Z)
A Comparison of Large Language Model and Human Performance on Random Number Generation Tasks [0.0]
ランダム数生成タスク(RNGT)は、人間が予測可能なパターンを欠くシーケンスをどのように生成するかを調べる心理学で用いられる。本研究では,人間の生成したテキストに基づいて学習した大規模言語モデルであるChatGPT-3.5が,ランダム数列を生成する際の認知バイアスを示すかどうかを検証した。
論文参考訳（メタデータ） (2024-08-19T02:34:15Z)
REAL Sampling: Boosting Factuality and Diversity of Open-Ended Generation via Asymptotic Entropy [93.8400683020273]
大規模言語モデル(LLM)の復号法は通常、事実性の確保と多様性の維持のトレードオフに苦慮する。核サンプリングにおける事実性および多様性を向上させる復号法であるREALサンプリングを提案する。
論文参考訳（メタデータ） (2024-06-11T21:44:49Z)
Large Language Models Show Human-like Social Desirability Biases in Survey Responses [12.767606361552684]
人格評価が推定された場合,Large Language Models (LLMs) が特徴次元の望ましい端に向かってスコアを歪めていることを示す。このバイアスは、GPT-4/3.5、Claude 3、Llama 3、PaLM-2を含む全ての試験モデルに存在する。すべての質問のリバースコーディングはバイアスレベルを低下させるが、それらを取り除くことはできず、この効果はアクセプションバイアスによるものではないことを示唆している。
論文参考訳（メタデータ） (2024-05-09T19:02:53Z)
Do LLMs Play Dice? Exploring Probability Distribution Sampling in Large Language Models for Behavioral Simulation [73.58618024960968]
人間のシーケンシャルな意思決定過程をエミュレートするエージェントとして、大きな言語モデル(LLM)を採用する研究が増えている。このことは、確率分布を理解するためにLLMエージェントの容量に関する好奇心を喚起する。分析の結果, LLM エージェントは確率を理解できるが, 確率サンプリングに苦慮していることがわかった。
論文参考訳（メタデータ） (2024-04-13T16:59:28Z)
Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
論文参考訳（メタデータ） (2023-11-07T15:40:43Z)
Randomness: what is it and why does it matter? [0.0]
広く受け入れられているランダム性の定義は科学的厳密さに欠けており、その結果は疑わしい。本稿では,乱数生成自体の物理過程に着目した情報理論に基づくランダム性の定義を提案する。ランダム性偏差」と呼ばれる新しい量により、乱数生成プロセスや装置の品質の実用的な測定が可能となる。
論文参考訳（メタデータ） (2023-03-14T16:38:16Z)
Shortcomings of Top-Down Randomization-Based Sanity Checks for Evaluations of Deep Neural Network Explanations [67.40641255908443]
モデルランダム化に基づく正当性チェックの限界を,説明書の評価のために同定する。トップダウンモデルランダム化は、フォワードパスアクティベーションのスケールを高い確率で保存する。
論文参考訳（メタデータ） (2022-11-22T18:52:38Z)
Johnson-Lindenstrauss Lemma, Linear and Nonlinear Random Projections, Random Fourier Features, and Random Kitchen Sinks: Tutorial and Survey [5.967999555890417]
このチュートリアルは、Johnson-Lindenstrauss(JL)補題と線形および非線形ランダム射影に焦点を当てている。低ランク行列近似と近接近傍探索の2つのランダムプロジェクションのハイパーキューブへのランダムプロジェクションによる主な応用を解説する。極端学習機械、ランダム重み付きニューラルネットワーク、ランダムプロジェクションのアンサンブルを含む非線形ランダムプロジェクションの他の方法も紹介されている。
論文参考訳（メタデータ） (2021-08-09T16:58:42Z)
Randomized Exploration in Generalized Linear Bandits [56.05007606177762]
一般化線形帯域に対する2つのランダム化アルゴリズムについて検討する。最初のGLM-TSLは、ラプラス近似から後方分布への一般化線形モデル(GLM)をサンプリングする。第2のGLM-FPLは、過去の報酬のランダムな摂動履歴にGLMを適合させる。
論文参考訳（メタデータ） (2019-06-21T04:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。