論文の概要: Deterministic or probabilistic? The psychology of LLMs as random number generators

• arxiv url: http://arxiv.org/abs/2502.19965v1
• Date: Thu, 27 Feb 2025 10:45:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 15:15:46.897756
• Title: Deterministic or probabilistic? The psychology of LLMs as random number generators
• Title（参考訳）: 決定的か確率的か : 乱数生成器としてのLCMの心理学
• Authors: Javier Coronado-Blázquez,
• Abstract要約: 大規模言語モデル(LLM)は、本質的に確率的文脈認識機構を通じてテキスト生成を変換している。 この結果から, 変圧器をベースとしたモデルでは, ランダムな数値出力を誘導すると, 決定論的応答が生じることが判明した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have transformed text generation through inherently probabilistic context-aware mechanisms, mimicking human natural language. In this paper, we systematically investigate the performance of various LLMs when generating random numbers, considering diverse configurations such as different model architectures, numerical ranges, temperature, and prompt languages. Our results reveal that, despite their stochastic transformers-based architecture, these models often exhibit deterministic responses when prompted for random numerical outputs. In particular, we find significant differences when changing the model, as well as the prompt language, attributing this phenomenon to biases deeply embedded within the training data. Models such as DeepSeek-R1 can shed some light on the internal reasoning process of LLMs, despite arriving to similar results. These biases induce predictable patterns that undermine genuine randomness, as LLMs are nothing but reproducing our own human cognitive biases.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、人間の自然言語を模倣して、本質的に確率的な文脈認識機構を通じてテキスト生成を変換している。 本稿では,異なるモデルアーキテクチャ,数値範囲,温度,プロンプト言語など,多種多様な構成を考慮し,乱数生成時のLLMの性能を体系的に検討する。 その結果, 確率変換器をベースとしたアーキテクチャでは, ランダムな数値出力を誘導すると, 決定論的応答がしばしば現れることがわかった。 特に,モデル変更時の大きな違いは,学習データに深く埋め込まれたバイアスに起因する。 DeepSeek-R1のようなモデルは、同様の結果に到達したにもかかわらず、LSMの内部的推論プロセスにいくらか光を当てることができる。 LLMは人間の認知バイアスを再現するだけなので、これらのバイアスは真のランダム性を損なう予測可能なパターンを生み出します。

関連論文リスト

• Natural Fingerprints of Large Language Models [36.221625684689414]
  大規模言語モデル(LLM)は出力にバイアスを示すことが多い。 これらは不公平な反応のような過度な問題から、どのモデルが生成したのかを明らかにする微妙なパターンまで様々である。 LLMの特徴を識別する要因について検討する。
  論文  参考訳（メタデータ） (2025-04-21T05:48:52Z)
• Computation Mechanism Behind LLM Position Generalization [59.013857707250814]
  大規模言語モデル(LLM)は、テキストの位置を扱う際の柔軟性を示す。 彼らは位置摂動のあるテキストを理解し、より長いテキストに一般化することができる。 この研究は言語現象とLLMの計算機構を結びつける。
  論文  参考訳（メタデータ） (2025-03-17T15:47:37Z)
• Unnatural Languages Are Not Bugs but Features for LLMs [92.8332103170009]
  大規模言語モデル(LLM)は、ジェイルブレイクプロンプトなどの非可読テキストシーケンスを処理するために観察されている。 我々はこの認識に挑戦する体系的な調査を行い、非自然言語にはモデルで使用可能な潜在的特徴が含まれていることを示した。
  論文  参考訳（メタデータ） (2025-03-02T12:10:17Z)
• What Languages are Easy to Language-Model? A Perspective from Learning Probabilistic Regular Languages [78.1866280652834]
  大規模言語モデル (LM) は文字列上の分布である。 RNNとTransformer LMによる規則的LM(RLM)の学習性について検討する。 RNNとトランスフォーマーの双方において,RLMランクの複雑さは強く,学習可能性の有意な予測因子であることが判明した。
  論文  参考訳（メタデータ） (2024-06-06T17:34:24Z)
• In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
  我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。 我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
  論文  参考訳（メタデータ） (2024-01-23T18:59:21Z)
• In-Context Learning Dynamics with Random Binary Sequences [16.645695664776433]
  テキスト内学習のダイナミクスを解析できるフレームワークを提案する。 人間の知覚の認知科学に触発されて、ランダムなバイナリシーケンスをコンテキストとして使用する。 最新のGPT-3.5+モデルでは、一見ランダムな数を生成し、基本形式言語を学習する創発的な能力を見出す。
  論文  参考訳（メタデータ） (2023-10-26T17:54:52Z)
• ThinkSum: Probabilistic reasoning over sets using large language models [18.123895485602244]
  本稿では,2段階の確率的推論パラダイムであるThinkSumを提案する。 我々は,LLM評価タスクのBIGベンチスイートにおけるThinkSumの可能性とメリットを実証する。
  論文  参考訳（メタデータ） (2022-10-04T00:34:01Z)
• Evaluating Distributional Distortion in Neural Language Modeling [81.83408583979745]
  稀な事象の重みは、言語における分布の総確率質量のかなりの量を占める。 パープレキシティなどの標準言語モデリングメトリクスは、集約された言語モデル(LM)のパフォーマンスを定量化する。 自然言語を人工言語として訓練した生成モデルを用いた制御評価手法を開発した。
  論文  参考訳（メタデータ） (2022-03-24T01:09:46Z)
• Multi-timescale Representation Learning in LSTM Language Models [69.98840820213937]
  言語モデルは、非常に短いから非常に長いまでの時間スケールで単語間の統計的依存関係を捉えなければならない。 我々は、長期記憶言語モデルにおけるメモリゲーティング機構が、パワーローの減衰を捉えることができるかの理論を導出した。 実験の結果,自然言語で学習したLSTM言語モデルは,この理論分布を近似することがわかった。
  論文  参考訳（メタデータ） (2020-09-27T02:13:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。