論文の概要: Entropy in Large Language Models

• arxiv url: http://arxiv.org/abs/2602.20052v1
• Date: Mon, 23 Feb 2026 17:02:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-24 17:42:02.914531
• Title: Entropy in Large Language Models
• Title（参考訳）: 大規模言語モデルにおけるエントロピー
• Authors: Marco Scharringhausen,
• Abstract要約: 大きな言語モデルは有限アルファベットから無限の記号列を生成する。 オープンアメリカン・ナショナル・コーポレーション(OANC)が表現しているように、このソースエントロピー(1語)と自然言語(書き言葉)のエントロピー(1語)を比較する。 以上の結果から,LLMの単語エントロピーは,自然言語の単語エントロピーよりも低速であることが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: In this study, the output of large language models (LLM) is considered an information source generating an unlimited sequence of symbols drawn from a finite alphabet. Given the probabilistic nature of modern LLMs, we assume a probabilistic model for these LLMs, following a constant random distribution and the source itself thus being stationary. We compare this source entropy (per word) to that of natural language (written or spoken) as represented by the Open American National Corpus (OANC). Our results indicate that the word entropy of such LLMs is lower than the word entropy of natural speech both in written or spoken form. The long-term goal of such studies is to formalize the intuitions of information and uncertainty in large language training to assess the impact of training an LLM from LLM generated training data. This refers to texts from the world wide web in particular.
• Abstract（参考訳）: 本研究では,大言語モデル(LLM)の出力を有限のアルファベットから引き出された記号列を無制限に生成する情報源とみなす。 現代LLMの確率的性質を考えると、これらのLLMの確率的モデルは一定のランダム分布に従っており、ソース自体が定常的であると仮定する。 オープンアメリカン・ナショナル・コーポレーション(OANC)が表現しているように、このソースエントロピー(1語)と自然言語(書き言葉)のエントロピー(1語)を比較した。 以上の結果から,LLMの単語エントロピーは,自然言語の単語エントロピーよりも低速であることが示唆された。 このような研究の長期的な目標は、LLM生成トレーニングデータからLLMをトレーニングする際の影響を評価するために、大規模言語訓練における情報や不確実性の直感を形式化することである。 これは特にワールドワイドウェブのテキストを指す。

関連論文リスト

• Unnatural Languages Are Not Bugs but Features for LLMs [92.8332103170009]
  大規模言語モデル(LLM)は、ジェイルブレイクプロンプトなどの非可読テキストシーケンスを処理するために観察されている。 我々はこの認識に挑戦する体系的な調査を行い、非自然言語にはモデルで使用可能な潜在的特徴が含まれていることを示した。
  論文  参考訳（メタデータ） (2025-03-02T12:10:17Z)
• Deterministic or probabilistic? The psychology of LLMs as random number generators [0.0]
  大規模言語モデル(LLM)は、本質的に確率的文脈認識機構を通じてテキスト生成を変換している。 この結果から, 変圧器をベースとしたモデルでは, ランダムな数値出力を誘導すると, 決定論的応答が生じることが判明した。
  論文  参考訳（メタデータ） (2025-02-27T10:45:27Z)
• Randomly Sampled Language Reasoning Problems Elucidate Limitations of In-Context Learning [9.75748930802634]
  機械学習の性能を向上させるために,テキスト内学習の能力について検討する。 非常に単純なドメインを考える: 単純な言語タスクにおける次のトークン予測。 この課題において LLM は n-gram モデルに一様に劣ることがわかった。
  論文  参考訳（メタデータ） (2025-01-06T07:57:51Z)
• What Languages are Easy to Language-Model? A Perspective from Learning Probabilistic Regular Languages [78.1866280652834]
  大規模言語モデル (LM) は文字列上の分布である。 RNNとTransformer LMによる規則的LM(RLM)の学習性について検討する。 RNNとトランスフォーマーの双方において,RLMランクの複雑さは強く,学習可能性の有意な予測因子であることが判明した。
  論文  参考訳（メタデータ） (2024-06-06T17:34:24Z)
• How Proficient Are Large Language Models in Formal Languages? An In-Depth Insight for Knowledge Base Question Answering [52.86931192259096]
  知識ベース質問回答(KBQA)は,知識ベースにおける事実に基づいた自然言語質問への回答を目的としている。 最近の研究は、論理形式生成のための大規模言語モデル(LLM)の機能を活用して性能を向上させる。
  論文  参考訳（メタデータ） (2024-01-11T09:27:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。