論文の概要: Correlation Dimension of Auto-Regressive Large Language Models

• arxiv url: http://arxiv.org/abs/2510.21258v1
• Date: Fri, 24 Oct 2025 08:42:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 09:00:15.418121
• Title: Correlation Dimension of Auto-Regressive Large Language Models
• Title（参考訳）: 自己回帰型大言語モデルの相関次元
• Authors: Xin Du, Kumiko Tanaka-Ishii,
• Abstract要約: 大規模言語モデル(LLM)は、自然言語生成において顕著な進歩を遂げた。 彼らは、低難易度を示すときでさえ、繰り返しや不整合のようなファジィな行動を示し続けている。 本稿では,テキストの複雑さを定量化するために,自己相似性のフラクタル幾何学的尺度である相関次元を導入する。
• 参考スコア（独自算出の注目度）: 11.183390901786659
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have achieved remarkable progress in natural language generation, yet they continue to display puzzling behaviors -- such as repetition and incoherence -- even when exhibiting low perplexity. This highlights a key limitation of conventional evaluation metrics, which emphasize local prediction accuracy while overlooking long-range structural complexity. We introduce correlation dimension, a fractal-geometric measure of self-similarity, to quantify the epistemological complexity of text as perceived by a language model. This measure captures the hierarchical recurrence structure of language, bridging local and global properties in a unified framework. Through extensive experiments, we show that correlation dimension (1) reveals three distinct phases during pretraining, (2) reflects context-dependent complexity, (3) indicates a model's tendency toward hallucination, and (4) reliably detects multiple forms of degeneration in generated text. The method is computationally efficient, robust to model quantization (down to 4-bit precision), broadly applicable across autoregressive architectures (e.g., Transformer and Mamba), and provides fresh insight into the generative dynamics of LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、自然言語生成において顕著な進歩を遂げている。 これは、長距離構造的複雑さを見越しながら、局所的な予測精度を強調する従来の評価指標の鍵となる制限を強調している。 本稿では,自己相似性のフラクタル幾何学的尺度である相関次元を導入し,言語モデルによって知覚されるテキストの認識論的複雑さを定量化する。 この尺度は言語の階層的再帰構造を捉え、統一されたフレームワークで局所的およびグローバルなプロパティをブリッジする。 広範にわたる実験により,(1) 相関次元は事前学習中に3つの異なる位相を呈し,(2) 文脈依存的複雑性を反映し,(3) モデルが幻覚へ向く傾向を示し,(4) 生成したテキストの複数の退化を確実に検出することを示した。 この方法は計算効率が高く、量子化(4ビットの精度まで)をモデル化し、自己回帰的アーキテクチャ(例えば Transformer や Mamba など)で広く適用でき、LCM の生成力学に関する新たな知見を提供する。

関連論文リスト

• Scaling Laws and Representation Learning in Simple Hierarchical Languages: Transformers vs. Convolutional Architectures [49.19753720526998]
  合成データセット上でのニューラルネットワーク性能に関する理論的スケーリング法則を導出する。 局所性と重み共有によって生成過程の構造が整った畳み込みネットワークは、性能の高速化を享受できることを示す。 この発見は、ニューラルネットワークのスケーリング法則に基づくアーキテクチャ上のバイアスを明らかにし、モデルアーキテクチャとデータの統計的性質の間の相互作用によって表現学習がどのように形成されるかを強調している。
  論文  参考訳（メタデータ） (2025-05-11T17:44:14Z)
• Towards Human Cognition: Visual Context Guides Syntactic Priming in Fusion-Encoded Models [3.63819860423174]
  構造プライミング(Structure priming)は、特定の構文構造への露出が、その後の発話で同じ構造を生成する可能性を高める認知現象である。 本稿では,最初のマルチモーダル構造プライミングデータセットであるPRISMATICを紹介する。 文レベルの構造的プライミング効果を特に評価するために設計された,新しい参照不要評価指標である構文保存指数(SPI)を提案する。
  論文  参考訳（メタデータ） (2025-02-24T21:33:27Z)
• Modeling Bilingual Sentence Processing: Evaluating RNN and Transformer Architectures for Cross-Language Structural Priming [10.292557971996112]
  本研究では、言語間構造プライミングの複製におけるリカレントニューラルネットワーク(RNN)とトランスフォーマーモデルの性能を評価する。 以上の結果から,トランスフォーマーは素文構造の生成においてRNNよりも優れていたことが示唆された。 この研究は、計算モデルが多種多様な言語族にまたがる人間の認知過程をどのように反映するかの理解に寄与する。
  論文  参考訳（メタデータ） (2024-05-15T17:01:02Z)
• Cross-Lingual Transfer of Cognitive Processing Complexity [11.939409227407769]
  我々は,構造的複雑さの認知指標として,文レベルの視線追跡パターンを用いる。 マルチ言語モデル XLM-RoBERTa は,13言語に対して様々なパターンを予測できることを示す。
  論文  参考訳（メタデータ） (2023-02-24T15:48:23Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Model Criticism for Long-Form Text Generation [113.13900836015122]
  我々は,テキストの高レベル構造を評価するために,潜在空間におけるモデル批判という統計ツールを適用した。 我々は,コヒーレンス,コア,トピックスという,ハイレベルな談話の3つの代表的な側面について実験を行った。 トランスフォーマーベースの言語モデルでは、トピック構造をキャプチャできるが、構造コヒーレンスやモデリングコアスを維持するのが難しくなる。
  論文  参考訳（メタデータ） (2022-10-16T04:35:58Z)
• TAGPRIME: A Unified Framework for Relational Structure Extraction [71.88926365652034]
  TAGPRIMEは、与えられた条件に関する情報を入力テキストに追加するシーケンスタグ付けモデルである。 事前学習された言語モデルにおける自己認識機構により、プライミングワードは、出力された文脈化された表現に、与えられた条件に関するより多くの情報を含む。 5つの異なる言語にまたがる10のデータセットをカバーする3つのタスクに関する大規模な実験と分析は、TAGPRIMEの汎用性と有効性を示している。
  論文  参考訳（メタデータ） (2022-05-25T08:57:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。