論文の概要: Turbulence-like 5/3 spectral scaling in contextual representations of language as a complex system

• arxiv url: http://arxiv.org/abs/2604.05536v1
• Date: Tue, 07 Apr 2026 07:36:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.692489
• Title: Turbulence-like 5/3 spectral scaling in contextual representations of language as a complex system
• Title（参考訳）: 複合システムとしての言語の文脈表現における乱流様5/3スペクトルスケーリング
• Authors: Zhongxin Yang, Chun Bao, Yuanwei Bin, Xiang I. A. Yang, Shiyi Chen,
• Abstract要約: 埋め込みステップ信号を用いてトークン列に沿ったスケール依存変動を定量化する。 複数の言語とコーパスにまたがって、結果として生じるパワースペクトルは、5/3$に近い指数を持つ堅牢なパワー法則を示す。 乱流におけるコルモゴロフスペクトルの類似により, 意味情報は言語規模にわたって, スケールフリーで自己相似的な方法で統合されていることが示唆された。
• 参考スコア（独自算出の注目度）: 1.4363133217553712
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Natural language is a complex system that exhibits robust statistical regularities. Here, we represent text as a trajectory in a high-dimensional embedding space generated by transformer-based language models, and quantify scale-dependent fluctuations along the token sequence using an embedding-step signal. Across multiple languages and corpora, the resulting power spectrum exhibits a robust power law with an exponent close to $5/3$ over an extended frequency range. This scaling is observed consistently in contextual embeddings from both human-written and AI-generated text, but is absent in static word embeddings and is disrupted by randomization of token order. These results show that the observed scaling reflects multiscale, context-dependent organization rather than lexical statistics alone. By analogy with the Kolmogorov spectrum in turbulence, our findings suggest that semantic information is integrated in a scale-free, self-similar manner across linguistic scales, and provide a quantitative, model-agnostic benchmark for studying complex structure in language representations.
• Abstract（参考訳）: 自然言語は、統計的に頑健な規則性を示す複雑なシステムである。 ここでは,変換器ベース言語モデルにより生成された高次元埋め込み空間におけるテキストを軌跡として表現し,埋め込みステップ信号を用いてトークン列に沿ったスケール依存変動を定量化する。 複数の言語とコーパスにまたがって、結果として生じるパワースペクトルは、5/3ドルに近い周波数範囲の指数を持つロバストなパワー則を示す。 このスケーリングは、人書きテキストとAI生成テキストの両方からのコンテキスト埋め込みで一貫して観察されるが、静的単語埋め込みには欠落しており、トークン順序のランダム化によって破壊される。 これらの結果から, 観測されたスケーリングは, 語彙統計のみでなく, 大規模で文脈に依存した組織を反映していることがわかった。 乱流におけるコルモゴロフスペクトルの類似により, 意味情報は言語規模でスケールフリーで自己相似的に統合され, 言語表現の複雑な構造を研究するための定量的, モデルに依存しないベンチマークが提供されることが示唆された。

関連論文リスト

• The Statistical Signature of LLMs [1.3135750017147134]
  統計的正則性に関する単純なモデルに依存しない尺度は、生成規則を表面テキストと直接区別することを示す。 設定全体にわたって、圧縮は確率的生成の永続的な構造的シグネチャを明らかにする。 本研究は, 生成システムがいかにテキスト生産を再構築するかを定量化するための, シンプルで堅牢なフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-20T11:33:37Z)
• Scale-Dependent Semantic Dynamics Revealed by Allan Deviation [0.0]
  順序文埋め込みを変位信号として扱うことで意味の安定性を解析する。 大規模言語モデルは人間のテキストの局所的なスケーリング統計を模倣することに成功したが、安定性の地平線は体系的に低下していることがわかった。
  論文  参考訳（メタデータ） (2026-01-29T13:10:59Z)
• From Linear Input to Hierarchical Structure: Function Words as Statistical Cues for Language Learning [2.893006778402251]
  我々は関数語が言語習得において重要な役割を担っていると論じる。 3つの特性を全て保持する言語変種は、より容易にニューラルラーニングによって取得できることが示される。
  論文  参考訳（メタデータ） (2026-01-29T02:42:12Z)
• Correlation Dimension of Auto-Regressive Large Language Models [11.183390901786659]
  大規模言語モデル(LLM)は、自然言語生成において顕著な進歩を遂げた。 彼らは、低難易度を示すときでさえ、繰り返しや不整合のようなファジィな行動を示し続けている。 本稿では,テキストの複雑さを定量化するために,自己相似性のフラクタル幾何学的尺度である相関次元を導入する。
  論文  参考訳（メタデータ） (2025-10-24T08:42:23Z)
• The Harmonic Structure of Information Contours [54.38365999922221]
  我々は、英語、スペイン語、ドイツ語、オランダ語、バスク語、ブラジルポルトガル語のテキストで、周期的な情報レートのパターンが一貫した証拠を見出した。 多くの支配的な周波数は談話構造と一致しており、これらの振動は意味のある言語組織を反映していることを示唆している。
  論文  参考訳（メタデータ） (2025-06-04T12:56:30Z)
• Towards Understanding Text Hallucination of Diffusion Models via Local Generation Bias [76.85949078144098]
  本稿では,拡散モデルが個々のシンボルを正しく生成するが,それらを意味のない方法で組み立てるテキスト幻覚に焦点を当てる。 このような現象は,ネットワークの局所的生成バイアスに起因すると考えられる。 また、ハイパーキューブ上の2層学習パリティポイントを含む特定のケースのトレーニングダイナミクスを理論的に解析する。
  論文  参考訳（メタデータ） (2025-03-05T15:28:50Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Learning Multiscale Transformer Models for Sequence Generation [33.73729074207944]
  単語境界情報と句レベルの事前知識に基づいて,スケール間の関係を確立することで,マルチスケールトランスフォーマーモデルを構築する。 特に、いくつかのテストセットにおいて、効率を犠牲にすることなく、強いベースラインに対して一貫したパフォーマンス向上を実現した。
  論文  参考訳（メタデータ） (2022-06-19T07:28:54Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。