論文の概要: A scaling law of contextual persistence in human language

• arxiv url: http://arxiv.org/abs/2607.25184v1
• Date: Tue, 28 Jul 2026 01:28:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-29 20:50:42.674044
• Title: A scaling law of contextual persistence in human language
• Title（参考訳）: 人間の言語における文脈持続性のスケーリング法則
• Abstract要約: 連続した単語の配列が同等の法則に従うことを示す。 我々は,同じ単語をスクランブルした距離dで,先行文脈により付与されるターゲットの難易度を計測した。 その結果、人間の言語における文脈的永続性のスケーリング法則が確立された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human language exhibits lawful structure at the level of words (frequency, vocabulary growth) and word pairs (co-occurrence across distance). Here we show that the arrangement of words in sequence -- a central determinant of meaning -- obeys a comparable law. Using large language models as probabilistic probes, we measured the reduction in target perplexity conferred by prior context at distance d beyond that of the same words scrambled; this difference, the contextual persistence function P(d), isolates the influence of arrangement. Across ten corpora spanning six language families and written and spoken modalities, P(d) decayed approximately as 1/d ($P(d) \propto d^{-α}$, mean $α= 1.04$; median $r^2 = 0.96$). The effect vanished in scrambled and synthetic controls, replicated across independent probes, and did not appear in genomic or protein sequences under domain-native models. An exponent near 1 distributes contextual influence approximately uniformly across logarithmic timescales. The results establish a scaling law of contextual persistence in human language.
• Abstract（参考訳）: 人間の言語は、単語(頻度、語彙の成長)と単語ペア(距離を越えた共起)のレベルで法的な構造を示す。 ここでは、連続した単語の配列(意味の中央決定因子)が、同等の法則に従うことを示す。 確率的プローブとして大規模言語モデルを用いて,同じ単語をスクランブルした距離 d の先行文脈によって与えられる目標パープレキシティの減少を測定し,この差分である文脈持続関数 P(d) は,アレンジの影響を分離する。 P(d) は約 1/d (P(d) \propto d^{-α}$, 平均$α=1.04$; 中央値$r^2 = 0.96$) で崩壊した。 この効果はスクランブルと合成制御で消失し、独立したプローブで複製され、ドメイン固有モデルの下でゲノム配列やタンパク質配列には現れなかった。 1付近の指数は、対数時間スケールにほぼ均一に文脈の影響を分配する。 その結果、人間の言語における文脈的永続性のスケーリング法則が確立された。

関連論文リスト

• Trajectory Dynamics in Language Model Hidden States Predict Human Processing Costs Beyond Surprisal [0.0]
  本稿では,単語レベルの予測誤差(副次的)と展開解釈の局所運動量に対する感度(軌道外挿誤差)が処理コストの解離可能な成分であることを示す。 この効果は特に庭道の文で顕著である。
  論文  参考訳（メタデータ） (2026-06-03T18:44:41Z)
• Does Slightly Mean Somewhat? Measuring Vague Intensity Words in LLM Numeric Actions [0.0]
  私は、研究者によって構成された10の英語の変調器の尺度を少しから劇的に研究する。 実行間で変化する唯一の変数は、インテンシティワードまたは開始システム状態である。 6,620語を T=0.7 で走ると、3つのパターンが出現する: 4つの下層の単語はすべて同じ値にマップされ、強い単語はより高いレジームに分解される。
  論文  参考訳（メタデータ） (2026-05-20T23:49:44Z)
• Quantum-Like Contextuality in Large Language Models [0.7373617024876724]
  本稿は,自然言語における「イエス」の答えを示す,最初の大規模実験的な証拠を提供する。 我々は,文脈的量子シナリオをモデル化した言語スキーマを構築し,それを簡易英語ウィキペディアでインスタンス化し,インスタンスの確率分布を抽出する。 文脈的事例は, BERT の埋め込みベクトルの文脈性度とユークリッド距離の間の方程式を導出することにより, 意味論的に類似した単語から得られたことを証明した。
  論文  参考訳（メタデータ） (2024-12-21T23:46:55Z)
• Surprise! Uniform Information Density Isn't the Whole Story: Predicting Surprisal Contours in Long-form Discourse [54.08750245737734]
  話者は、階層的に構造化された談話モデル内の位置に基づいて、情報率を変調する。 階層的予測器は談話の情報輪郭の重要な予測器であり,深い階層的予測器は浅い予測器よりも予測力が高いことがわかった。
  論文  参考訳（メタデータ） (2024-10-21T14:42:37Z)
• Leading Whitespaces of Language Models' Subword Vocabulary Pose a Confound for Calculating Word Probabilities [15.073507986272027]
  我々は、単語の確率を単語の確率に集約する最も一般的な方法によって生じる欠点を論じる。 これは、ほとんどの言語モデルのサブワード語彙のトークンが主要な空白を持つという事実による。 後続する白色空間の確率を現在の単語の確率に再計算する簡単な復号法を提案する。
  論文  参考訳（メタデータ） (2024-06-16T08:44:56Z)
• Relational Sentence Embedding for Flexible Semantic Matching [86.21393054423355]
  文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。 RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
  論文  参考訳（メタデータ） (2022-12-17T05:25:17Z)
• The distribution of syntactic dependency distances [0.13812010983144798]
  我々は,構文的依存距離の実際の分布のキャラクタリゼーションに寄与する。 ブレークポイント後に確率減衰が変化することを許容する2つの指数的状態を持つ新しいモデルを提案する。 文の長さやアノテーションのスタイルとは無関係に,20言語すべてにおいて,2段階のモデルが最も可能性の高いモデルであることが判明した。
  論文  参考訳（メタデータ） (2022-11-26T17:31:25Z)
• Naturalistic Causal Probing for Morpho-Syntax [76.83735391276547]
  スペインにおける実世界のデータに対する入力レベルの介入に対する自然主義的戦略を提案する。 提案手法を用いて,共同設立者から文章中の形態・症状の特徴を抽出する。 本研究では,事前学習したモデルから抽出した文脈化表現に対する性別と数字の因果効果を解析するために,本手法を適用した。
  論文  参考訳（メタデータ） (2022-05-14T11:47:58Z)
• Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
  テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。 本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。 本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。 セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
  論文  参考訳（メタデータ） (2021-10-04T03:59:15Z)
• Is Supervised Syntactic Parsing Beneficial for Language Understanding? An Empirical Investigation [71.70562795158625]
  従来のNLPは、高レベルセマンティック言語理解(LU)の成功に必要な構文解析を長い間保持(教師付き)してきた。 近年のエンドツーエンドニューラルネットワークの出現、言語モデリング(LM)による自己監視、および幅広いLUタスクにおける成功は、この信念に疑問を投げかけている。 本研究では,LM-Pretrained Transformer Network の文脈における意味的LUに対する教師あり構文解析の有用性を実証的に検討する。
  論文  参考訳（メタデータ） (2020-08-15T21:03:36Z)
• Mechanisms for Handling Nested Dependencies in Neural-Network Language Models and Humans [75.15855405318855]
  我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。 ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。 我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
  論文  参考訳（メタデータ） (2020-06-19T12:00:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。