論文の概要: Language models suffer from a curse of ambiguity

• arxiv url: http://arxiv.org/abs/2608.15448v1
• Date: Sat, 15 Aug 2026 23:22:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.302766
• Title: Language models suffer from a curse of ambiguity
• Title（参考訳）: 言語モデルは曖昧さの呪いに苦しむ
• Abstract要約: 大規模な言語モデルは、自分たちの改善の原動力としてサンプリングにますます依存している。 この研究では、あいまいさの呪いを特定する。大規模な言語モデルでは、次の話題の分布が曖昧になればなるほど、正確に学ぶのが難しくなる。
• 参考スコア（独自算出の注目度）: 4.7682723427536144
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Large language models increasingly rely on sampling as a driver of their own improvement, making the fidelity of their learned distributions more critical than ever. Yet, not all distributions are equally easy to learn. In this work, we identify a curse of ambiguity: in large language models, and more broadly in all neural networks that produce discrete probability distributions, the more ambiguous a next-token distribution is, the harder it is to learn accurately. Through an extensive theoretical analysis, we trace this curse to architectural and learning roots. More ambiguous distributions require more capacity to be stored, larger embeddings to be represented, more steps to be fitted, and amplify token-sampling noise. We validate these findings on synthetic tasks with controlled ground truth and observe the same signatures in language models trained on real data. Our results provide a new perspective on the statistical capabilities of large language models and a practical framework for when to trust their output distribution.
• Abstract（参考訳）: 大規模な言語モデルは、自分たちの改善の原動力としてサンプリングにますます依存しており、学習した分布の忠実さがこれまで以上に重要になっている。 しかし、すべてのディストリビューションが同じように簡単に学習できるわけではない。 大規模言語モデルでは、離散確率分布を生成する全てのニューラルネットワークにおいて、次の確率分布が曖昧であるほど、正確に学習することが難しくなる。 広範な理論的分析を通じて、この呪いをアーキテクチャと学習のルーツに遡る。 よりあいまいな分布は、格納する容量を増やし、より大きな埋め込みを表現し、より多くのステップを適合させ、トークンサンプリングノイズを増幅することを必要とする。 実データに基づいて学習した言語モデルにおいて,これらの知見を制御された地上の真実を用いて合成タスクで検証し,同じシグネチャを観測する。 この結果から,大規模言語モデルの統計的機能に対する新たな視点と,その出力分布を信頼する上での実践的枠組みが得られた。

関連論文リスト

• Shape of Thought: When Distribution Matters More than Correctness in Reasoning Tasks [24.55929874173401]
  より有能なモデルからの連鎖トレースのデータセットをトレーニングすることで、言語モデルの推論能力を向上させることができることを示す。 実験により、このアプローチは人間の注釈付きデータセットのトレーニングよりも推論タスクのパフォーマンスが向上することが示された。
  論文  参考訳（メタデータ） (2025-12-24T07:35:55Z)
• Emergence of Linear Truth Encodings in Language Models [64.86571541830598]
  大規模言語モデルは偽文と真を区別する線形部分空間を示すが、それらの出現のメカニズムは不明確である。 このような真理部分空間をエンドツーエンドに再現する,透明な一層トランスフォーマー玩具モデルを導入する。 本研究では,真理エンコーディングが実現可能な単純な設定について検討し,将来のトークンにおけるLM損失を減らすために,この区別を学習するようモデルに促す。
  論文  参考訳（メタデータ） (2025-10-17T16:30:07Z)
• Collapsed Language Models Promote Fairness [88.48232731113306]
  偏りのある言語モデルはトークン表現と単語埋め込みの間に崩壊したアライメントを示す。 我々は,幅広い脱バイアス法において,公平性を効果的に向上する原理的な微調整法を設計する。
  論文  参考訳（メタデータ） (2024-10-06T13:09:48Z)
• What Languages are Easy to Language-Model? A Perspective from Learning Probabilistic Regular Languages [78.1866280652834]
  大規模言語モデル (LM) は文字列上の分布である。 RNNとTransformer LMによる規則的LM(RLM)の学習性について検討する。 RNNとトランスフォーマーの双方において,RLMランクの複雑さは強く,学習可能性の有意な予測因子であることが判明した。
  論文  参考訳（メタデータ） (2024-06-06T17:34:24Z)
• Forcing Diffuse Distributions out of Language Models [70.28345569190388]
  ユーザ命令に従うように特別に訓練されているにもかかわらず、今日の命令付き言語モデルは、ランダムな出力を生成するように指示された場合、性能が良くない。 本稿では,言語モデルに有効な結果に対して拡散した分布を出力することを奨励する微調整手法を提案する。
  論文  参考訳（メタデータ） (2024-04-16T19:17:23Z)
• Distinguishing the Knowable from the Unknowable with Language Models [15.471748481627143]
  地中真理確率の欠如において、与えられた不確実性を解き放つために、より大きなモデルが地中真理の代用として現れるような設定を探索する。 凍結, 事前訓練されたモデルの埋め込みを訓練した小さな線形プローブが, トークンレベルでより大きなモデルがより自信を持つようになる時期を正確に予測することを示した。 我々は,同じタスクにおいて非自明な精度を実現する,完全に教師なしの手法を提案する。
  論文  参考訳（メタデータ） (2024-02-05T22:22:49Z)
• Diffusion Language Models Can Perform Many Tasks with Scaling and Instruction-Finetuning [52.22611035186903]
  拡散言語モデルを拡張することで、強力な言語学習者が効果的に学習できることが示される。 大規模データから知識を最初に取得することで,大規模に有能な拡散言語モデルを構築する。 実験により、拡散言語モデルのスケーリングは、下流言語タスクにおけるパフォーマンスを一貫して改善することが示された。
  論文  参考訳（メタデータ） (2023-08-23T16:01:12Z)
• A Latent Space Theory for Emergent Abilities in Large Language Models [5.033924641692716]
  言語はランダムに生成されるのではなく、情報を伝えることが示される。 言語とその根底にある意味の強い関係は、疎結合の分布をもたらす。 ビッグデータと大規模モデルに基づいて訓練されたLLMの出現により、言語の境界分布を正確に評価できるようになった。
  論文  参考訳（メタデータ） (2023-04-19T20:45:01Z)
• Lexical Generalization Improves with Larger Models and Longer Training [42.024050065980845]
  本稿では,自然言語推論,パラフレーズ検出,読解理解における語彙重なりの活用について分析する。 より大型のモデルでは、語彙的な重複を採用することへの感受性がはるかに低いことが分かりました。
  論文  参考訳（メタデータ） (2022-10-23T09:20:11Z)
• Distributionally Robust Recurrent Decoders with Random Network Distillation [93.10261573696788]
  本稿では,自動回帰言語モデルが推論中にOODコンテキストを無視できるように,ランダムネットワーク蒸留を用いたOOD検出に基づく手法を提案する。 提案手法をGRUアーキテクチャに適用し,複数の言語モデリング(LM)データセットの改善を実証する。
  論文  参考訳（メタデータ） (2021-10-25T19:26:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。