論文の概要: Beyond Exponential Decay: Rethinking Error Accumulation in Large Language Models

• arxiv url: http://arxiv.org/abs/2505.24187v1
• Date: Fri, 30 May 2025 03:57:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.758765
• Title: Beyond Exponential Decay: Rethinking Error Accumulation in Large Language Models
• Title（参考訳）: 指数の減少を超えて: 大規模言語モデルにおけるエラー蓄積を再考する
• Authors: Mikhail L. Arbuzov, Alexey A. Shvets, Sisong Beir,
• Abstract要約: エラーは均一に分散されていないが、重要な決定ジャンクションを表すスパースな"キートークン"に集中していることを示す。 本稿では,意味的に重要なトークンを選択的に保存することを目的とした次世代システムのためのフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The prevailing assumption of an exponential decay in large language model (LLM) reliability with sequence length, predicated on independent per-token error probabilities, posits an inherent limitation for long autoregressive outputs. Our research fundamentally challenges this view by synthesizing emerging evidence that LLM errors are not uniformly distributed but are concentrated at sparse "key tokens" ($5-10\%$ of total tokens) representing critical decision junctions. By distinguishing these high-impact tokens from the increasingly predictable majority, we introduce a new reliability formula explaining the sustained coherence of modern LLMs over thousands of tokens. Converging research streams reveal that long-context performance primarily depends on accurately navigating a few crucial semantic decision points rather than on uniform token-level accuracy, enabling targeted strategies that significantly outperform brute-force approaches. We thus propose a framework for next-generation systems centered on selective preservation of semantically vital tokens, dynamic computational allocation at uncertain decision boundaries, multi-path exploration at ambiguities, and architectures aligned with natural semantic domains. This marks a fundamental shift from raw scaling to strategic reasoning, promising breakthrough performance without proportionate computational scaling and offering a more nuanced understanding that supersedes the exponential decay hypothesis, thereby opening pathways toward substantially more powerful and efficient language systems.
• Abstract（参考訳）: 大規模言語モデル (LLM) における指数的減衰(英語版)の仮定は、独立なトーケン毎の誤差確率に基づいて予測され、長い自己回帰出力に固有の制限を課す。 本研究は, LLMエラーが一様分布ではなく, 決定ジャンクションを表す「キートークン」(全トークンの5～10倍%)に集結しているという新たな証拠を合成することによって, この見解に根本的に異議を唱えるものである。 これらの高インパクトトークンと予測可能な大多数とを区別することにより、何千ものトークンに対する現代のLCMの持続的一貫性を説明する新しい信頼性公式を導入する。 収束した研究ストリームによると、長期コンテキストのパフォーマンスは、トークンレベルの均一な精度よりも、いくつかの重要な意味決定ポイントを正確にナビゲートすることに依存しており、ブルートフォースアプローチを著しく上回るターゲット戦略を可能にしている。 そこで本稿では,意味的に重要なトークンの選択的保存,不確実な決定境界における動的計算割り当て,あいまいさにおけるマルチパス探索,自然意味領域に沿ったアーキテクチャを中心に,次世代システムのためのフレームワークを提案する。 これは、生のスケーリングから戦略的推論への根本的なシフトであり、計算スケーリングに比例しない将来的なブレークスルー性能を示し、指数関数的崩壊仮説に取って代わるよりニュアンスな理解を提供し、それによってより強力で効率的な言語システムへの道を開く。

関連論文リスト

• Hybrid Latent Reasoning via Reinforcement Learning [51.06635386903026]
  大規模言語モデル(LLM)の能力を活用した強化学習(RL)による潜時推論について検討する。 RLをベースとしたハイブリッド潜在推論手法であるハイブリッド推論ポリシー最適化(HRPO)を導入する。 HRPOで訓練されたLLMは解釈可能であり、言語横断パターンや短い完了長といった興味深い挙動を示す。
  論文  参考訳（メタデータ） (2025-05-24T01:26:16Z)
• Not all tokens are created equal: Perplexity Attention Weighted Networks for AI generated text detection [49.15148871877941]
  大規模言語モデル(LLM)の検出に理論的に魅力的なアプローチを提供する次点分布出力 本稿では,LLMの最後の隠蔽状態を用いて,列長の次トーケン分布のメトリクスに基づく一連の特徴量の重み付けを行うパープレキシティ注意重み付けネットワーク(PAWN)を提案する。 PAWNは、トレーニング可能なパラメータのごく一部を持つ最強のベースラインよりも、競争力があり、より優れた分散性能を示している。
  論文  参考訳（メタデータ） (2025-01-07T17:00:49Z)
• Path-Consistency: Prefix Enhancement for Efficient Inference in LLM [3.309813585671485]
  textitpath-consistencyは、自己整合性においてランダムまたはあまり有用なサンプリングからエラーと冗長の両方を緩和する。 textitpath-consistencyは7.8%$から40.5%$までの推論遅延を著しく加速する。
  論文  参考訳（メタデータ） (2024-08-25T01:45:53Z)
• Language Model Cascades: Token-level uncertainty and beyond [65.38515344964647]
  言語モデル(LM)の最近の進歩により、複雑なNLPタスクの品質が大幅に向上した。 Cascadingは、より好ましいコスト品質のトレードオフを達成するためのシンプルな戦略を提供する。 トークンレベルの不確実性を学習後遅延ルールに組み込むことで,単純な集約戦略を著しく上回ることを示す。
  論文  参考訳（メタデータ） (2024-04-15T21:02:48Z)
• Uncertainty Quantification for Forward and Inverse Problems of PDEs via Latent Global Evolution [110.99891169486366]
  本稿では,効率的かつ高精度な不確実性定量化を深層学習に基づく代理モデルに統合する手法を提案する。 本手法は,フォワード問題と逆問題の両方に対して,堅牢かつ効率的な不確実性定量化機能を備えたディープラーニングに基づく代理モデルを提案する。 提案手法は, 長期予測を含むシナリオに適合し, 拡張された自己回帰ロールアウトに対する不確かさの伝播に優れる。
  論文  参考訳（メタデータ） (2024-02-13T11:22:59Z)
• Distributionally Robust Model-Based Offline Reinforcement Learning with Near-Optimal Sample Complexity [39.886149789339335]
  オフライン強化学習は、積極的に探索することなく、履歴データから意思決定を行うことを学習することを目的としている。 環境の不確実性や変動性から,デプロイされた環境が,ヒストリデータセットの収集に使用される名目上のものから逸脱した場合でも,良好に機能するロバストなポリシーを学ぶことが重要である。 オフラインRLの分布的ロバストな定式化を考察し、有限水平および無限水平の両方でクルバック・リーブラー発散によって指定された不確実性セットを持つロバストマルコフ決定過程に着目する。
  論文  参考訳（メタデータ） (2022-08-11T11:55:31Z)
• Discrete Variational Attention Models for Language Generation [51.88612022940496]
  本稿では,言語における離散性に起因する注意機構のカテゴリー分布を考慮した離散的変動注意モデルを提案する。 離散性の特質により,提案手法の訓練は後部崩壊に支障を来さない。
  論文  参考訳（メタデータ） (2020-04-21T05:49:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。