論文の概要: Hallucination Rates in Language Generation

• arxiv url: http://arxiv.org/abs/2607.23361v1
• Date: Sat, 25 Jul 2026 20:56:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:15.072351
• Title: Hallucination Rates in Language Generation
• Title（参考訳）: 言語生成における幻覚率
• Abstract要約: 限界における言語生成は、サンプル文字列のみに基づいて学習するアルゴリズムによって言語生成を正式に研究するエレガントなモデルである。 本稿では,0 でなくても,その極限における生成が厳密に強力になることを示す。 すべての可算コレクションは1/2[KW26b]の最適幅を達成できるが、各幅と幻覚率で厳密な分離を示す。
• 参考スコア（独自算出の注目度）: 8.578975827671696
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language generation in the limit is an elegant model introduced by Kleinberg and Mullainathan [KM24] to formally study language generation by an algorithm that learns solely based on example strings. In this model, an algorithm is said to correctly generate from a language if it never makes an error after some finite time. In contrast, even sophisticated language models are known to regularly hallucinate in practice. In this paper, we initiate the study of language generation in the limit with (infinite) hallucination, i.e., the algorithm may generate incorrect strings infinitely often, but the errors occur at a limited rate (possibly even with 0-measure). We first show that hallucination, even at rate 0, makes generation in the limit strictly more powerful: there are language collections that cannot be generated with finite error but can be generated with infinite error, even when errors occur on a 0-measure set of time-steps. Furthermore, while all countable collections are generatable with finite error, we show a strict hierarchy of (uncountable) language collections characterized by the hallucination rate. This hierarchy extends to breadth, the fraction of the target language generated. While all countable collections can attain the optimal breadth of 1/2 [KW26b], we show strict separation at every breadth and hallucination rate. Finally, we study generation in the limit without repetition, where the algorithm may not repeat strings. This lets us compare the sets of correct and incorrect strings generated, rather than the fractions of correct and incorrect time-steps. Once again, we demonstrate a strict hierarchy at every hallucination rate and breadth. Taken together, these results reveal rich structure in language collections generatable in the limit with hallucination and establish hallucination rate as an important parameter in the theoretical study of language generation.
• Abstract（参考訳）: この限界における言語生成は、Kleinberg と Mullainathan [KM24] によって導入されたエレガントなモデルであり、サンプル文字列のみに基づいて学習するアルゴリズムによって言語生成を正式に研究する。 このモデルでは、有限時間後に誤りを犯さない場合、アルゴリズムは言語から正しく生成すると言われている。 対照的に、洗練された言語モデルでさえ、実際に定期的に幻覚化することが知られている。 本稿では,アルゴリズムが不正確な文字列を無限に生成することがあるが,その誤りは(0測度であっても)限られた速度で発生する。 有限エラーでは生成できないが無限エラーでは生成できる言語コレクションが存在するが、0段階の時間ステップでエラーが発生した場合であっても、無限エラーで生成できる。 さらに、すべての可算コレクションは有限誤差で生成可能であるが、幻覚率に特徴付けられる(非可算)言語コレクションの厳密な階層構造を示す。 この階層は、生成されたターゲット言語の分数である幅にまで拡張される。 すべての可算コレクションは1/2[KW26b]の最適幅を達成できるが、各幅と幻覚率で厳密な分離を示す。 最後に、アルゴリズムが文字列を繰り返すことができないような繰り返しを伴わない極限における生成について検討する。 これにより、正しい時間ステップと間違った時間ステップの分数ではなく、生成した正しい文字列と間違った文字列の集合を比較することができる。 再び、すべての幻覚率と幅で厳密な階層を示す。 これらの結果から, 幻覚の限界で生成可能な言語コレクションの豊富な構造を明らかにし, 言語生成の理論研究における重要なパラメータとして幻覚率を確立した。

関連論文リスト

• A Formal Limitation on Learning Human Language From Textual Corpora [54.22186267212778]
  我々は,デコーダが発話の表現から話者の意図した意味を回復する確率に基づいて,上位境界を導出する。 人工言語、マンダリンゼロ代名詞分解、色基準の実験は、この理論を支持する実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2026-08-28T17:38:24Z)
• Generating in the Limit with Infinitely Many Hallucinations [86.48063079851867]
  最近導入された言語生成のフレームワークは、学習者がターゲット言語から有効で見えない文字列を生成する必要がある。 我々は、新しい精度の概念を導入し、この問題を古典的なリコール精度トレードオフとして再考する。 この緩和は、敵が標的言語の大部分を永久に保持すると、リコールを厳密に増加させる可能性があることを示す。
  論文  参考訳（メタデータ） (2026-06-08T09:58:13Z)
• A Theory of Time-Sensitive Language Generation: Sparse Hallucination Beats Mode Collapse [7.4672234751536015]
  文字列のグローバルな選好順序の下で,言語生成の限界について検討する。 私たちは広い範囲を目指していますが、タイムラインの追加要件を課しています。
  論文  参考訳（メタデータ） (2026-05-11T22:42:24Z)
• Language Generation: Complexity Barriers and Implications for Learning [51.449718747429756]
  単純でよく研究された言語ファミリであっても、成功した生成に必要なサンプルの数は極端に多いことが示される。 これらの結果は、理論的可能性と効率的な学習可能性の間に大きなギャップがあることを明らかにする。
  論文  参考訳（メタデータ） (2025-11-07T23:06:48Z)
• On Union-Closedness of Language Generation [48.36356615217017]
  Kleinberg と Mullainathan によるモデルで,Li,Raman,Tewari によって拡張された言語生成について検討する。 我々の結果は、生成可能なクラスや不均一に生成可能なクラスの有限和を証明することによって、Li と al. の2つの開問題を解決する。 提案手法は,言語生成の進展領域に独立した関心を持つ可能性のある,新たな対角化の議論とともに,注意深く構築されたクラスを利用する。
  論文  参考訳（メタデータ） (2025-06-23T13:42:25Z)
• Density Measures for Language Generation [2.2872032473279065]
  言語生成アルゴリズムの妥当性と広さのトレードオフについて検討する。 限界における言語生成のための既存のアルゴリズムは、真の言語でゼロ密度を持つ出力セットを生成する。 しかしながら、出力が厳密に正の密度を持つ極限における言語生成のアルゴリズムが$K$であることを示す。
  論文  参考訳（メタデータ） (2025-04-19T18:08:18Z)
• On Characterizations for Language Generation: Interplay of Hallucinations, Breadth, and Stability [16.30681257128492]
  [KM24] は、その極限における任意の可算言語コレクションから生成するアルゴリズムである。 近年の研究では、広さの異なる概念を導入し、広さの世代が可能であるかを探求している。 以上の結果から,安定性が要求される場合には,多くの既存概念による生成が等しく困難になることが示唆された。
  論文  参考訳（メタデータ） (2024-12-24T16:24:43Z)
• Exploring Facets of Language Generation in the Limit [10.18252143035175]
  任意の可算言語コレクションは、その極限において非一様生成の強い特性を持つ生成子を持つことを示す。 我々は,[KM24]の生成アルゴリズムにおける妥当性と幅の緊張関係を,徹底的な生成の定義を導入して定式化する。 また,包括的生成が可能な言語コレクションの正確な特徴付けも提供する。
  論文  参考訳（メタデータ） (2024-11-22T22:13:40Z)
• On the Limits of Language Generation: Trade-Offs Between Hallucination and Mode Collapse [26.73254784599135]
  未知の言語からのサンプルを考えると、言語モデルはトレーニングで見えない有効な文字列を生成するべきである。 そうでなければ、無効な文字列を出力することは「幻覚」を構成し、全範囲のキャプチャーに失敗すると「モード崩壊」につながる。 我々は,ゴールドとアングルインをベースとした統計的言語生成システムにおいて,これを検証した。
  論文  参考訳（メタデータ） (2024-11-14T18:06:55Z)
• From Loops to Oops: Fallback Behaviors of Language Models Under Uncertainty [67.81977289444677]
  大型言語モデル(LLM)は幻覚やシーケンスの繰り返しのような望ましくない振る舞いを示すことが多い。 転倒行動(シークエンス反復、退化テキスト、幻覚)を分類し、それらを広範囲に分析する。 我々の実験では、これらのすべての軸にまたがる、明確な、一貫したフォールバック動作の順序が明らかになりました。
  論文  参考訳（メタデータ） (2024-07-08T16:13:42Z)
• On Hallucination and Predictive Uncertainty in Conditional Language Generation [76.18783678114325]
  高い予測の不確実性は幻覚の確率が高い。 認識的不確実性は、アレエータ的あるいは全体的不確実性よりも幻覚の指標である。 提案したビームサーチ変種との幻覚を抑えるため、標準メートル法で取引性能のより良い結果を得るのに役立ちます。
  論文  参考訳（メタデータ） (2021-03-28T00:32:27Z)
• Limits of Detecting Text Generated by Large-Scale Language Models [65.46403462928319]
  誤情報キャンペーンで使用される可能性があるため、長く一貫性のあるテキストを生成できる大規模な言語モデルが危険であると考える者もいる。 ここでは、仮説テスト問題として大規模言語モデル出力検出を定式化し、テキストを真あるいは生成されたものと分類する。
  論文  参考訳（メタデータ） (2020-02-09T19:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。