論文の概要: A Theory of Time-Sensitive Language Generation: Sparse Hallucination Beats Mode Collapse

• arxiv url: http://arxiv.org/abs/2605.11302v2
• Date: Tue, 19 May 2026 23:29:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 14:55:44.013006
• Title: A Theory of Time-Sensitive Language Generation: Sparse Hallucination Beats Mode Collapse
• Title（参考訳）: 時間知覚言語生成の理論:スパース幻覚はモード崩壊に勝る
• Authors: Atul Ganju, Travis McVoy, Shaddin Dughmi, Shang-Hua Teng,
• Abstract要約: 文字列のグローバルな選好順序の下で,言語生成の限界について検討する。 私たちは広い範囲を目指していますが、タイムラインの追加要件を課しています。
• 参考スコア（独自算出の注目度）: 7.4672234751536015
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study language generation in the limit under a global preference ordering on strings, as introduced by Kleinberg and Wei. As is done in previous work, we aim for breadth, but impose an additional requirement of timeliness: higher-ranked strings should be generated earlier. A string is then only credited if it is generated before a deadline, where its deadline is defined by a function that maps a string's rank in the target language to the time by which it must be produced. This is in keeping with a central consideration in machine learning, where inductive bias favors ``simpler'' or ``more plausible'' outputs, all else being equal. We show that timely generation is impossible in a strong sense for eventually consistent generators -- the protagonists of most prior related work. Under what is perhaps the mildest natural relaxation of consistency, a hallucination rate that vanishes over time, we show that we can circumvent our impossibility result. In particular, we can achieve optimal density with respect to any superlinear deadline function. We also show this is tight by ruling out timely generation with linear deadlines and vanishing hallucination rate.
• Abstract（参考訳）: 我々は、Kleinberg と Wei が導入したように、文字列のグローバルな選好順序の下で、言語生成の限界について研究する。 以前の研究でなされたように、我々は幅を広げるが、タイムラインのさらなる要件を課す: 高いランクの文字列はより早く生成すべきである。 文字列は期限前に生成される場合にのみクレジットされ、期限は対象言語内の文字列のランクを生成すべき時間にマッピングする関数によって定義される。 これは機械学習において中心的な考慮事項であり、インダクティブバイアスは ``simpler'' や ``more plausible'' の出力を好んでおり、それ以外のすべてが同じである。 我々は、時間的生成が、最終的に一貫したジェネレータにとって強い意味で不可能であることを示す。 おそらく最も穏やかな、一貫性の自然な緩和、時間の経過とともに消滅する幻覚率の下では、私たちは不合理な結果を回避できることを示します。 特に、任意の超線形納期関数に対して最適な密度を達成することができる。 また、線形期限付きタイムリー世代を除外し、幻覚率をなくすことで、これを厳格に示している。

関連論文リスト

• STITCH: Simultaneous Thinking and Talking with Chunked Reasoning for Spoken Language Models [131.90117151306993]
  音声言語モデル(SLM)は、音声入力を受信し、音声応答を生成するように設計されている。 現在のSLMは、応答する前に、内部的に無意味な思考プロセスを実行する能力が欠けている。 未知の推論チャンクと音声応答チャンクを交互に生成する新しい手法であるStitchを提案する。
  論文  参考訳（メタデータ） (2025-07-21T08:30:03Z)
• Density Measures for Language Generation [2.2872032473279065]
  言語生成アルゴリズムの妥当性と広さのトレードオフについて検討する。 限界における言語生成のための既存のアルゴリズムは、真の言語でゼロ密度を持つ出力セットを生成する。 しかしながら、出力が厳密に正の密度を持つ極限における言語生成のアルゴリズムが$K$であることを示す。
  論文  参考訳（メタデータ） (2025-04-19T18:08:18Z)
• On Characterizations for Language Generation: Interplay of Hallucinations, Breadth, and Stability [16.30681257128492]
  [KM24] は、その極限における任意の可算言語コレクションから生成するアルゴリズムである。 近年の研究では、広さの異なる概念を導入し、広さの世代が可能であるかを探求している。 以上の結果から,安定性が要求される場合には,多くの既存概念による生成が等しく困難になることが示唆された。
  論文  参考訳（メタデータ） (2024-12-24T16:24:43Z)
• On the Limits of Language Generation: Trade-Offs Between Hallucination and Mode Collapse [26.73254784599135]
  未知の言語からのサンプルを考えると、言語モデルはトレーニングで見えない有効な文字列を生成するべきである。 そうでなければ、無効な文字列を出力することは「幻覚」を構成し、全範囲のキャプチャーに失敗すると「モード崩壊」につながる。 我々は,ゴールドとアングルインをベースとした統計的言語生成システムにおいて,これを検証した。
  論文  参考訳（メタデータ） (2024-11-14T18:06:55Z)
• SituatedGen: Incorporating Geographical and Temporal Contexts into Generative Commonsense Reasoning [55.44065342292846]
  生成的コモンセンス推論(英: Generative Commonsense reasoning)とは、一群のキーワードが与えられた機械が、コモンセンスの確率で単一のコヒーレントな文を構成することを要求するタスクである。 我々は、この課題をSituatedGenとして定式化し、地理的または時間的エンティティを含むキーワード群を与えられたコントラスト文のペアを生成する。 実験によると、最先端の生成言語モデルは、常識的妥当性のある文を生成するのに苦労し、人間のパフォーマンスよりずっと遅れている。
  論文  参考訳（メタデータ） (2023-06-21T20:36:55Z)
• Mutual Information Alleviates Hallucinations in Abstractive Summarization [73.48162198041884]
  モデルが生成中の幻覚コンテンツにより多くの確率を割り当てる可能性が著しく高いという単純な基準を見いだす。 この発見は幻覚の潜在的な説明を提供する:モデルは、継続について不確実な場合には、高い限界確率のテキストを好むことをデフォルトとする。 そこで本研究では,ターゲットトークンの正当性ではなく,ソースとターゲットトークンのポイントワイドな相互情報の最適化に切り替える復号手法を提案する。
  論文  参考訳（メタデータ） (2022-10-24T13:30:54Z)
• Locally Typical Sampling [84.62530743899025]
  我々は、今日の確率的言語ジェネレータが、一貫性と流動性のあるテキストを生成する際に不足していることを示します。 本稿では,確率モデルから生成する際の,この基準を強制するための簡易かつ効率的な手順を提案する。
  論文  参考訳（メタデータ） (2022-02-01T18:58:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。