論文の概要: A Theory of Time-Sensitive Language Generation: Sparse Hallucination Beats Mode Collapse

• arxiv url: http://arxiv.org/abs/2605.11302v2
• Date: Tue, 19 May 2026 23:29:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 14:55:44.013006
• Title: A Theory of Time-Sensitive Language Generation: Sparse Hallucination Beats Mode Collapse
• Title（参考訳）: 時間知覚言語生成の理論:スパース幻覚はモード崩壊に勝る
• Abstract要約: 文字列のグローバルな選好順序の下で,言語生成の限界について検討する。 私たちは広い範囲を目指していますが、タイムラインの追加要件を課しています。
• 参考スコア（独自算出の注目度）: 7.4672234751536015
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study language generation in the limit under a global preference ordering on strings, as introduced by Kleinberg and Wei. As is done in previous work, we aim for breadth, but impose an additional requirement of timeliness: higher-ranked strings should be generated earlier. A string is then only credited if it is generated before a deadline, where its deadline is defined by a function that maps a string's rank in the target language to the time by which it must be produced. This is in keeping with a central consideration in machine learning, where inductive bias favors ``simpler'' or ``more plausible'' outputs, all else being equal. We show that timely generation is impossible in a strong sense for eventually consistent generators -- the protagonists of most prior related work. Under what is perhaps the mildest natural relaxation of consistency, a hallucination rate that vanishes over time, we show that we can circumvent our impossibility result. In particular, we can achieve optimal density with respect to any superlinear deadline function. We also show this is tight by ruling out timely generation with linear deadlines and vanishing hallucination rate.
• Abstract（参考訳）: 我々は、Kleinberg と Wei が導入したように、文字列のグローバルな選好順序の下で、言語生成の限界について研究する。 以前の研究でなされたように、我々は幅を広げるが、タイムラインのさらなる要件を課す: 高いランクの文字列はより早く生成すべきである。 文字列は期限前に生成される場合にのみクレジットされ、期限は対象言語内の文字列のランクを生成すべき時間にマッピングする関数によって定義される。 これは機械学習において中心的な考慮事項であり、インダクティブバイアスは ``simpler'' や ``more plausible'' の出力を好んでおり、それ以外のすべてが同じである。 我々は、時間的生成が、最終的に一貫したジェネレータにとって強い意味で不可能であることを示す。 おそらく最も穏やかな、一貫性の自然な緩和、時間の経過とともに消滅する幻覚率の下では、私たちは不合理な結果を回避できることを示します。 特に、任意の超線形納期関数に対して最適な密度を達成することができる。 また、線形期限付きタイムリー世代を除外し、幻覚率をなくすことで、これを厳格に示している。

関連論文リスト

• Hallucination Rates in Language Generation [8.578975827671696]
  限界における言語生成は、サンプル文字列のみに基づいて学習するアルゴリズムによって言語生成を正式に研究するエレガントなモデルである。 本稿では,0 でなくても,その極限における生成が厳密に強力になることを示す。 すべての可算コレクションは1/2[KW26b]の最適幅を達成できるが、各幅と幻覚率で厳密な分離を示す。
  論文  参考訳（メタデータ） (2026-07-25T20:56:10Z)
• Generating in the Limit with Infinitely Many Hallucinations [86.48063079851867]
  最近導入された言語生成のフレームワークは、学習者がターゲット言語から有効で見えない文字列を生成する必要がある。 我々は、新しい精度の概念を導入し、この問題を古典的なリコール精度トレードオフとして再考する。 この緩和は、敵が標的言語の大部分を永久に保持すると、リコールを厳密に増加させる可能性があることを示す。
  論文  参考訳（メタデータ） (2026-06-08T09:58:13Z)
• Building Reliable Long-Form Generation via Hallucination Rejection Sampling [26.68294442366694]
  大規模言語モデル(LLM)は、オープンエンドテキスト生成において顕著な進歩を遂げてきたが、誤ったあるいはサポートされていないコンテンツを幻覚させる傾向にある。 我々は、Segment-wise HAllucination Rejection Smpling (SHARS) という、新しい推論時幻覚緩和フレームワークを提案する。 SHARSは任意の幻覚検出器を使用して、生成中の幻覚セグメントを識別および拒絶し、忠実な内容が生成されるまで再サンプリングする。
  論文  参考訳（メタデータ） (2026-06-02T13:26:17Z)
• STITCH: Simultaneous Thinking and Talking with Chunked Reasoning for Spoken Language Models [131.90117151306993]
  音声言語モデル(SLM)は、音声入力を受信し、音声応答を生成するように設計されている。 現在のSLMは、応答する前に、内部的に無意味な思考プロセスを実行する能力が欠けている。 未知の推論チャンクと音声応答チャンクを交互に生成する新しい手法であるStitchを提案する。
  論文  参考訳（メタデータ） (2025-07-21T08:30:03Z)
• Density Measures for Language Generation [2.2872032473279065]
  言語生成アルゴリズムの妥当性と広さのトレードオフについて検討する。 限界における言語生成のための既存のアルゴリズムは、真の言語でゼロ密度を持つ出力セットを生成する。 しかしながら、出力が厳密に正の密度を持つ極限における言語生成のアルゴリズムが$K$であることを示す。
  論文  参考訳（メタデータ） (2025-04-19T18:08:18Z)
• On Characterizations for Language Generation: Interplay of Hallucinations, Breadth, and Stability [16.30681257128492]
  [KM24] は、その極限における任意の可算言語コレクションから生成するアルゴリズムである。 近年の研究では、広さの異なる概念を導入し、広さの世代が可能であるかを探求している。 以上の結果から,安定性が要求される場合には,多くの既存概念による生成が等しく困難になることが示唆された。
  論文  参考訳（メタデータ） (2024-12-24T16:24:43Z)
• Training Large Language Models to Reason in a Continuous Latent Space [71.0274000348354]
  我々は、言語を超えた推論の可能性を探るため、Coconut (Chain of Continuous Thought)と呼ばれる新しいパラダイムを導入します。 この状態を単語に復号するのではなく、連続した空間に直接埋め込む次の入力としてモデルにフィードバックします。 この潜在的推論パラダイムは、継続的思考が複数の代替の次のステップをエンコードできる高度な推論パターンを可能にする。
  論文  参考訳（メタデータ） (2024-12-09T18:55:56Z)
• On the Limits of Language Generation: Trade-Offs Between Hallucination and Mode Collapse [26.73254784599135]
  未知の言語からのサンプルを考えると、言語モデルはトレーニングで見えない有効な文字列を生成するべきである。 そうでなければ、無効な文字列を出力することは「幻覚」を構成し、全範囲のキャプチャーに失敗すると「モード崩壊」につながる。 我々は,ゴールドとアングルインをベースとした統計的言語生成システムにおいて,これを検証した。
  論文  参考訳（メタデータ） (2024-11-14T18:06:55Z)
• SituatedGen: Incorporating Geographical and Temporal Contexts into Generative Commonsense Reasoning [55.44065342292846]
  生成的コモンセンス推論(英: Generative Commonsense reasoning)とは、一群のキーワードが与えられた機械が、コモンセンスの確率で単一のコヒーレントな文を構成することを要求するタスクである。 我々は、この課題をSituatedGenとして定式化し、地理的または時間的エンティティを含むキーワード群を与えられたコントラスト文のペアを生成する。 実験によると、最先端の生成言語モデルは、常識的妥当性のある文を生成するのに苦労し、人間のパフォーマンスよりずっと遅れている。
  論文  参考訳（メタデータ） (2023-06-21T20:36:55Z)
• Mutual Information Alleviates Hallucinations in Abstractive Summarization [73.48162198041884]
  モデルが生成中の幻覚コンテンツにより多くの確率を割り当てる可能性が著しく高いという単純な基準を見いだす。 この発見は幻覚の潜在的な説明を提供する:モデルは、継続について不確実な場合には、高い限界確率のテキストを好むことをデフォルトとする。 そこで本研究では,ターゲットトークンの正当性ではなく,ソースとターゲットトークンのポイントワイドな相互情報の最適化に切り替える復号手法を提案する。
  論文  参考訳（メタデータ） (2022-10-24T13:30:54Z)
• Locally Typical Sampling [84.62530743899025]
  我々は、今日の確率的言語ジェネレータが、一貫性と流動性のあるテキストを生成する際に不足していることを示します。 本稿では,確率モデルから生成する際の,この基準を強制するための簡易かつ効率的な手順を提案する。
  論文  参考訳（メタデータ） (2022-02-01T18:58:45Z)
• Back to the Future: Unsupervised Backprop-based Decoding for Counterfactual and Abductive Commonsense Reasoning [79.48769764508006]
  ジェネレーティブ言語モデル(LM)は、過去の文脈のみを条件にするか、狭い範囲のテキスト入力を実行するよう訓練することができる。 我々は過去と将来の両方の文脈を柔軟に組み込むことができる新しい教師なし復号アルゴリズムであるDeLoreanを提案する。 提案手法は, 帰納的テキスト生成と反事実的ストーリーリビジョンの2つの非単調推論タスクに適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-12T17:58:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。