論文の概要: On Characterizations for Language Generation: Interplay of Hallucinations, Breadth, and Stability
- arxiv url: http://arxiv.org/abs/2412.18530v2
- Date: Thu, 03 Jul 2025 15:39:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-04 15:37:13.278331
- Title: On Characterizations for Language Generation: Interplay of Hallucinations, Breadth, and Stability
- Title（参考訳）: 言語生成のキャラクタリゼーション--幻覚, ブレッドス, 安定性の相互作用
- Authors: Alkis Kalavasis, Anay Mehrotra, Grigoris Velegkas,
- Abstract要約: [KM24] は、その極限における任意の可算言語コレクションから生成するアルゴリズムである。
近年の研究では、広さの異なる概念を導入し、広さの世代が可能であるかを探求している。
以上の結果から,安定性が要求される場合には,多くの既存概念による生成が等しく困難になることが示唆された。
- 参考スコア（独自算出の注目度）: 16.30681257128492
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study language generation in the limit - introduced by Kleinberg and Mullainathan [KM24] - building on classical works of Gold [Gol67] and Angluin [Ang79]. [KM24]'s main result is an algorithm for generating from any countable language collection in the limit. While their algorithm eventually generates unseen strings from the target language $K$, it sacrifices coverage or breadth, i.e., its ability to generate a rich set of strings. Recent work introduces different notions of breadth and explores when generation with breadth is possible, leaving a full characterization of these notions open. Our first set of results settles this by characterizing generation for existing notions of breadth and their natural extensions. Interestingly, our lower bounds are very flexible and hold for many performance metrics beyond breadth - for instance, showing that, in general, it is impossible to train generators which achieve a higher perplexity or lower hallucination rate for $K$ compared to other languages. Next, we study language generation with breadth and stable generators - algorithms that eventually stop changing after seeing an arbitrary but finite number of strings - and prove unconditional lower bounds for such generators, strengthening the results of [KMV25] and demonstrating that generation with many existing notions of breadth becomes equally hard, when stability is required. This gives a separation for generation with approximate breadth, between stable and unstable generators, highlighting the rich interplay between breadth, stability, and consistency in language generation.
- Abstract（参考訳）: 我々は、Kleinberg と Mullainathan [KM24] が導入した、金(Gol67) と Angluin(Ang79) の古典的な作品に基づく言語生成について研究する。
[KM24]の主な結果は、その極限にある任意の可算言語コレクションから生成されるアルゴリズムである。
彼らのアルゴリズムは最終的にターゲット言語の$K$から未知の文字列を生成するが、カバレッジや幅、すなわちリッチな文字列セットを生成する能力は犠牲になる。
近年の研究では、広さの異なる概念を導入し、広さの世代が可能であるときを探究し、これらの概念の完全な特徴を残している。
最初の結果の集合は、既存の広さの概念とその自然拡張の生成を特徴付けることでこれを解決した。
例えば、一般的には、他の言語と比較してK$よりも高い難易度または低い幻覚率を達成するジェネレータを訓練することは不可能であることを示す。
次に,任意の文字列数を見た後,最終的に変化を停止するアルゴリズムである幅と安定なジェネレータを用いた言語生成について検討し,これらのジェネレータの非条件下限を証明し,[KMV25]の結果を強化し,安定性が必要な場合,多くの既存概念による生成が等しく困難になることを示す。
これにより、安定なジェネレータと不安定なジェネレータの間で、近似した幅で生成のための分離が可能になり、言語生成における幅、安定性、一貫性の間の豊富な相互作用が強調される。
関連論文リスト
- Density Measures for Language Generation [2.2872032473279065]
言語生成アルゴリズムの妥当性と広さのトレードオフについて検討する。
限界における言語生成のための既存のアルゴリズムは、真の言語でゼロ密度を持つ出力セットを生成する。
しかしながら、出力が厳密に正の密度を持つ極限における言語生成のアルゴリズムが$K$であることを示す。
論文 参考訳（メタデータ） (2025-04-19T18:08:18Z) - Exploring Facets of Language Generation in the Limit [10.18252143035175]
任意の可算言語コレクションは、その極限において非一様生成の強い特性を持つ生成子を持つことを示す。
我々は,[KM24]の生成アルゴリズムにおける妥当性と幅の緊張関係を,徹底的な生成の定義を導入して定式化する。
以上の結果から,有効性と広さのトレードオフは,その限界における生成に固有であることが示唆された。
論文 参考訳（メタデータ） (2024-11-22T22:13:40Z) - On the Limits of Language Generation: Trade-Offs Between Hallucination and Mode Collapse [16.30681257128492]
未知の言語からのサンプルを考えると、言語モデルはトレーニングで見えない有効な文字列を生成するべきである。
そうでなければ、無効な文字列を出力することは「幻覚」を構成し、全範囲のキャプチャーに失敗すると「モード崩壊」につながる。
我々は,ゴールドとアングルインをベースとした統計的言語生成システムにおいて,これを検証した。
論文 参考訳（メタデータ） (2024-11-14T18:06:55Z) - Lexinvariant Language Models [84.2829117441298]
離散語彙記号から連続ベクトルへの写像であるトークン埋め込みは、任意の言語モデル(LM)の中心にある
我々は、語彙記号に不変であり、したがって実際に固定トークン埋め込みを必要としないテクスチトレキシン変種モデルについて研究する。
十分長い文脈を条件として,レキシン変項LMは標準言語モデルに匹敵する難易度が得られることを示す。
論文 参考訳（メタデータ） (2023-05-24T19:10:46Z) - Combinatorial NLTS From the Overlap Gap Property [2.594420805049218]
Anshu, Breuckmann, and Nirkhe [ABN22] は、フリードマンとヘイスティングスによるいわゆる "No Low-Energy Trivial State conjecture" を肯定的に解決した。
この予想は、基底状態が浅い(対数深度)回路で生成できないn量子ビット系上の線形サイズの局所ハミルトニアンの存在を仮定した。
論文 参考訳（メタデータ） (2023-04-02T22:16:26Z) - A Measure-Theoretic Characterization of Tight Language Models [105.16477132329416]
病理学的には「確率質量」が無限列の集合に漏れることがある。
本稿では,言語モデリングの尺度論的扱いについて述べる。
多くのポピュラーな言語モデルファミリーが実際に密接な関係にあることを証明しています。
論文 参考訳（メタデータ） (2022-12-20T18:17:11Z) - Typical Decoding for Natural Language Generation [76.69397802617064]
本稿は,高確率テキストが退屈あるいは反復的である理由について考察する。
典型的なサンプリングでは,品質面での競争性能が期待できる。
論文 参考訳（メタデータ） (2022-02-01T18:58:45Z) - Hidden Cosets and Applications to Unclonable Cryptography [15.248351992500078]
隠れた部分空間状態から隠れたコセット状態への一般化について研究する(最初にアーロンソンとクリスティアン (STOC '12]) によって導入された)。
我々は、コセット状態といくつかの応用の無視不可能な性質を探求する。
論文 参考訳（メタデータ） (2021-07-12T19:04:01Z) - Language learnability in the limit for general metrics: a Gold-Angluin
result [91.3755431537592]
我々は、blum and blum (1975) によるniyogi の拡張版の定理を用いて、任意の計量における任意の言語族の極限における学習可能性に必要な条件を証明している。
言語ファミリーがさらにすべての有限言語を含むと仮定すると、同じ条件は限界における学習可能性にも十分になる。
論文 参考訳（メタデータ） (2021-03-24T13:11:09Z) - Conditional Hybrid GAN for Sequence Generation [56.67961004064029]
本稿では,この問題を解決するための条件付きハイブリッドGAN(C-Hybrid-GAN)を提案する。
我々はGumbel-Softmax法を利用して離散値列の分布を近似する。
提案したC-Hybrid-GANは、文脈条件付き離散値シーケンス生成において既存の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2020-09-18T03:52:55Z) - Discrete Variational Attention Models for Language Generation [51.88612022940496]
本稿では,言語における離散性に起因する注意機構のカテゴリー分布を考慮した離散的変動注意モデルを提案する。
離散性の特質により,提案手法の訓練は後部崩壊に支障を来さない。
論文 参考訳（メタデータ） (2020-04-21T05:49:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。