論文の概要: Mistake-Bounded Language Generation

• arxiv url: http://arxiv.org/abs/2605.10809v1
• Date: Mon, 11 May 2026 16:32:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.991062
• Title: Mistake-Bounded Language Generation
• Title（参考訳）: ミステイク境界言語生成
• Authors: Jon Kleinberg, Charlotte Peale, Omer Reingold,
• Abstract要約: 言語生成の限界における学習課題について検討する。 我々は、伝統的なラスト・ラスト・ラスト・ラスト・ラスト・ラスト・ラスト・ラスト・ラスト・ラスト・ラスト・ラスト・ラスト・ラスト・ラスト・ラスト・ラスト・ラスト・ラスト・ラスト・ラスト・ラスト・ラスト・ラスト・ラスト・ラスト・ラスト・ラスト・ラスト・ラスト・ 我々のフレームワークは、ノイズの多い敵に適応できるように拡張可能であることを示す。
• 参考スコア（独自算出の注目度）: 6.034531760235531
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate the learning task of language generation in the limit, but shift focus from the traditional time-of-last-mistake metric of a generator's success to a new notion of "mistake-bounded generation." While existing results for language generation in the limit focus on guaranteeing eventual consistency, they are blind to the cumulative error incurred during the learning process. We address this by shifting the goal to minimizing the total number of invalid elements output by a generation algorithm. We establish a formal reduction to the Learning from Correct Demonstrations framework of Joshi et al. (2025), enabling a general recipe for deriving mistake bounds via weighted update rules. For finite classes, we provide an algorithm that simultaneously achieves an optimal last-mistake time of $\mathsf{Cdim}(L)$ and a mistake bound of $\lfloor \log_2 |L| \rfloor$, whereas for the non-uniform setting of countably infinite streams of languages, we prove a fundamental trade-off: achieving logarithmic mistakes $O(\log i)$ necessarily precludes convergence guarantees established in prior work. Finally, we show that our framework can be extended to accommodate noisy adversaries and guarantee mistake bounds that scale with the adversary's suboptimality.
• Abstract（参考訳）: 本稿では,この限界における言語生成の学習課題について検討するが,ジェネレータの成功の時差測度から,新たな概念である「ミステイク境界生成」へ焦点を移す。 言語生成の既存の結果は、結果整合性の保証に重点を置いているが、学習プロセス中に発生する累積誤差に盲目である。 生成アルゴリズムにより出力される無効要素の総数を最小化する目標をシフトすることで、この問題に対処する。 重み付けされた更新規則によって誤り境界を導出するための一般的なレシピを実現するため,Joshi et al (2025) の誤り証明フレームワークからの学習を形式的に削減する。 有限クラスに対して、最適な最終ミスタイムを$\mathsf{Cdim}(L)$と$\lfloor \log_2 |L| \rfloor$で同時に達成するアルゴリズムを提供する一方、数え切れないほど無限の言語ストリームの非一様設定については、基本的なトレードオフを証明している。 最後に、我々のフレームワークは、ノイズの多い敵に適応し、敵の亜最適性に合わせてスケールする誤り境界を保証するために拡張可能であることを示す。

関連論文リスト

• Density Measures for Language Generation [2.2872032473279065]
  言語生成アルゴリズムの妥当性と広さのトレードオフについて検討する。 限界における言語生成のための既存のアルゴリズムは、真の言語でゼロ密度を持つ出力セットを生成する。 しかしながら、出力が厳密に正の密度を持つ極限における言語生成のアルゴリズムが$K$であることを示す。
  論文  参考訳（メタデータ） (2025-04-19T18:08:18Z)
• Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
  トークンの制約を評価するのは 違法にコストがかかる LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。 我々のアプローチは最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-07T18:30:18Z)
• Exploring Facets of Language Generation in the Limit [10.18252143035175]
  任意の可算言語コレクションは、その極限において非一様生成の強い特性を持つ生成子を持つことを示す。 我々は,[KM24]の生成アルゴリズムにおける妥当性と幅の緊張関係を,徹底的な生成の定義を導入して定式化する。 また,包括的生成が可能な言語コレクションの正確な特徴付けも提供する。
  論文  参考訳（メタデータ） (2024-11-22T22:13:40Z)
• Language Generation with Strictly Proper Scoring Rules [70.340673452404]
  本稿では,非局所的なスコアリングルールを用いた言語モデリングが可能な,スコアリングルールを言語生成に適用するための戦略を提案する。 対数スコアの代替として、ブライアスコアと球面スコアの2つの古典的厳密なスコアルールを用いて言語生成モデルを訓練する。
  論文  参考訳（メタデータ） (2024-05-29T09:09:00Z)
• Truly No-Regret Learning in Constrained MDPs [61.78619476991494]
  未知のCMDPで学習するモデルベース原始双対アルゴリズムを提案する。 提案アルゴリズムは,誤差のキャンセルを伴わずにサブ線形後悔を実現する。
  論文  参考訳（メタデータ） (2024-02-24T09:47:46Z)
• Generating Sequences by Learning to Self-Correct [64.0249217590888]
  自己補正(Self-Correction)は、不完全な世代を反復的に修正する独立した修正器から不完全なベースジェネレータを分離する。 本稿では,3つの多種多様なタスクにおいて,自己補正がベースジェネレータを改善することを示す。
  論文  参考訳（メタデータ） (2022-10-31T18:09:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。