論文の概要: Generating in the Limit with Infinitely Many Hallucinations

• arxiv url: http://arxiv.org/abs/2606.28354v1
• Date: Mon, 08 Jun 2026 09:58:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-05 17:01:29.593558
• Title: Generating in the Limit with Infinitely Many Hallucinations
• Title（参考訳）: 無数の幻覚を伴う限界における生成
• Abstract要約: 最近導入された言語生成のフレームワークは、学習者がターゲット言語から有効で見えない文字列を生成する必要がある。 我々は、新しい精度の概念を導入し、この問題を古典的なリコール精度トレードオフとして再考する。 この緩和は、敵が標的言語の大部分を永久に保持すると、リコールを厳密に増加させる可能性があることを示す。
• 参考スコア（独自算出の注目度）: 86.48063079851867
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The classic paradigm of language identification in the limit models learning as a game between an adversary, who reveals strings from an unknown target language, and a learner tasked with identifying that language. The recently introduced framework of language generation in the limit shifted the objective to better reflect modern language modeling, requiring the learner to produce valid, unseen strings from the target language. Related work highlighted a fundamental tension: a broad coverage of the target often comes at the cost of validity. We introduce a new notion of precision and recast this problem as the classic recall-precision trade-off. We analyze generation in the limit under varying constraints on enumeration, novelty, and validity, aimed at reflecting settings closer to those encountered by large language models. A key contribution is our analysis of learners that are not eventually valid: we allow infinitely many mistakes, provided their frequency tends to zero so that precision remains one. We show that this relaxation can strictly increase recall when the adversary permanently withholds a large portion of the target language. We also study a continuous relaxation of the novelty constraint that requires only a fixed fraction of outputs to be novel. Taken together, our results move toward a more realistic model of language generation where occasional errors and repetitions are unavoidable, but their rates are controlled.
• Abstract（参考訳）: 言語識別の古典的パラダイムは、未知のターゲット言語からの文字列を明らかにする敵と、その言語を特定することを任務とする学習者の間のゲームとして学習する制限モデルである。 最近導入された言語生成のフレームワークは、現代の言語モデリングをより良く反映するために、学習者がターゲット言語から有効で見えない文字列を生成する必要があるという目標をシフトした。 対象の広範なカバレッジは、しばしば有効性の犠牲になる。 我々は、新しい精度の概念を導入し、この問題を古典的なリコール精度トレードオフとして再考する。 我々は列挙、新規性、妥当性の制約の異なる制限の下で、大きな言語モデルで遭遇した設定に近づいた設定を反映する目的で、生成を解析する。 我々は無限に多くの誤りを許容し、その頻度がゼロになる傾向にあり、精度が1のままである。 この緩和は、敵が標的言語の大部分を永久に保持すると、リコールを厳密に増加させる可能性があることを示す。 また, 新規性制約を連続的に緩和する手法についても検討した。 まとめると、我々の結果は、時折エラーや繰り返しは避けられないが、その速度は制御される言語生成のより現実的なモデルへと移行する。

関連論文リスト

• When Meanings Meet: Investigating the Emergence and Quality of Shared Concept Spaces during Multilingual Language Model Training [57.230355403478995]
  本研究では,EuroLLMの事前学習における言語に依存しない概念空間の開発について検討する。 共有概念空間は早期に出現し、洗練され続けていますが、それらとの整合性は言語に依存しています。 従来の作業とは対照的に、細かな手作業分析により、翻訳品質の顕著な向上は、行動の変化を反映していることが判明した。
  論文  参考訳（メタデータ） (2026-01-30T11:23:01Z)
• Density Measures for Language Generation [2.2872032473279065]
  言語生成アルゴリズムの妥当性と広さのトレードオフについて検討する。 限界における言語生成のための既存のアルゴリズムは、真の言語でゼロ密度を持つ出力セットを生成する。 しかしながら、出力が厳密に正の密度を持つ極限における言語生成のアルゴリズムが$K$であることを示す。
  論文  参考訳（メタデータ） (2025-04-19T18:08:18Z)
• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• Accelerating Multilingual Language Model for Excessively Tokenized Languages [3.5570874721859016]
  大型言語モデル(LLM)のトークン化子は、文字やUnicodeレベルのトークンを非ローマ語アルファベットの言語で断片化することが多い。 このような言語でテキスト生成を高速化する,シンプルで効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-19T12:26:57Z)
• The Ups and Downs of Large Language Model Inference with Vocabulary Trimming by Language Heuristics [74.99898531299148]
  本研究は,興味のある言語への埋め込みエントリを制限し,時間と記憶効率を高めることによる語彙トリミング(VT)について検討する。 Unicodeベースのスクリプトフィルタリングとコーパスベースの選択という2つの言語を異なる言語ファミリやサイズに適用する。 その結果、VTは小型モデルのメモリ使用量を50%近く削減し、生成速度が25%向上した。
  論文  参考訳（メタデータ） (2023-11-16T09:35:50Z)
• Fine-tuning Language Models for Factuality [96.5203774943198]
  大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。 しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。 本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
  論文  参考訳（メタデータ） (2023-11-14T18:59:15Z)
• Robustifying Language Models with Test-Time Adaptation [17.96043752001886]
  大規模言語モデルは、多くの言語タスクに対して最先端のパフォーマンスを達成した。 これらは、言語モデルを騙すように最適化された文であるが、人間に類似した意味を持つ、敵対的な言語の例では失敗する。 入力文をマスキングされた単語からの予測に適応させることで,多くの言語敵対攻撃を逆転させることができることを示す。
  論文  参考訳（メタデータ） (2023-10-29T22:37:54Z)
• Uncovering Constraint-Based Behavior in Neural Models via Targeted Fine-Tuning [9.391375268580806]
  本研究は,言語知識が不明な言語内での競合する言語プロセスを示す。 人間の行動は言語間で類似していることがわかったが、モデル行動の言語間差異は見いだされている。 以上の結果から,言語における言語的制約と相対的ランクの双方をモデルが学習する必要があることが示唆された。
  論文  参考訳（メタデータ） (2021-06-02T14:52:11Z)
• Leveraging Adversarial Training in Self-Learning for Cross-Lingual Text Classification [52.69730591919885]
  本稿では,ラベル保存型入力摂動の最大損失を最小限に抑える半教師付き対向学習法を提案する。 多様な言語群に対する文書分類と意図分類において,有効性が著しく向上するのを観察する。
  論文  参考訳（メタデータ） (2020-07-29T19:38:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。