論文の概要: Conformal Language Modeling via Posterior Sampling

• arxiv url: http://arxiv.org/abs/2606.03731v1
• Date: Tue, 02 Jun 2026 14:49:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:05.084347
• Title: Conformal Language Modeling via Posterior Sampling
• Title（参考訳）: 後方サンプリングによるコンフォーマル言語モデリング
• Authors: Nicolas Emmenegger, Theo X. Olausson, Armando Solar-Lezama, Chara Podimata,
• Abstract要約: 大型の言語モデルは幻覚に悩まされている。 近年の研究では、共形予測に基づく統計的手法を用いて、その有病率を測ろうとしている。 そこで本研究では,近似からLLM後部まで,条件付けイベントが校正されたハイスコア領域に対応してサンプリングすることを提案する。
• 参考スコア（独自算出の注目度）: 12.200201135259817
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models remain plagued by hallucinations. Recent work has sought to tame their prevalence using statistical techniques based on conformal prediction, with both theoretical and empirical success. However, these methods operate in a post-hoc fashion, treating the sampling procedure itself as atomic and then surgically altering samples to remove hallucinated claims. This disconnect between filtering and generation can result in samples that are incoherent, inconsistent, or simply unlikely under the model itself. Moreover, post-hoc surgery is unable to shift probability mass towards more useful and helpful responses. To address these issues, we propose to instead sample from approximations to an LLM posterior, where the conditioning event corresponds to a calibrated, high-scoring region. We develop a calibration procedure tailored to the setting of conditional sequential generation that effectively identifies this region and achieves target risk control. Empirically, we apply our method to case studies focused on open-ended biography generation and mathematical problem solving; compared to prior work, we obtain the same statistical guarantees, with higher downstream utility.
• Abstract（参考訳）: 大型の言語モデルは幻覚に悩まされている。 近年の研究は、共形予測に基づく統計的手法を用いて、理論的および経験的成功の両面から、その有病率を測ろうとしている。 しかし、これらの方法はポストホック方式で動作し、サンプリング手順自体を原子として扱い、その後、幻覚的クレームを取り除くために外科的にサンプルを変更する。 このフィルタリングと生成の切り離しは、モデル自体の下で不整合、矛盾、あるいは単純に不可能なサンプルをもたらす可能性がある。 さらに, 術後の手術では, より有用で有用な反応への確率質量のシフトが不可能である。 これらの問題に対処するために,条件付けイベントが校正されたハイスコア領域に対応するLLM後部への近似から標本化することを提案する。 我々は,この領域を効果的に同定し,目標とするリスク制御を実現する条件付き逐次生成の設定に合わせてキャリブレーション手法を開発する。 実験的に,本手法を,オープンエンドなバイオグラフィ生成と数学的問題解決に焦点を当てたケーススタディに適用した。

関連論文リスト

• Chance-constrained Flow Matching for High-Fidelity Constraint-aware Generation [46.932479632530764]
  Chance-Constrained Flow Matchingは、最適化をサンプリングプロセスに統合し、ハード制約の効果的な適用を可能にする。 実験により、CCFMは複雑な物理系のモデリングにおいて、現在の最先端の制約付き生成モデルよりも優れていることが示された。
  論文  参考訳（メタデータ） (2025-09-29T17:56:52Z)
• Counterfactual Generative Models for Time-Varying Treatments [15.208067770012283]
  公衆衛生・臨床科学における意思決定には, 治療の非現実的な結果の推定が不可欠である。 そこで本研究では, 時間変化処理下で, 反実例を生成できる新しい条件生成フレームワークを提案する。 合成データと実世界のデータの両方を用いて,本手法の徹底的な評価を行う。
  論文  参考訳（メタデータ） (2023-05-25T05:45:53Z)
• Self-Normalized Importance Sampling for Neural Language Modeling [97.96857871187052]
  本研究では, 自己正規化重要度サンプリングを提案し, これまでの研究と比較すると, 本研究で考慮された基準は自己正規化されており, さらに修正を行う必要はない。 提案する自己正規化重要度サンプリングは,研究指向と生産指向の両方の自動音声認識タスクにおいて競合することを示す。
  論文  参考訳（メタデータ） (2021-11-11T16:57:53Z)
• Mitigating Catastrophic Forgetting in Scheduled Sampling with Elastic Weight Consolidation in Neural Machine Translation [15.581515781839656]
  最大推定値で訓練された自己回帰モデルは、露出バイアスに悩まされる。 露光バイアスの軽減と出力品質の維持のトレードオフとして, 弾性重み強化(Elastic Weight Consolidation)を提案する。 2つのIWSLT'14翻訳タスクの実験は、我々のアプローチが破滅的な忘れを軽減し、BLEUを大幅に改善することを示した。
  論文  参考訳（メタデータ） (2021-09-13T20:37:58Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Bayesian prognostic covariate adjustment [59.75318183140857]
  疾患の結果に関する歴史的データは、様々な方法で臨床試験の分析に組み込むことができる。 我々は, 予測モデルからの予後スコアを用いて, 治療効果推定の効率を向上する既存の文献に基づいて構築する。
  論文  参考訳（メタデータ） (2020-12-24T05:19:03Z)
• Increasing the efficiency of randomized trial estimates via linear adjustment for a prognostic score [59.75318183140857]
  ランダム化実験による因果効果の推定は臨床研究の中心である。 歴史的借用法のほとんどは、厳格なタイプiエラー率制御を犠牲にして分散の削減を達成する。
  論文  参考訳（メタデータ） (2020-12-17T21:10:10Z)
• Tracking disease outbreaks from sparse data with Bayesian inference [55.82986443159948]
  新型コロナウイルス(COVID-19)のパンデミックは、感染発生時の感染率を推定する新たな動機を与える。 標準的な手法は、より細かいスケールで共通する部分的な観測可能性とスパースなデータに対応するのに苦労する。 原理的に部分観測可能なベイズ的枠組みを提案する。
  論文  参考訳（メタデータ） (2020-09-12T20:37:33Z)
• Improving Maximum Likelihood Training for Text Generation with Density Ratio Estimation [51.091890311312085]
  本稿では,テキスト生成で遭遇する大規模なサンプル空間において,効率よく安定な自動回帰シーケンス生成モデルのトレーニング手法を提案する。 本手法は,品質と多様性の両面で,最大類似度推定や他の最先端シーケンス生成モデルよりも安定に優れている。
  論文  参考訳（メタデータ） (2020-07-12T15:31:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。