論文の概要: Stochastic Estimation of Transduced Language Models

• arxiv url: http://arxiv.org/abs/2608.27428v1
• Date: Thu, 27 Aug 2026 17:50:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.518818
• Title: Stochastic Estimation of Transduced Language Models
• Title（参考訳）: 翻訳言語モデルの確率的推定
• Authors: Vésteinn Snæbjarnarson, Samuel Kiegeland, Manuel de Prada Corral, Ryan Cotterell, Tim Vieira,
• Abstract要約: TLMの下でターゲットプレフィックスの確率を近似する方法を示す。 我々は,選択したプレフィックスを,その包含確率の逆で置き換えることなく,ソースプレフィックスを再サンプリングし,再重み付けする。 本手法は, モンテカルロの塩基配列を置換して再サンプリングするシーケンシャルな塩基配列に対して, 百科事典のテキストとDNAの手法を評価する。
• 参考スコア（独自算出の注目度）: 47.68058996054148
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Transduced language models (TLMs) compose a pretrained \emph{source} language model with a functional finite-state transducer to induce a language model over \emph{target} strings. Computing the probability of a target prefix under a TLM amounts to summing the source-model probabilities of all source strings that the transducer maps to target strings beginning with that prefix. This set can be exponentially large or infinite. Prior work uses a computational shortcut based on source prefix probabilities, then approximates the resulting sum with threshold-pruned beam summing. This produces a lower bound with unknown error. Instead, we resample source prefixes without replacement and reweight each selected prefix by the inverse of its inclusion probability. We show that applying this correction recursively gives an unbiased estimator of the target prefix probability and lets us estimate the mass lost by threshold pruning. Our beam-summing algorithm extends the retained source prefixes and samples which prefixes to keep, reducing their number as more probability mass is added to the running estimate. This can save computation and guarantees that the run halts with probability one. We evaluate the method on encyclopedic text and DNA against sequential Monte Carlo baselines that resample with replacement. It achieves a better compute--variance tradeoff on text and lower error at the same maximum number of particles on DNA. On a DNA-to-amino-acid transduction, it reduces runtime by several orders of magnitude relative to threshold-pruned beam summing and makes estimating prefix probabilities for long target strings feasible. Replacing threshold pruning with unbiased sampling in a published reading-time analysis substantially lowers the estimated corpus surprisal but leaves the published conclusions unchanged.
• Abstract（参考訳）: Transduced Language Model (TLMs) は、関数有限状態トランスデューサを持つ事前訓練された \emph{source} 言語モデルを構成し、 \emph{target} 文字列上で言語モデルを誘導する。 TLMの下でターゲットプレフィックスの確率を計算すると、トランスデューサがそのプレフィックスから始まるターゲット文字列にマップするすべてのソース文字列のソースモデル確率を和算する。 この集合は指数的に大きいか無限大である。 以前の作業では、ソースプレフィックスの確率に基づいて計算ショートカットを使用しており、その結果の和をしきい値に計算されたビーム和と近似する。 これにより、未知の誤差で低い境界が生成される。 代わりに、選択した各プレフィックスをその包含確率の逆で置き換えることなく、ソースプレフィックスを再サンプリングする。 この補正を適用することで、目標プレフィックス確率の偏りのない推定値が再帰的に得られ、しきい値のプルーニングによって失われる質量を推定できることを示す。 我々のビームサミングアルゴリズムは、保持するソースプレフィックスと、保持するプレフィックスのサンプルを拡張し、実行中の推定値により多くの確率質量が加算されるにつれて、それらの数を減少させる。 これは計算を節約し、確率1で実行が停止することを保証する。 本手法は, モンテカルロの塩基配列を置換して再サンプリングするシーケンシャルな塩基配列に対して, 百科事典のテキストとDNAの手法を評価する。 テキスト上でのより優れた計算分散トレードオフと、DNA上の最大粒子数でのエラーの低減を実現している。 DNAからアミノ酸へのトランスダクションでは、閾値決定されたビームの総和に対して数桁のランタイムを減少させ、長いターゲット文字列に対するプレフィックス確率を推定できるようにする。 未バイアスサンプリングによるリプレーティングしきい値の更新は, 推定コーパス推定値を大幅に下げるが, 公表された結論はそのまま残らない。

関連論文リスト

• The Model Knows, the Decoder Finds: Future Value Guided Particle Power Sampling [13.856943842803561]
  Auxiliary Particle Power Sampling (APPS) は、列レベルのパワーターゲットを部分解の集団で近似するブロックワイズ粒子アルゴリズムである。 APPSは提案訂正された電力再重み付けを用いて仮説を並列に伝播し、将来の価値誘導選択によってその生存を洗練させる。 APPSは、トレーニング不要なデコーディングの精度と実行時のトレードオフを改善し、トレーニング後のシステムとのギャップの一部は、より忠実な推論時電力近似によって回復可能であることを示唆している。
  論文  参考訳（メタデータ） (2026-05-04T10:26:34Z)
• Semiparametric conformal prediction [79.6147286161434]
  ベクトル値の非整合性スコアの結合相関構造を考慮した共形予測セットを構築する。 スコアの累積分布関数(CDF)を柔軟に推定する。 提案手法は,現実の回帰問題に対して,所望のカバレッジと競争効率をもたらす。
  論文  参考訳（メタデータ） (2024-11-04T14:29:02Z)
• Conformal Language Modeling [61.94417935386489]
  生成言語モデル(LM)の共形予測のための新しい手法を提案する。 標準共形予測は厳密で統計的に保証された予測セットを生成する。 我々は,オープンドメイン質問応答,テキスト要約,ラジオロジーレポート生成において,複数のタスクに対するアプローチの約束を実証する。
  論文  参考訳（メタデータ） (2023-06-16T21:55:08Z)
• Conformal Nucleus Sampling [67.5232384936661]
  最上位のp$集合が、様々な言語文脈における確率的意味と実際に一致しているかを評価する。 OPTモデルは過信であり、キャリブレーションはモデルサイズで適度な逆スケーリングを示す。
  論文  参考訳（メタデータ） (2023-05-04T08:11:57Z)
• Truncation Sampling as Language Model Desmoothing [115.28983143361681]
  ニューラルネットワークモデルからのテキストの長いサンプルは、品質が劣る可能性がある。 トランケーションサンプリングアルゴリズムは、各ステップでいくつかの単語の確率を0に設定する。 本稿では,単語をエントロピーに依存した確率閾値以下に切り詰める$eta$-samplingを導入する。
  論文  参考訳（メタデータ） (2022-10-27T05:52:35Z)
• Improving Diversity of Neural Text Generation via Inverse Probability Weighting [43.36560720793425]
  逆確率重み付けにインスパイアされたサンプリング手法を提案する。 繰り返しループに繋がる確率の高い,退屈な,あるいは反復的な候補も含んでいる可能性がある。 結果から,本アルゴリズムは,人文に近づきながら,生成したサンプルの多様性を効果的に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2021-03-13T08:17:40Z)
• Model-based multi-parameter mapping [0.0]
  定量的MRイメージングは、よりリッチな情報の内容と標準化された測定基準のためにますます好まれている。 推定はしばしば、異なる量のデータを分離して解くために、データのノイズサブセットを仮定する。 代わりに、生成モデルは定式化され、パラメータ推定を共同で回復するために反転することができる。
  論文  参考訳（メタデータ） (2021-02-02T17:00:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。