論文の概要: Approximately Aligned Decoding

• arxiv url: http://arxiv.org/abs/2410.01103v2
• Date: Tue, 07 Oct 2025 20:29:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-09 16:41:19.961139
• Title: Approximately Aligned Decoding
• Title（参考訳）: ほぼアラインな復号法
• Authors: Daniel Melcer, Sujan Gonugondla, Pramuditha Perera, Haifeng Qian, Wen-Hao Chiang, Yanjun Wang, Nihal Jain, Pranav Garg, Xiaofei Ma, Anoop Deoras,
• Abstract要約: 本稿では,出力分布の歪みと計算効率のバランスをとる手法を提案する。 我々は、AprADのタスク固有の性能が出力分布を歪ませないメソッドに匹敵することを示す一連の実験を通して示す。
• 参考スコア（独自算出の注目度）: 19.897241039720466
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is common to reject undesired outputs of Large Language Models (LLMs); however, current methods to do so require an excessive amount of computation to re-sample after a rejection, or distort the distribution of outputs by constraining the output to highly improbable tokens. We present a method, Approximately Aligned Decoding (AprAD), to balance the distortion of the output distribution with computational efficiency, inspired by algorithms from the speculative decoding literature. AprAD allows for the generation of long sequences of text with difficult-to-satisfy constraints, while amplifying low probability outputs much less compared to existing methods. We show through a series of experiments that the task-specific performance of AprAD is comparable to methods that do not distort the output distribution, while being much more computationally efficient.
• Abstract（参考訳）: LLM(Large Language Models)の望ましくない出力を拒否することは一般的であるが、それを行うには、拒否後の再サンプリングに過剰な計算を要したり、非常に不適切なトークンに出力を制約することで出力の分布を歪ませたりする必要がある。 本稿では,推定復号化文献のアルゴリズムにヒントを得て,出力分布の歪みと計算効率のバランスをとる手法AprADを提案する。 AprADは、制約の厳しい長いテキスト列を生成することができるが、確率の低い出力の増幅は既存の方法に比べてはるかに少ない。 我々は、AprADのタスク固有性能が出力分布を歪ませない手法に匹敵するが、より計算効率が良いことを示す一連の実験を通して、AprADのタスク固有性能を示す。

関連論文リスト

• Enabling stratified sampling in high dimensions via nonlinear dimensionality reduction [0.8192907805418583]
  層状サンプリングはよく知られた分散還元戦略である。 提案手法は高次元において有効であり,マルチ忠実度モンテカルロ推定器の分散をさらに低減するために有効であることを示す。
  論文  参考訳（メタデータ） (2025-06-10T15:47:10Z)
• Rethinking Uncertainty Estimation in Natural Language Generation [6.3398383724486544]
  大規模言語モデル(LLM)は、現実のアプリケーションにますます採用されている。 不確実性推定法は複数の出力シーケンスを生成し解析し、LCMの不確実性を決定する。 単一出力シーケンスのみを用いて得られる利点を持つG-NLLを提案する。
  論文  参考訳（メタデータ） (2024-12-19T18:51:06Z)
• Q-VLM: Post-training Quantization for Large Vision-Language Models [73.19871905102545]
  本稿では,大規模視覚言語モデル(LVLM)の学習後量子化フレームワークを提案する。 視覚言語モデル全体の離散化誤差に大きな影響を及ぼす層間依存関係を抽出し、この依存関係を最適な量子化戦略に組み込む。 実験の結果,提案手法はメモリを2.78倍圧縮し,出力速度を約13B LLaVAモデルで1.44倍向上させることができた。
  論文  参考訳（メタデータ） (2024-10-10T17:02:48Z)
• Diffusion Generative Modelling for Divide-and-Conquer MCMC [0.0]
  Divide-and-conquer MCMCはマルコフ連鎖モンテカルロサンプリングの並列化戦略である。 本稿では,拡散生成モデルを用いて後続分布に密度近似を適合させる手法を提案する。
  論文  参考訳（メタデータ） (2024-06-17T15:48:46Z)
• Understanding Token Probability Encoding in Output Embeddings [2.317847793497416]
  出力埋め込みベクトル内の出力トークン確率を近似共通対数線形符号化する。 出力埋め込みにおける符号化を編集し、出力確率分布を正確に修正する。 トレーニング力学では、プローブのようなエンコーディングを使用し、出力埋め込みが初期ステップでトークンの周波数情報をキャプチャする。
  論文  参考訳（メタデータ） (2024-06-03T15:57:29Z)
• Language Rectified Flow: Advancing Diffusion Language Generation with Probabilistic Flows [53.31856123113228]
  本稿では,言語認識フロー (ours) を提案する。 本手法は, 標準確率流モデルの再構成に基づく。 実験およびアブレーション実験により,本手法は多くのNLPタスクに対して汎用的,効果的,有益であることが示されている。
  論文  参考訳（メタデータ） (2024-03-25T17:58:22Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Semi-Implicit Denoising Diffusion Models (SIDDMs) [50.30163684539586]
  Denoising Diffusion Probabilistic Models (DDPM)のような既存のモデルは、高品質で多様なサンプルを提供するが、本質的に多くの反復的なステップによって遅くなる。 暗黙的要因と明示的要因を一致させることにより、この問題に対処する新しいアプローチを導入する。 提案手法は拡散モデルに匹敵する生成性能と,少数のサンプリングステップを持つモデルに比較して非常に優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-21T18:49:22Z)
• Deblurring via Stochastic Refinement [85.42730934561101]
  条件付き拡散モデルに基づくブラインドデブロアリングのための代替フレームワークを提案する。 提案手法は,PSNRなどの歪み指標の点で競合する。
  論文  参考訳（メタデータ） (2021-12-05T04:36:09Z)
• Go Small and Similar: A Simple Output Decay Brings Better Performance [6.066543113636522]
  本稿では,各クラスに対して,より小さく類似した出力値を割り当てるようにモデルを強制する,出力決定という新しい正規化項を提案する。 実験は、アウトプット・デケイの幅広い適用性、汎用性、および互換性を示す。
  論文  参考訳（メタデータ） (2021-06-12T09:36:06Z)
• Log-Likelihood Ratio Minimizing Flows: Towards Robust and Quantifiable Neural Distribution Alignment [52.02794488304448]
  そこで本研究では,対数様比統計量と正規化フローに基づく新しい分布アライメント手法を提案する。 入力領域の局所構造を保存する領域アライメントにおいて,結果の最小化を実験的に検証する。
  論文  参考訳（メタデータ） (2020-03-26T22:10:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。