Fugu-MT 論文翻訳(概要): Approximately Aligned Decoding

論文の概要: Approximately Aligned Decoding

arxiv url: http://arxiv.org/abs/2410.01103v1
Date: Tue, 1 Oct 2024 22:22:13 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-04 23:10:15.124892
Title: Approximately Aligned Decoding
Title（参考訳）: ほぼアラインな復号法
Authors: Daniel Melcer, Sujan Gonugondla, Pramuditha Perera, Haifeng Qian, Wen-Hao Chiang, Yanjun Wang, Nihal Jain, Pranav Garg, Xiaofei Ma, Anoop Deoras,
Abstract要約: 本稿では,出力分布の歪みと計算効率のバランスをとる手法を提案する。本稿では,提案手法のタスク固有性能が,出力分布を歪ませない手法に匹敵することを示す。
参考スコア（独自算出の注目度）: 22.828126161736797
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: It is common to reject undesired outputs of Large Language Models (LLMs); however, current methods to do so require an excessive amount of computation, or severely distort the distribution of outputs. We present a method to balance the distortion of the output distribution with computational efficiency, allowing for the generation of long sequences of text with difficult-to-satisfy constraints, with less amplification of low probability outputs compared to existing methods. We show through a series of experiments that the task-specific performance of our method is comparable to methods that do not distort the output distribution, while being much more computationally efficient.
Abstract（参考訳）: LLM(Large Language Models)の望ましくない出力を拒否することは一般的であるが、現在の手法では過剰な計算量を必要としたり、出力の分布を著しく歪ませたりする。本稿では,出力分布の歪みと計算効率のバランスをとる手法を提案する。本手法のタスク固有性能は, 出力分布を歪ませることなく, 計算効率が向上する手法に匹敵することを示した。

関連論文リスト

Weights to Code: Extracting Interpretable Algorithms from the Discrete Transformer [65.38883376379812]
本稿では,連続表現と離散記号論理のギャップを埋めるアーキテクチャである離散変換器を提案する。実証的には、Discrete TransformerはRNNベースのベースラインに匹敵するパフォーマンスを達成するだけでなく、連続的な変数ドメインへの解釈可能性を大幅に拡張する。
論文参考訳（メタデータ） (2026-01-09T12:49:41Z)
Accelerate Speculative Decoding with Sparse Computation in Verification [49.74839681322316]
投機的復号化は、複数のドラフトトークンを並列に検証することにより、自動回帰言語モデル推論を加速する。既存のスペーシフィケーション方式は主にトークン・バイ・トーケンの自己回帰復号化のために設計されている。そこで本研究では,注目度,FFN,MoEを両立させるスパース検証フレームワークを提案する。
論文参考訳（メタデータ） (2025-12-26T07:53:41Z)
Loopholing Discrete Diffusion: Deterministic Bypass of the Sampling Wall [28.243098541421755]
決定論的潜在経路を介して情報を保存する,新規でシンプルな機構であるLoopholingを紹介する。 LDDMは、以前のベースラインよりも最大で61%高い生成的パープレキシティを著しく向上させる。また、ループホリングはアイドルステップや振動を緩和し、高品質な非自己回帰テキスト生成へのスケーラブルな経路を提供することを示す。
論文参考訳（メタデータ） (2025-10-22T07:08:47Z)
Constrained Adaptive Rejection Sampling [27.579645342312674]
言語モデル(LM)は、生成した出力が厳密な意味的制約や構文的制約を満たす必要があるアプリケーションでますます使われている。既存の制約付き生成へのアプローチは、スペクトルに沿って低下する: 欲求的制約付き復号法は、復号時の有効性を強制するが、LMの分布を歪ませる。本稿では、分布歪みを伴わないRSの試料効率を厳密に改善するアプローチである、適応型サンプリング(CARS)を提案する。
論文参考訳（メタデータ） (2025-10-02T11:17:26Z)
Enabling stratified sampling in high dimensions via nonlinear dimensionality reduction [0.8192907805418583]
層状サンプリングはよく知られた分散還元戦略である。提案手法は高次元において有効であり,マルチ忠実度モンテカルロ推定器の分散をさらに低減するために有効であることを示す。
論文参考訳（メタデータ） (2025-06-10T15:47:10Z)
DINGO: Constrained Inference for Diffusion LLMs [5.971462597321995]
拡散モデルは、ユーザが指定した形式的な制約を確実に強制する能力に欠ける。本稿では,動的プログラミングに基づく動的復号化戦略であるINGOを提案する。
論文参考訳（メタデータ） (2025-05-29T04:04:54Z)
Towards Optimal Multi-draft Speculative Decoding [102.67837141152232]
MDSD(Multi-Draft Speculative Decoding)は、各トークンを生成する際に、小さなドラフトモデルで複数のドラフトを生成する手法である。本稿では、最適輸送問題の双対性について論じ、最適受容率を効率的に計算する方法を提供する。
論文参考訳（メタデータ） (2025-02-26T03:22:44Z)
Distributional Diffusion Models with Scoring Rules [83.38210785728994]
拡散モデルは高品質な合成データを生成する。高品質な出力を生成するには、多くの離散化ステップが必要です。クリーンデータサンプルの後部エム分布を学習し,サンプル生成を実現することを提案する。
論文参考訳（メタデータ） (2025-02-04T16:59:03Z)
Rethinking Uncertainty Estimation in Natural Language Generation [6.3398383724486544]
大規模言語モデル(LLM)は、現実のアプリケーションにますます採用されている。不確実性推定法は複数の出力シーケンスを生成し解析し、LCMの不確実性を決定する。単一出力シーケンスのみを用いて得られる利点を持つG-NLLを提案する。
論文参考訳（メタデータ） (2024-12-19T18:51:06Z)
Q-VLM: Post-training Quantization for Large Vision-Language Models [73.19871905102545]
本稿では,大規模視覚言語モデル(LVLM)の学習後量子化フレームワークを提案する。視覚言語モデル全体の離散化誤差に大きな影響を及ぼす層間依存関係を抽出し、この依存関係を最適な量子化戦略に組み込む。実験の結果,提案手法はメモリを2.78倍圧縮し,出力速度を約13B LLaVAモデルで1.44倍向上させることができた。
論文参考訳（メタデータ） (2024-10-10T17:02:48Z)
Diffusion Generative Modelling for Divide-and-Conquer MCMC [0.0]
Divide-and-conquer MCMCはマルコフ連鎖モンテカルロサンプリングの並列化戦略である。本稿では,拡散生成モデルを用いて後続分布に密度近似を適合させる手法を提案する。
論文参考訳（メタデータ） (2024-06-17T15:48:46Z)
Understanding Token Probability Encoding in Output Embeddings [2.317847793497416]
出力埋め込みベクトル内の出力トークン確率を近似共通対数線形符号化する。出力埋め込みにおける符号化を編集し、出力確率分布を正確に修正する。トレーニング力学では、プローブのようなエンコーディングを使用し、出力埋め込みが初期ステップでトークンの周波数情報をキャプチャする。
論文参考訳（メタデータ） (2024-06-03T15:57:29Z)
Language Rectified Flow: Advancing Diffusion Language Generation with Probabilistic Flows [53.31856123113228]
本稿では,言語認識フロー (ours) を提案する。本手法は, 標準確率流モデルの再構成に基づく。実験およびアブレーション実験により,本手法は多くのNLPタスクに対して汎用的,効果的,有益であることが示されている。
論文参考訳（メタデータ） (2024-03-25T17:58:22Z)
Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文参考訳（メタデータ） (2024-01-29T02:08:40Z)
Semi-Implicit Denoising Diffusion Models (SIDDMs) [50.30163684539586]
Denoising Diffusion Probabilistic Models (DDPM)のような既存のモデルは、高品質で多様なサンプルを提供するが、本質的に多くの反復的なステップによって遅くなる。暗黙的要因と明示的要因を一致させることにより、この問題に対処する新しいアプローチを導入する。提案手法は拡散モデルに匹敵する生成性能と,少数のサンプリングステップを持つモデルに比較して非常に優れた結果が得られることを示す。
論文参考訳（メタデータ） (2023-06-21T18:49:22Z)
Deblurring via Stochastic Refinement [85.42730934561101]
条件付き拡散モデルに基づくブラインドデブロアリングのための代替フレームワークを提案する。提案手法は,PSNRなどの歪み指標の点で競合する。
論文参考訳（メタデータ） (2021-12-05T04:36:09Z)
Go Small and Similar: A Simple Output Decay Brings Better Performance [6.066543113636522]
本稿では,各クラスに対して,より小さく類似した出力値を割り当てるようにモデルを強制する,出力決定という新しい正規化項を提案する。実験は、アウトプット・デケイの幅広い適用性、汎用性、および互換性を示す。
論文参考訳（メタデータ） (2021-06-12T09:36:06Z)
Log-Likelihood Ratio Minimizing Flows: Towards Robust and Quantifiable Neural Distribution Alignment [52.02794488304448]
そこで本研究では,対数様比統計量と正規化フローに基づく新しい分布アライメント手法を提案する。入力領域の局所構造を保存する領域アライメントにおいて,結果の最小化を実験的に検証する。
論文参考訳（メタデータ） (2020-03-26T22:10:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。