Fugu-MT 論文翻訳(概要): Approximately Aligned Decoding

論文の概要: Approximately Aligned Decoding

arxiv url: http://arxiv.org/abs/2410.01103v1
Date: Tue, 1 Oct 2024 22:22:13 GMT
ステータス: 処理完了
システム内更新日: 2024-11-04 23:10:15.124892
Title: Approximately Aligned Decoding
Title（参考訳）: ほぼアラインな復号法
Authors: Daniel Melcer, Sujan Gonugondla, Pramuditha Perera, Haifeng Qian, Wen-Hao Chiang, Yanjun Wang, Nihal Jain, Pranav Garg, Xiaofei Ma, Anoop Deoras,
Abstract要約: 本稿では,出力分布の歪みと計算効率のバランスをとる手法を提案する。本稿では,提案手法のタスク固有性能が,出力分布を歪ませない手法に匹敵することを示す。
参考スコア（独自算出の注目度）: 22.828126161736797
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: It is common to reject undesired outputs of Large Language Models (LLMs); however, current methods to do so require an excessive amount of computation, or severely distort the distribution of outputs. We present a method to balance the distortion of the output distribution with computational efficiency, allowing for the generation of long sequences of text with difficult-to-satisfy constraints, with less amplification of low probability outputs compared to existing methods. We show through a series of experiments that the task-specific performance of our method is comparable to methods that do not distort the output distribution, while being much more computationally efficient.
Abstract（参考訳）: LLM(Large Language Models)の望ましくない出力を拒否することは一般的であるが、現在の手法では過剰な計算量を必要としたり、出力の分布を著しく歪ませたりする。本稿では,出力分布の歪みと計算効率のバランスをとる手法を提案する。本手法のタスク固有性能は, 出力分布を歪ませることなく, 計算効率が向上する手法に匹敵することを示した。

関連論文リスト

Q-VLM: Post-training Quantization for Large Vision-Language Models [73.19871905102545]
本稿では,大規模視覚言語モデル(LVLM)の学習後量子化フレームワークを提案する。視覚言語モデル全体の離散化誤差に大きな影響を及ぼす層間依存関係を抽出し、この依存関係を最適な量子化戦略に組み込む。実験の結果,提案手法はメモリを2.78倍圧縮し,出力速度を約13B LLaVAモデルで1.44倍向上させることができた。
論文参考訳（メタデータ） (2024-10-10T17:02:48Z)
Diffusion Generative Modelling for Divide-and-Conquer MCMC [0.0]
Divide-and-conquer MCMCはマルコフ連鎖モンテカルロサンプリングの並列化戦略である。本稿では,拡散生成モデルを用いて後続分布に密度近似を適合させる手法を提案する。
論文参考訳（メタデータ） (2024-06-17T15:48:46Z)
Understanding Token Probability Encoding in Output Embeddings [2.317847793497416]
出力埋め込みベクトル内の出力トークン確率を近似共通対数線形符号化する。出力埋め込みにおける符号化を編集し、出力確率分布を正確に修正する。トレーニング力学では、プローブのようなエンコーディングを使用し、出力埋め込みが初期ステップでトークンの周波数情報をキャプチャする。
論文参考訳（メタデータ） (2024-06-03T15:57:29Z)
Language Rectified Flow: Advancing Diffusion Language Generation with Probabilistic Flows [53.31856123113228]
本稿では,言語認識フロー (ours) を提案する。本手法は, 標準確率流モデルの再構成に基づく。実験およびアブレーション実験により,本手法は多くのNLPタスクに対して汎用的,効果的,有益であることが示されている。
論文参考訳（メタデータ） (2024-03-25T17:58:22Z)
Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文参考訳（メタデータ） (2024-01-29T02:08:40Z)
Semi-Implicit Denoising Diffusion Models (SIDDMs) [50.30163684539586]
Denoising Diffusion Probabilistic Models (DDPM)のような既存のモデルは、高品質で多様なサンプルを提供するが、本質的に多くの反復的なステップによって遅くなる。暗黙的要因と明示的要因を一致させることにより、この問題に対処する新しいアプローチを導入する。提案手法は拡散モデルに匹敵する生成性能と,少数のサンプリングステップを持つモデルに比較して非常に優れた結果が得られることを示す。
論文参考訳（メタデータ） (2023-06-21T18:49:22Z)
Deblurring via Stochastic Refinement [85.42730934561101]
条件付き拡散モデルに基づくブラインドデブロアリングのための代替フレームワークを提案する。提案手法は,PSNRなどの歪み指標の点で競合する。
論文参考訳（メタデータ） (2021-12-05T04:36:09Z)
Go Small and Similar: A Simple Output Decay Brings Better Performance [6.066543113636522]
本稿では,各クラスに対して,より小さく類似した出力値を割り当てるようにモデルを強制する,出力決定という新しい正規化項を提案する。実験は、アウトプット・デケイの幅広い適用性、汎用性、および互換性を示す。
論文参考訳（メタデータ） (2021-06-12T09:36:06Z)
Log-Likelihood Ratio Minimizing Flows: Towards Robust and Quantifiable Neural Distribution Alignment [52.02794488304448]
そこで本研究では,対数様比統計量と正規化フローに基づく新しい分布アライメント手法を提案する。入力領域の局所構造を保存する領域アライメントにおいて,結果の最小化を実験的に検証する。
論文参考訳（メタデータ） (2020-03-26T22:10:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。