論文の概要: A Thorough Examination of Decoding Methods in the Era of LLMs
- arxiv url: http://arxiv.org/abs/2402.06925v1
- Date: Sat, 10 Feb 2024 11:14:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-13 18:29:07.116259
- Title: A Thorough Examination of Decoding Methods in the Era of LLMs
- Title(参考訳): LLMにおける復号法の検討
- Authors: Chufan Shi, Haoran Yang, Deng Cai, Zhisong Zhang, Yifan Wang, Yujiu
Yang, Wai Lam
- Abstract要約: 復号法は、次世代の予測器から実用的なタスク解決器に言語モデルを変換する上で、必須の役割を果たす。
本稿では,大規模言語モデルの文脈における様々な復号法を包括的かつ多面的に分析する。
その結果,復号法の性能は特にタスク依存的であり,アライメント,モデルサイズ,量子化などの要因に影響されていることが明らかとなった。
- 参考スコア(独自算出の注目度): 76.30313058201182
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Decoding methods play an indispensable role in converting language models
from next-token predictors into practical task solvers. Prior research on
decoding methods, primarily focusing on task-specific models, may not extend to
the current era of general-purpose large language models (LLMs). Moreover, the
recent influx of decoding strategies has further complicated this landscape.
This paper provides a comprehensive and multifaceted analysis of various
decoding methods within the context of LLMs, evaluating their performance,
robustness to hyperparameter changes, and decoding speeds across a wide range
of tasks, models, and deployment environments. Our findings reveal that
decoding method performance is notably task-dependent and influenced by factors
such as alignment, model size, and quantization. Intriguingly, sensitivity
analysis exposes that certain methods achieve superior performance at the cost
of extensive hyperparameter tuning, highlighting the trade-off between
attaining optimal results and the practicality of implementation in varying
contexts.
- Abstract(参考訳): 復号化手法は、言語モデルを次の予測器から実用的なタスクソルバに変換する上で欠かせない役割を担っている。
主にタスク固有モデルに焦点を当てた復号法に関する先行研究は、汎用大規模言語モデル(LLM)の現在まで及ばない可能性がある。
さらに、最近のデコード戦略の流入は、この状況をさらに複雑にしている。
本稿では,LLMのコンテキスト内での様々なデコード手法の包括的かつ多面的解析を行い,その性能,ハイパーパラメータ変化に対する堅牢性,幅広いタスク,モデル,デプロイメント環境におけるデコード速度を評価する。
その結果,復号法の性能は特にタスク依存であり,アライメント,モデルサイズ,量子化などの要因に影響されていることがわかった。
興味深いことに、感度分析は、特定の方法が広範囲のハイパーパラメータチューニングのコストで優れたパフォーマンスを達成できることを明らかにし、最適な結果を得るためのトレードオフと、様々な文脈における実装の実用性を強調している。
関連論文リスト
- Guiding Large Language Models with Divide-and-Conquer Program for
Discerning Problem Solving [30.189649864741888]
本稿では,優れた表現力を確保し,タスクの分解,サブタスクの解決,分解処理を解消するDivide-and-Conquerプログラムを提案する。
実験結果から,提案手法は中間誤りや誤認内容に悩まされるタスクにおいて,通常の手順よりも優れた性能が得られることが示された。
論文 参考訳(メタデータ) (2024-02-08T02:37:30Z) - Unlocking Efficiency in Large Language Model Inference: A Comprehensive
Survey of Speculative Decoding [48.23348694701169]
投機的デコーディングは、LLM(Large Language Models)推論のための新しいデコーディングパラダイムとして登場した。
復号処理の各ステップにおいて、この手法はまず、複数の将来のトークンを効率的にドラフトし、それらを並列に検証する。
本稿では,この有望な復号化パラダイムの概観と解析について述べる。
論文 参考訳(メタデータ) (2024-01-15T17:26:50Z) - Uncertainty Awareness of Large Language Models Under Code Distribution
Shifts: A Benchmark Study [14.507068647009602]
大規模言語モデル(LLM)は、人間の生産性を高めるために、プログラム言語分析に広く用いられている。
その信頼性は、さまざまなコード分散シフトによって損なわれ、一貫性のない出力につながる。
確率法は不確実性キャリブレーションと推定によってそのような影響を軽減することが知られている。
論文 参考訳(メタデータ) (2024-01-12T00:00:32Z) - On Task Performance and Model Calibration with Supervised and
Self-Ensembled In-Context Learning [71.44986275228747]
In-context Learning (ICL) は、近年の大規模言語モデル(LLM)の進歩により、効率的なアプローチとなっている。
しかし、両方のパラダイムは、過信の批判的な問題(すなわち、誤校正)に苦しむ傾向にある。
論文 参考訳(メタデータ) (2023-12-21T11:55:10Z) - Speculative Contrastive Decoding [55.378200871224074]
大規模言語モデル(LLM)は、言語タスクにおいて例外的な性能を示すが、その自動回帰推論は高い計算要求のために制限され、露出バイアスにより準最適である。
投機的復号法とコントラスト的復号法に着想を得て, 単純かつ強力な復号法である投機的コントラスト的復号法(SCD)を導入する。
論文 参考訳(メタデータ) (2023-11-15T14:15:30Z) - On the Performance of Multimodal Language Models [4.677125897916577]
本研究は、異なるマルチモーダル命令チューニングアプローチの比較分析を行う。
大規模言語モデルにマルチモーダル機能を組み込む際に,アーキテクチャ選択を導く上で重要な洞察を明らかにする。
論文 参考訳(メタデータ) (2023-10-04T23:33:36Z) - Editing Large Language Models: Problems, Methods, and Opportunities [51.903537096207]
本稿では, LLMのモデル編集に関わる問題, 方法, 機会を深く探究する。
本稿では,モデル編集に関わるタスク定義と課題の概観と,現在処理中の最も進歩的な手法の詳細な実証分析について述べる。
本研究の目的は,各編集手法の有効性と実現可能性に関する貴重な知見を提供することであり,特定のタスクやコンテキストに対して,最も適切な方法の選択に関する情報決定を行う上で,コミュニティを支援することである。
論文 参考訳(メタデータ) (2023-05-22T16:00:00Z) - Trace Encoding in Process Mining: a survey and benchmarking [0.34410212782758054]
メソッドは、予測プロセス監視、異常なケース検出、クラスタリングトレースなど、いくつかのプロセスマイニングタスクで使用される。
ほとんどの論文では、既存の符号化手法を任意に選択するか、特定の専門家知識ドメインに基づいた戦略を採用する。
この研究は、27のメソッドを比較することで、イベントログエンコーディングに関する包括的な調査を提供することを目的としている。
論文 参考訳(メタデータ) (2023-01-05T17:25:30Z) - Improving Meta-learning for Low-resource Text Classification and
Generation via Memory Imitation [87.98063273826702]
本稿では,メモリ模倣メタラーニング(MemIML)手法を提案する。
本手法の有効性を証明するために理論的解析を行った。
論文 参考訳(メタデータ) (2022-03-22T12:41:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。