論文の概要: Cascade Reward Sampling for Efficient Decoding-Time Alignment

• arxiv url: http://arxiv.org/abs/2406.16306v2
• Date: Mon, 31 Mar 2025 15:07:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:31:59.961215
• Title: Cascade Reward Sampling for Efficient Decoding-Time Alignment
• Title（参考訳）: 効率的な復号時間アライメントのためのカスケードリワードサンプリング
• Authors: Bolian Li, Yifan Wang, Anamika Lochab, Ananth Grama, Ruqi Zhang,
• Abstract要約: 復号時間アライメントにおける効率の両立を図るためにカスケード逆サンプリング(CARDS)を導入する。 CARDSは、大きな言語モデル(LLM)と報酬モデル(RM)の両方の冗長な計算を最小化する
• 参考スコア（独自算出の注目度）: 17.278488115500615
• License:
• Abstract: Aligning large language models (LLMs) with human preferences is essential for their applications. Recently, decoding-time alignment has emerged as an effective plug-and-play technique that avoids fine-tuning model parameters. This approach retains the general utility of pretrained LLMs but often suffers from significant inefficiencies during decoding, primarily due to wasted token generation and excessive reward evaluations. To address these challenges, we introduce Cascade Reward Sampling (CARDS) to resolve both efficiency bottlenecks in decoding-time alignment. Specifically, we develop a segment-level rejection sampling algorithm that minimizes redundant computations of both LLMs and reward models (RMs). Central to CARDS is an uncertainty-based segmentation mechanism, which ensures the accuracy of RMs evaluations on incomplete segments. Furthermore, we provide a detailed analysis of reward scores on segments to elucidate the improved alignment performance. Experimental results demonstrate that CARDS significantly improves decoding efficiency, alignment quality, and general utility compared to existing decoding-time alignment methods, achieving approximately a 70% reduction in decoding time and over 90% win-ties in utility and safety benchmarks.
• Abstract（参考訳）: 大規模言語モデル(LLM)を人間の好みで調整することは、その応用に不可欠である。 近年,復号時間アライメントは,微調整モデルパラメータを回避する効果的なプラグアンドプレイ手法として出現している。 このアプローチは、事前訓練されたLLMの汎用性を保っているが、主に無駄なトークンの生成と過度な報酬評価のために、復号時に大きな非効率性に悩まされることが多い。 これらの課題に対処するために、復号時間アライメントにおける効率ボトルネックを解決するためにカスケードリワードサンプリング(CARDS)を導入する。 具体的には, LLM と報酬モデル (RM) の冗長な計算を最小化するセグメントレベルの回帰サンプリングアルゴリズムを開発した。 CARDSの中心は不確実性に基づくセグメンテーション機構であり、不完全セグメンテーションにおけるRMの評価の精度を保証する。 さらに,アライメント性能の向上を図るために,セグメントの報酬スコアを詳細に分析する。 実験結果から,CARDSは既存の復号時間アライメント法と比較して,復号効率,アライメント品質,汎用性を著しく向上し,復号時間は約70%削減し,実用性と安全性のベンチマークでは90%以上を達成できることがわかった。

関連論文リスト

• Detecting Document-level Paraphrased Machine Generated Content: Mimicking Human Writing Style and Involving Discourse Features [57.34477506004105]
  機械生成コンテンツは、学術プラジャリズムや誤報の拡散といった課題を提起する。 これらの課題を克服するために、新しい方法論とデータセットを導入します。 人間の筆記スタイルをエミュレートするエンコーダデコーダモデルであるMhBARTを提案する。 また,PDTB前処理による談話解析を統合し,構造的特徴を符号化するモデルであるDTransformerを提案する。
  論文  参考訳（メタデータ） (2024-12-17T08:47:41Z)
• Path-Consistency: Prefix Enhancement for Efficient Inference in LLM [3.309813585671485]
  textitpath-consistencyは、自己整合性においてランダムまたはあまり有用なサンプリングからエラーと冗長の両方を緩和する。 textitpath-consistencyは7.8%$から40.5%$までの推論遅延を著しく加速する。
  論文  参考訳（メタデータ） (2024-08-25T01:45:53Z)
• A Critical Look At Tokenwise Reward-Guided Text Generation [23.908449840589284]
  フルシーケンスでトレーニングされた報酬モデルは、スコアリング部分シーケンスと互換性がないことを示す。 本稿では,部分列を明示的に学習するBradley-Terry報酬モデルを提案する。
  論文  参考訳（メタデータ） (2024-06-12T00:19:40Z)
• Hierarchical Skip Decoding for Efficient Autoregressive Text Generation [9.16858904192541]
  本稿では,効率的な自己回帰テキスト生成のための階層型スキップ復号法(HSD)を提案する。 ほぼ半分のレイヤがスキップされているため、HSDはバニラの自動回帰デコードに比べてテキスト品質の90%を維持できる。
  論文  参考訳（メタデータ） (2024-03-22T02:44:05Z)
• Reward-Augmented Decoding: Efficient Controlled Text Generation With a Unidirectional Reward Model [47.722856876213946]
  Reward-Augmented Decoding (RAD) は、言語モデルに特定の特性を持つテキストを生成するよう促すために、小さな一方向の報酬モデルを使用するテキスト生成プロシージャである。 一方向の報酬モデルを使用することで、RADは前世代のステップからアクティベーションをキャッシュすることで、計算オーバーヘッドを低減できる。
  論文  参考訳（メタデータ） (2023-10-14T07:19:47Z)
• Contrastive Decoding Improves Reasoning in Large Language Models [55.16503283583076]
  コントラストデコーディングは,様々な推論タスクにおいて,グリージーデコーディングよりもアウト・オブ・ボックスの大幅な改善を実現することを示す。 本稿では,LLaMA-65BがHellaSwag Commonsense reasoning benchmark上でLLaMA 2, GPT-3.5, PaLM 2-Lより優れていることを示す。
  論文  参考訳（メタデータ） (2023-09-17T00:29:32Z)
• Mitigating the Learning Bias towards Repetition by Self-Contrastive Training for Open-Ended Generation [92.42032403795879]
  GPT2のような事前訓練された言語モデル(LM)は、繰り返しテキストを生成する傾向にあることを示す。 トークンレベルの反復確率の過大評価は学習バイアスに起因している。 LMは文レベルの繰り返しループの原因となる非繰り返しトークンよりも長い範囲依存を用いて繰り返しトークンを予測する。
  論文  参考訳（メタデータ） (2023-07-04T07:53:55Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)
• BERT-ATTACK: Adversarial Attack Against BERT Using BERT [77.82947768158132]
  離散データ(テキストなど)に対するアドリアック攻撃は、連続データ(画像など)よりも難しい。 対戦型サンプルを生成するための高品質で効果的な方法である textbfBERT-Attack を提案する。 本手法は、成功率と摂動率の両方において、最先端の攻撃戦略より優れている。
  論文  参考訳（メタデータ） (2020-04-21T13:30:02Z)
• Self-Adversarial Learning with Comparative Discrimination for Text Generation [111.18614166615968]
  本稿では,テキスト生成におけるGANの性能向上のための,新たな自己逆学習(SAL)パラダイムを提案する。 トレーニング中、SALは、現在生成された文が以前生成されたサンプルより優れていると判断されたときにジェネレータに報酬を与える。 テキスト生成ベンチマークデータセットの実験により,提案手法は品質と多様性の両方を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2020-01-31T07:50:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。