論文の概要: STARS: Segment-level Token Alignment with Rejection Sampling in Large Language Models

• arxiv url: http://arxiv.org/abs/2511.03827v1
• Date: Wed, 05 Nov 2025 19:47:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-07 20:17:53.202434
• Title: STARS: Segment-level Token Alignment with Rejection Sampling in Large Language Models
• Title（参考訳）: STARS:大言語モデルにおけるリジェクションサンプリングによるセグメントレベルのトークンアライメント
• Authors: Mohammad Atif Quamar, Mohammad Areeb, Mikhail Kuznetsov, Muslum Ozgur Ozmen, Z. Berkay Celik,
• Abstract要約: STARS: Rejection Smpling を用いたセグメントレベルのトークンアライメントを提案する。 短い、固定サイズのトークンセグメントを反復的にサンプリング、スコアリング、拒否/受け入れすることで、モデル生成を操縦する。 我々の研究は、従来の微調整とフルシーケンスのランキング法に代わる、一般化可能で堅牢で効率的な方法として、粒度、報酬誘導サンプリングを確立している。
• 参考スコア（独自算出の注目度）: 14.772543098527786
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Aligning large language models with human values is crucial for their safe deployment; however, existing methods, such as fine-tuning, are computationally expensive and suboptimal. In contrast, inference-time approaches like Best-of-N sampling require practically infeasible computation to achieve optimal alignment. We propose STARS: Segment-level Token Alignment with Rejection Sampling, a decoding-time algorithm that steers model generation by iteratively sampling, scoring, and rejecting/accepting short, fixed-size token segments. This allows for early correction of the generation path, significantly improving computational efficiency and boosting alignment quality. Across a suite of six LLMs, we show that STARS outperforms Supervised Fine-Tuning (SFT) by up to 14.9 percentage points and Direct Preference Optimization (DPO) by up to 4.3 percentage points on win-rates, while remaining highly competitive with strong Best-of-N baselines. Our work establishes granular, reward-guided sampling as a generalizable, robust, and efficient alternative to traditional fine-tuning and full-sequence ranking methods for aligning LLMs.
• Abstract（参考訳）: 人的価値を持つ大規模言語モデルの調整は、安全な配置には不可欠であるが、微調整のような既存の手法は計算コストが高く、最適ではない。 対照的に、ベスト・オブ・Nサンプリングのような推論時間アプローチは、最適アライメントを達成するために事実上不可能な計算を必要とする。 STARSを提案する: Segment-level Token Alignment with Rejection Sampling, a decoding-time algorithm thatsteers model generation by Iteratively sample, score, and rejecting short, fixed-size token segments。 これにより、生成経路の早期修正が可能となり、計算効率が大幅に向上し、アライメント品質が向上する。 STARS は6つの LLM スイートで最大14.9 ポイント,DPO は最大4.3 ポイント,Best-of-N ベースラインとの競争力は高い。 我々の研究は、LLMの調整のための従来の微調整とフルシーケンスのランキング手法に代わる、一般化可能で堅牢で効率的なサンプリングとして、粒度、報酬誘導型サンプリングを確立している。

関連論文リスト

• Leveraging Robust Optimization for LLM Alignment under Distribution Shifts [51.74394601039711]
  人間の値に整合した出力を生成するために、大規模言語モデルを操る上で、優先順位アライメント手法はますます重要になっている。 このようなシフトに拘わらず、好みのアライメントを改善する新しい分布対応最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-08T09:14:38Z)
• InfAlign: Inference-aware language model alignment [58.66389179049758]
  言語モデルのアライメントは、現代の生成言語モデルのトレーニングにおける重要なステップである。 この列車/テストのミスマッチは、推論時間法の観点から標準のRLHFフレームワークを最適化することを示す。 本稿では,ベースモデルに対するアライメントポリシーの予測時間勝利率を最適化することを目的とした,推論対応アライメント(InfAlign)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-27T18:45:36Z)
• Constrain Alignment with Sparse Autoencoders [45.131670081186]
  特徴レベルの制約付き優先度最適化は、安定性を確保しつつアライメントプロセスを簡素化するために設計された新しい手法である。 提案手法は、訓練されたスパースオートエンコーダで活性化されるスパース機能と、逐次KL分散の品質を用いて効率を向上する。
  論文  参考訳（メタデータ） (2024-11-12T07:54:13Z)
• Faster WIND: Accelerating Iterative Best-of-$N$ Distillation for LLM Alignment [81.84950252537618]
  本稿では,反復的BONDと自己プレイアライメントの統一的なゲーム理論接続を明らかにする。 WINレート支配(WIN rate Dominance, WIND)という新しいフレームワークを構築し, 正規化利率支配最適化のためのアルゴリズムを多数提案する。
  論文  参考訳（メタデータ） (2024-10-28T04:47:39Z)
• Adaptive Sampling for Best Policy Identification in Markov Decision Processes [79.4957965474334]
  本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。 最先端アルゴリズムの利点を論じ、解説する。
  論文  参考訳（メタデータ） (2020-09-28T15:22:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。