論文の概要: Asking a Language Model for Diverse Responses
- arxiv url: http://arxiv.org/abs/2509.17570v1
- Date: Mon, 22 Sep 2025 11:01:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-23 18:58:16.32522
- Title: Asking a Language Model for Diverse Responses
- Title（参考訳）: 多様な応答に対する言語モデルの提案
- Authors: Sergey Troshin, Irina Saparina, Antske Fokkens, Vlad Niculae,
- Abstract要約: 本研究では,祖先(並列)サンプリングと対照的な可塑性応答の集合を生成する候補サンプリング器について,1パスあたり$n$の候補を生成するようモデルに求める列挙法と,現在生成された応答集合を条件付けしながら順次候補を提案する反復サンプリングについて検討する。
本研究は, 生成品質を犠牲にすることなく, 応答多様性を向上させるための単純な非独立サンプリング戦略の可能性を明らかにするものである。
- 参考スコア（独自算出の注目度）: 16.3136507778455
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models increasingly rely on explicit reasoning chains and can produce multiple plausible responses for a given context. We study the candidate sampler that produces the set of plausible responses contrasting the ancestral (parallel) sampling against two alternatives: enumeration, which asks the model to produce $n$ candidates in one pass, and iterative sampling, which proposes candidates sequentially while conditioning on the currently generated response set. Under matched budgets, we compare these samplers on quality, lexical and computation flow diversity, and efficiency. Our empirical results demonstrate that enumeration and iterative strategies result in higher diversity at comparable quality. Our findings highlight the potential of simple non-independent sampling strategies to improve response diversity without sacrificing generation quality.
- Abstract（参考訳）: 大規模言語モデルは、より明示的な推論チェーンに依存し、与えられたコンテキストに対して複数の妥当な応答を生成することができる。
本研究では,祖先(並列)サンプリングと対照的な可塑性応答の集合を生成する候補サンプリング器について,1パスあたり$n$の候補を生成するようモデルに求める列挙法と,現在生成された応答集合を条件付けしながら順次候補を提案する反復サンプリングについて検討する。
一致した予算の下では、これらのサンプルを品質、語彙および計算フローの多様性、効率について比較する。
我々の経験的結果は、列挙と反復戦略が同等の品質でより高い多様性をもたらすことを示している。
本研究は, 生成品質を犠牲にすることなく, 応答多様性を向上させるための単純な非独立サンプリング戦略の可能性を明らかにするものである。
関連論文リスト
- Free Lunch for Pass@$k$? Low Cost Diverse Sampling for Diffusion Language Models [17.37935640125399]
本稿では,拡散言語モデルにおける生成多様性を高めるための,無償で低コストな介入手法を提案する。
提案手法は, 各サンプルが前回のサンプルの特徴空間から反発されるような, バッチ内の中間サンプルを逐次修正する。
リトレーニングやビームサーチを必要とする従来の方法とは異なり、我々の戦略は無視できる計算オーバーヘッドを発生させる。
論文 参考訳（メタデータ） (2026-03-05T07:35:07Z) - Exposing Diversity Bias in Deep Generative Models: Statistical Origins and Correction of Diversity Error [19.594704501292778]
我々は,最先端モデルにより生成されたサンプルの多様性と,対象データ分布から抽出したテストサンプルの多様性を比較した。
テストデータは、生成したサンプルよりも、VendiとRKEの多様性スコアがかなり高いことが判明した。
論文 参考訳（メタデータ） (2026-02-16T12:15:34Z) - Learning to Refine: Self-Refinement of Parallel Reasoning in LLMs [102.48588475875749]
本稿では,新しい並列テスト時間スケーリングフレームワークであるGenerative Self-Refinement (GSR)を紹介する。
GSRは一連の候補応答を並列に生成し、その後自己精製を行い、新しい優れた解を合成する。
提案手法は,5つの数学ベンチマークにおいて,最先端性能を実現する。
論文 参考訳（メタデータ） (2025-08-27T06:51:48Z) - Scaling Group Inference for Diverse and High-Quality Generation [43.33751261265585]
サンプル群の多様性と品質を改善するスケーラブルなグループ推論手法を提案する。
本フレームワークは,テキスト・ツー・イメージ,イメージ・ツー・イメージ,画像プロンプト,ビデオ生成など,幅広いタスクを一般化する。
論文 参考訳（メタデータ） (2025-08-21T17:59:57Z) - Diversified Sampling Improves Scaling LLM inference [31.18762591875725]
DivSamplingは、候補解の多様性を高めるために設計された、斬新で多用途なサンプリング技術である。
我々の理論的解析は、軽微な仮定の下では、多様なプロンプトから発生する応答の誤り率が著しく低いことを証明している。
論文 参考訳（メタデータ） (2025-02-16T07:37:58Z) - Balancing Diversity and Risk in LLM Sampling: How to Select Your Method and Parameter for Open-Ended Text Generation [60.493180081319785]
本稿では,各復号ステップにおける多様性とリスクのトレードオフを考慮し,トラクションサンプリング手法のキャパシティを推定する体系的手法を提案する。
本研究は,既存のトラクションサンプリング手法を総合的に比較し,パラメータ選択のための実用的なユーザガイドとして機能する。
論文 参考訳（メタデータ） (2024-08-24T14:14:32Z) - Turning Up the Heat: Min-p Sampling for Creative and Coherent LLM Outputs [3.631341123338476]
大規模言語モデル(LLM)は、各復号ステップにおける語彙上の確率分布から次のトークンをサンプリングしてテキストを生成する。
本稿では,トップトークンの確率をスケーリング係数として利用して,モデルの信頼度に基づいてサンプリングしきい値を調整する動的トランケーション手法であるmin-pサンプリングを提案する。
論文 参考訳（メタデータ） (2024-07-01T08:37:25Z) - Generative Judge for Evaluating Alignment [84.09815387884753]
本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。
我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。
実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
論文 参考訳（メタデータ） (2023-10-09T07:27:15Z) - SimOAP: Improve Coherence and Consistency in Persona-based Dialogue
Generation via Over-sampling and Post-evaluation [54.66399120084227]
大規模コーパスで訓練された言語モデルは、オープンドメイン対話において驚くほど流動的な結果を生み出すことができる。
ペルソナに基づく対話生成タスクでは、一貫性と一貫性が言語モデルにとって大きな課題である。
オーバーサンプリングとポスト評価という2段階のSimOAP戦略が提案されている。
論文 参考訳（メタデータ） (2023-05-18T17:23:00Z) - Pneg: Prompt-based Negative Response Generation for Dialogue Response
Selection Task [27.513992470527427]
検索に基づく対話システムでは、応答選択モデルがランサーとして機能し、複数の候補の中から最も適切な応答を選択する。
近年の研究では, 対向応答を負のトレーニングサンプルとして活用することは, 選択モデルの識別能力を向上させるのに有用であることが示されている。
本稿では,大規模言語モデルを利用した対向的負の応答を簡易に,かつ効率的に生成する手法を提案する。
論文 参考訳（メタデータ） (2022-10-31T11:49:49Z) - Reparameterized Sampling for Generative Adversarial Networks [71.30132908130581]
本稿では,マルコフ連鎖をジェネレータの潜在空間に再配置することで,一般依存型提案を可能にする新しいサンプリング手法REP-GANを提案する。
実験的な実験により、我々のREP-GANはサンプル効率を大幅に改善し、同時により良いサンプル品質を得ることを示した。
論文 参考訳（メタデータ） (2021-07-01T10:34:55Z) - Self-Adversarial Learning with Comparative Discrimination for Text
Generation [111.18614166615968]
本稿では,テキスト生成におけるGANの性能向上のための,新たな自己逆学習(SAL)パラダイムを提案する。
トレーニング中、SALは、現在生成された文が以前生成されたサンプルより優れていると判断されたときにジェネレータに報酬を与える。
テキスト生成ベンチマークデータセットの実験により,提案手法は品質と多様性の両方を大幅に改善することが示された。
論文 参考訳（メタデータ） (2020-01-31T07:50:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。