論文の概要: String Seed of Thought: Prompting LLMs for Distribution-Faithful and Diverse Generation

• arxiv url: http://arxiv.org/abs/2510.21150v2
• Date: Fri, 07 Nov 2025 06:59:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-10 16:56:01.110204
• Title: String Seed of Thought: Prompting LLMs for Distribution-Faithful and Diverse Generation
• Title（参考訳）: 思考のストリングシード--分布フェース・ディバース生成のためのLLMの試行
• Authors: Kou Misaki, Takuya Akiba,
• Abstract要約: 確率的インストラクションフォロー(PIF)を改善するLLMの新しいプロンプト手法であるSSoT(String Seed of Thought)を紹介する。 我々は、SSoTがLLMのPIF性能を大幅に改善し、擬似ランダム数生成器の理想的な性能に近づくことを示した。
• 参考スコア（独自算出の注目度）: 7.499410407885288
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce String Seed of Thought (SSoT), a novel prompting method for LLMs that improves Probabilistic Instruction Following (PIF). We define PIF as a task requiring an LLM to select its answer from a predefined set of options, each associated with a specific probability, such that the empirical distribution of the generated answers aligns with the target distribution when prompted multiple times. While LLMs excel at tasks with single, deterministic answers, they often fail at PIF, exhibiting biases problematic for applications requiring non-deterministic behaviors, such as human-behavior simulation, content diversification, and multiplayer games. It also harms the diversity of generated responses, a crucial factor in test-time scaling, by causing the outputs to collapse into a limited set of answers. To address this, we propose SSoT, a simple prompting method that instructs an LLM to first output a random string to generate sufficient entropy. SSoT also instructs the LLM to extract randomness by manipulating this string to derive a final answer, thereby preserving diversity while adhering to specific constraints. We demonstrate that SSoT significantly improves the PIF performance of LLMs, approaching the ideal performance of a pseudo-random number generator. Furthermore, our experiments on NoveltyBench show SSoT's benefits extend beyond closed-set tasks to open-ended tasks by enhancing response diversity.
• Abstract（参考訳）: 本稿では,確率的インストラクションフォロー(PIF)を改善する LLM の新たなプロンプト手法である String Seed of Thought (SSoT) を紹介する。 我々は, PIF を, LLM が予め定義された選択肢の集合からその解を選択すべきタスクとして定義し, それぞれが特定の確率に関連付けられている。 LLMは単一の決定論的回答を持つタスクで優れているが、PIFでは失敗し、人間-行動シミュレーション、コンテンツの多様化、マルチプレイヤーゲームのような非決定論的動作を必要とするアプリケーションに問題のあるバイアスを示す。 また、アウトプットを限定的な回答に分解させることで、テスト時間のスケーリングにおいて重要な要素である、生成されたレスポンスの多様性も損なう。 そこで本研究では,LLMに対してまずランダム文字列を出力して十分なエントロピーを生成する,シンプルなプロンプト手法であるSSoTを提案する。 SSoTはまた、LLMにこの文字列を操作することでランダム性を取り出すよう指示し、それによって特定の制約に固執しながら多様性を保つ。 我々は、SSoTがLLMのPIF性能を大幅に改善し、擬似ランダム数生成器の理想的な性能に近づくことを示した。 さらに, ノベルティベンチ実験では, SSoTの利点がクローズドセットタスクからオープンエンドタスクにまで及んでいることを示し, 応答の多様性を高めた。

関連論文リスト

• Evaluating the Quality of Randomness and Entropy in Tasks Supported by Large Language Models [8.339789704552706]
  大規模言語モデル(LLM)技術は様々な応用をもたらし、その多くが本質的にランダム性を必要とする。 本稿では,一連の実験を通してランダム性を伴うタスクを扱うためのLLMの能力について検討する。 実験では、ランダム番号の生成、パスワードなどのランダム文字列の生成、シャッフルアイテム、ランダムネスの品質評価など、さまざまなタスクがカバーされている。
  論文  参考訳（メタデータ） (2025-10-14T02:43:08Z)
• Learning to Reason Across Parallel Samples for LLM Reasoning [48.41933431325965]
  大規模言語モデル(LLM)において、テスト時間計算のスケーリングは大幅なパフォーマンス向上をもたらす 本稿では,このような複数のサンプル集合を利用する新しい手法を提案する。 5つの推論データセットの実験は、SSAの有効性と効率を実証している。
  論文  参考訳（メタデータ） (2025-06-10T17:42:35Z)
• Iterative Self-Incentivization Empowers Large Language Models as Agentic Searchers [74.17516978246152]
  大規模言語モデル(LLM)は、従来の手法を進化させるために情報検索に広く統合されている。 エージェント検索フレームワークであるEXSEARCHを提案する。 4つの知識集約ベンチマークの実験では、EXSEARCHはベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2025-05-26T15:27:55Z)
• Set-LLM: A Permutation-Invariant LLM [2.9665130256021]
  本論文は,大規模言語モデル(LLM)の順序感度という,特定の脆弱性によって動機付けられている。 本研究では,事前学習型LLMに対する新しいアーキテクチャ適応であるSet-LLMを導入し,置換不変性を保証する混合集合文入力の処理を可能にする。
  論文  参考訳（メタデータ） (2025-05-21T12:14:26Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• Order-Independence Without Fine Tuning [18.020492646988746]
  本稿では,LLMの出力が指定されたサブシーケンスのセットに順序依存しないことを保証する手法であるSet-Based Promptingを提案する。 我々の入力が分布外であるにもかかわらず、期待される精度への影響は小さく、予測は、一様に選択された応答のシャッフルの順序を超える。
  論文  参考訳（メタデータ） (2024-06-04T16:09:13Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)
• LaGR-SEQ: Language-Guided Reinforcement Learning with Sample-Efficient Querying [71.86163159193327]
  大規模言語モデル(LLM)は、最近、テキストを介してコンテキスト対応の応答を提供するという、印象的な能力を実証した。 この能力は、パターン補完に関連するシーケンシャルな意思決定タスクにおいて、妥当なソリューションを予測するために使われる可能性がある。 第一強化学習(RL)エージェントによって部分的に完了したタスクに対する解を提案するために,LLMのこの予測能力を利用するLaGRを紹介した。
  論文  参考訳（メタデータ） (2023-08-21T02:07:35Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。