論文の概要: Elicitation Matters: How Prompts and Query Protocols Shape LLM Surrogates under Sparse Observations
- arxiv url: http://arxiv.org/abs/2605.04764v1
- Date: Wed, 06 May 2026 11:10:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-07 18:41:07.789984
- Title: Elicitation Matters: How Prompts and Query Protocols Shape LLM Surrogates under Sparse Observations
- Title(参考訳): 励起物質 : プロンプトとクエリプロトコルがスパース観測下でどのようにLDMサロゲートを形成するか
- Abstract要約: スパース観測により, LLMから抽出した代理的信念について検討した。
我々は、構造的プロンプトが効果的な先行として機能し、POSINTWISEとJOINTクエリは異なる信念を誘導し、シーケンシャルなエビデンスによって非単調で秩序に敏感な信頼度が更新されることを示した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models are increasingly used as surrogate models for low-data optimization, but their optimizer-facing prediction and its uncertainty remain poorly understood. We study the surrogate belief elicited from an LLM under sparse observations, showing that it depends strongly on prompt text and query protocol. We introduce an uncertainty-alignment criterion that measures whether model uncertainty tracks residual ambiguity among sample-consistent functions. Across controlled inference tasks and Bayesian optimization studies, we find that structural prompts act as effective priors, POINTWISE and JOINT querying induce different beliefs, and sequential evidence leads to non-monotonic, order-sensitive confidence updates. These effects change downstream acquisition decisions and regret, showing that elicitation protocol is part of the LLM surrogate specification, not a formatting detail.
- Abstract(参考訳): 大規模言語モデルは、低データ最適化のためのサロゲートモデルとしてますます使われているが、最適化対象の予測と不確実性はまだよく分かっていない。
本研究は,LLMから抽出したサロゲート信念をスパース観測により検討し,プロンプトテキストとクエリプロトコルに強く依存していることを示す。
モデル不確かさがサンプル一貫性関数の残差曖昧性を追跡するかどうかを測定する不確実性調整基準を導入する。
制御された推論タスクとベイズ最適化研究全体で、構造的プロンプトが効果的な事前処理として機能し、POINTWISEとJOINTクエリは異なる信念を誘導し、シーケンシャルなエビデンスによって非単調で秩序に敏感な信頼度が更新される。
これらの影響は下流での買収決定や後悔に変わり、ライセンスプロトコルがフォーマットの詳細ではなく、LLMサロゲート仕様の一部であることを示している。
関連論文リスト
- Mitigating LLM Sycophancy in Code Smell Detection Using Evidence-Guided Reasoning Prompts [0.0]
大規模言語モデルにおける梅毒のバイアスに関する最初の体系的実証的研究について述べる。
LLMに基づくコードの臭い検出の信頼性に、梅毒のバイアスが重大な脅威となることを示す。
我々は,エビデンス優先の推論を強制する構造化促進戦略であるEvidence-Guided Debiasing Prompting (EGDP)を提案する。
論文 参考訳(メタデータ) (2026-07-11T17:35:25Z) - Uncertainty-Aware Exploratory Direct Preference Optimization for Multimodal Large Language Models [53.15468578562038]
マルチモーダル大言語モデル(MLLM)のための不確実性を考慮した探索的直接参照最適化(UE-DPO)手法を提案する。
まず、与えられた画像にトークン予測を根拠にしなかったモデルの不確かさを定量化する。
次に、好ましいサンプルにおいて、視覚的に不足したトークンに対する学習のプレッシャーを高め、非推奨サンプルにおける有益な知識の過度な報酬化を緩和する。
論文 参考訳(メタデータ) (2026-05-06T13:08:12Z) - LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。
CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
論文 参考訳(メタデータ) (2026-05-02T11:31:33Z) - HADSF: Aspect Aware Semantic Control for Explainable Recommendation [4.75127493865044]
大規模言語モデル(LLM)の最近の進歩は、推薦システムに対してより効果的な情報抽出を約束している。
本稿では,適応選択によるコンパクトなコーパスレベルのアスペクトボキャブラリを誘導し,構造化アスペクトオピニオン三重項のボキャブラリ誘導,明示的に制約された抽出を行う2段階アプローチを提案する。
1.5B-70Bパラメータにまたがる約300万のレビューに関する実験では、標準評価予測器に統合された場合、HADSFは予測エラーを一貫して減少させる。
論文 参考訳(メタデータ) (2025-10-30T20:49:33Z) - Teaching Language Models to Faithfully Express their Uncertainty [8.022069644392786]
大きな言語モデル(LLM)は、しばしば不確実性を誤解する。
本稿では,FUT(Fithful Uncertainity Tuning)を導入し,不確かさを忠実に表現する指導用LLMを指導する。
論文 参考訳(メタデータ) (2025-10-14T14:42:40Z) - Towards Large Language Models with Self-Consistent Natural Language Explanations [11.085839471231552]
大きな言語モデル(LLM)は、解釈容易なパスを提供するようだ。
しかし、研究によると、これらのポストホックな説明は真の決定過程を誤って表現していることが多い。
論文 参考訳(メタデータ) (2025-06-09T08:06:33Z) - Supervised Optimism Correction: Be Confident When LLMs Are Sure [91.7459076316849]
教師付き微調整とオフライン強化学習の間には,新たな理論的関係が確立されている。
広く使われているビームサーチ法は、許容できない過度な最適化に悩まされていることを示す。
本稿では,トークンレベル$Q$-value推定のための簡易かつ効果的な補助的損失を導入したSupervised Optimism Correctionを提案する。
論文 参考訳(メタデータ) (2025-04-10T07:50:03Z) - In-context Demonstration Matters: On Prompt Optimization for Pseudo-Supervision Refinement [71.60563181678323]
大規模言語モデル(LLM)は様々なタスクで大きな成功を収めており、生成品質をさらに向上させるためには微調整が必要である場合もある。
これらの課題に対処する直接的な解決策は、教師なしの下流タスクから高信頼のデータを生成することである。
本稿では,プロンプトと全体的な擬似スーパービジョンを両立させる新しい手法,擬似教師付きデモアライメント・アライメント・アライメント・プロンプト・最適化(PAPO)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-10-04T03:39:28Z) - Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。
本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文 参考訳(メタデータ) (2024-06-05T16:35:30Z) - Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。
本稿では,LLMのための不確実性分解フレームワークについて述べる。
提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
論文 参考訳(メタデータ) (2023-11-15T05:58:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。