論文の概要: Calibration-Gated LLM Pseudo-Observations for Online Contextual Bandits

• arxiv url: http://arxiv.org/abs/2604.14961v1
• Date: Thu, 16 Apr 2026 12:55:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-17 21:29:31.902033
• Title: Calibration-Gated LLM Pseudo-Observations for Online Contextual Bandits
• Title（参考訳）: オンラインコンテキスト帯域に対する校正ゲートLDM擬似観測
• Authors: Maksim Pershin, Ivan Golovanov, Pavel Baltabaev, Natalia Trankova,
• Abstract要約: 文脈的バンディットアルゴリズムは、コールドスタート時に高い後悔に悩まされる。 LLM擬似観測によるDisjoint LinUCBの拡張を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contextual bandit algorithms suffer from high regret during cold-start, when the learner has insufficient data to distinguish good arms from bad. We propose augmenting Disjoint LinUCB with LLM pseudo-observations: after each round, a large language model predicts counterfactual rewards for the unplayed arms, and these predictions are injected into the learner as weighted pseudo-observations. The injection weight is controlled by a calibration-gated decay schedule that tracks the LLM's prediction accuracy on played arms via an exponential moving average; high calibration error suppresses the LLM's influence, while accurate predictions receive higher weight during the critical early rounds. We evaluate on two contextual bandit environments - UCI Mushroom (2-arm, asymmetric rewards) and MIND-small (5-arm news recommendation) - and find that when equipped with a task-specific prompt, LLM pseudo-observations reduce cumulative regret by 19% on MIND relative to pure LinUCB. However, generic counterfactual prompt framing increases regret on both environments, demonstrating that prompt design is the dominant factor, more important than the choice of decay schedule or calibration gating parameters. We analyze the failure modes of calibration gating on domains with small prediction errors and provide a theoretical motivation for the bias-variance trade-off governing pseudo-observation weight.
• Abstract（参考訳）: 文脈的バンディットアルゴリズムは、学習者が良い腕と悪い腕の区別に不十分なデータを持っている場合、冷戦開始時に大きな後悔に苦しむ。 本研究では,LLM擬似観測を用いた解離LinUCBの拡張について提案する。各ラウンドの後に大きな言語モデルが非遊び腕に対する反実的報酬を予測し,これらの予測を重み付き擬似観測として学習者に注入する。 インジェクションウェイトはキャリブレーション・ゲートの減衰スケジュールによって制御され、このスケジュールはプレイアーム上のLSMの予測精度を指数的な移動平均で追跡し、高いキャリブレーション誤差はLDMの影響を抑える一方、正確な予測は臨界初期ラウンドでより高い重みを受ける。 UCI Mushroom (2-arm, 非対称報奨) と MIND-small (5-arm News recommendation) の2つの文脈的包括的環境について検討し, タスク固有のプロンプトを装着すると, LLM の擬似観測により, 純粋な LinUCB と比較して MIND の累積後悔が19%減少することがわかった。 しかしながら、一般的な反事実的プロンプトフレーミングは、両方の環境における後悔を増し、プロンプト設計が支配的な要因であり、崩壊スケジュールの選択やキャリブレーションゲーティングパラメータの選択よりも重要であることを示す。 予測誤差の少ない領域におけるキャリブレーションゲーティングの故障モードを解析し、擬似観測重みを規定するバイアス分散トレードオフの理論的動機を提供する。

関連論文リスト

• Curvature-Guided LoRA: Steering in the pretrained NTK subspace [60.35296431630704]
  本稿では,PEFTを用いて得られた予測器と,出力レベルにおける完全微調整の予測器との整合性を考慮した予測アライメント問題を提案する。 我々は、この目的が自然に、ニュートンのような、曲率ホワイトの勾配に対応する最適な低ランク更新を行う、曲率対応の2階定式化につながることを示した。 この知見に基づいて、局所曲率情報を用いて適応方向を選択し、スケールする曲率誘導LoRA(CG-LoRA)を提案する。
  論文  参考訳（メタデータ） (2026-03-31T14:46:39Z)
• UAT-LITE: Inference-Time Uncertainty-Aware Attention for Pretrained Transformers [11.741258610945259]
  UAT-LITEは、自己アテンションの不確実性を認識させる推論時フレームワークである。 これは、細調整されたBERTベースラインと比較して平均で予測エラーを約20%削減する。 分散シフトの下で選択的な予測とロバスト性を改善する。
  論文  参考訳（メタデータ） (2026-02-03T00:51:26Z)
• Mitigating LLM Hallucination via Behaviorally Calibrated Reinforcement Learning [32.32593439144886]
  振舞い校正された強化学習により、小さなモデルは不確実な定量化においてフロンティアモデルを超えることができる。 当社のモデルでは,GPT-5の0.207を超える精度向上率(0.806)を挑戦的なドメイン内評価において達成している。
  論文  参考訳（メタデータ） (2025-12-22T22:51:48Z)
• Revisiting Multivariate Time Series Forecasting with Missing Values [65.30332997607141]
  現実の時系列では欠落値が一般的である。 現在のアプローチでは、計算モジュールを使用して、不足した値を補う、計算済みの予測フレームワークが開発されている。 このフレームワークは、致命的な問題を見落としている: 欠落した値に対して基礎的な真理は存在せず、予測精度を劣化させる可能性のあるエラーの影響を受けやすいようにしている。 本稿では,Information Bottleneck原則に基づく新しいフレームワークであるConsistency-Regularized Information Bottleneck(CRIB)を紹介する。
  論文  参考訳（メタデータ） (2025-09-27T20:57:48Z)
• Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty [59.97939500426759]
  本稿ではRLCRについて述べる。RLCRは精度と信頼性を共同で向上する推論モデルを訓練する手法である。 多様なデータセット間で、RLCRは精度を損なうことなくキャリブレーションを大幅に改善することを示す。 また,言語的信頼度をテスト時に活用し,精度とキャリブレーションを向上させることも実証した。
  論文  参考訳（メタデータ） (2025-07-22T17:56:01Z)
• Next Token Perception Score: Analytical Assessment of your LLM Perception Skills [12.093755170926762]
  Next Token Perception Score (NTPS) は、自己回帰的特徴空間と知覚的特徴部分空間の重なりを測定する線形設定の下で導出されるスコアである。 NTPSはローランク適応(LoRA)ファインチューニング後に増加し,特に大規模モデルでは顕著である。 本研究は, 理論的知見と, 知覚能力の分析的評価を行うための実践的ツールの両方を提供する。
  論文  参考訳（メタデータ） (2025-05-22T17:18:51Z)
• Calibrated Large Language Models for Binary Question Answering [49.1574468325115]
  よく校正されたモデルは、その予測が正しい可能性を正確に反映する確率を生成するべきである。 本稿では、帰納的Venn-Abers予測器(IVAP)を用いて、バイナリラベルに対応する出力トークンに関連する確率をキャリブレーションする手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T09:31:03Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• A Close Look into the Calibration of Pre-trained Language Models [56.998539510508515]
  事前訓練された言語モデル(PLM)は、予測の不確かさを確実に見積もることに失敗する可能性がある。 トレーニングにおけるPLMの校正性能の動的変化について検討する。 最近提案された2つの学習可能な手法を拡張して、モデルを直接収集し、合理的な信頼度を推定する。
  論文  参考訳（メタデータ） (2022-10-31T21:31:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。