論文の概要: Structure, Not Belief: Correlated Thompson Sampling from LLM-Derived Covariance in Combinatorial Semi-Bandits
- arxiv url: http://arxiv.org/abs/2610.07470v1
- Date: Mon, 05 Oct 2026 22:35:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.693644
- Title: Structure, Not Belief: Correlated Thompson Sampling from LLM-Derived Covariance in Combinatorial Semi-Bandits
- Title(参考訳): 構造, 信じない: コンビニアルセミバンドにおけるLLM-Derived共分散からの類似トンプソンサンプリング
- Abstract要約: コンビニアル・トンプソンサンプリング(CTS)は各腕の独立した後部サンプルを抽出するので、その探索力学は腕間の関係を無視する。
LLMは腕の分割のために一度クエリされ、その分割はクラスタランク上のRBFカーネルを通して正定相関行列$$となる。
情報ゲインが$Klog T$ と $K$-cluster 構造から$Klog T$ と、$dlog T$ に成長するリッジ項に分裂する理想化されたガウスサンプルに対して、自己完結したベイズ的後悔を与える。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Combinatorial Thompson sampling (CTS) draws independent posterior samples for every arm, so its exploration dynamics ignore any relation among arms. We study a minimal change to those dynamics: an LLM is queried once for a partition of the arms, the partition becomes a positive-definite correlation matrix $Σ$ through an RBF kernel on cluster ranks, and the per-round posterior sample is drawn with covariance $Σ$ while the Beta posteriors are updated from real rewards only, so the LLM shapes how the sampler moves, not what it believes. We give a self-contained Bayesian regret bound for the idealized Gaussian sampler whose information gain splits into a $K\log T$ term from the $K$-cluster structure and a ridge term that grows to $d\log T$: the $\sqrt{d/K}$ improvement over independent sampling is a finite-horizon transient, exact only as the within-cluster correlation tends to one. The correlated sampler reduces regret by 19% over CTS on 16 synthetic Bernoulli families at $T=2{,}500$ (6-7% at $T=25{,}000$ with data-adaptive kernels) and by 41% on the Microsoft MIND-small news benchmark ($d=200$ real articles), while pseudo-observation warm starts give nothing. An LLM-free ablation with a simulated oracle of controlled quality shows that on unstructured instances the gain is a property of the kernel shape (a random partition, or a plain tempering of the sampling noise, reproduces it), while belief injection at matched oracle quality never helps.
- Abstract(参考訳): コンビニアル・トンプソンサンプリング(CTS)は各腕の独立した後部サンプルを抽出するので、その探索力学は腕間の関係を無視する。
LLMは腕の分割のために1回クエリされ、分割はクラスタランク上のRBFカーネルを通して正定相関行列$$$となり、全アフターサンプルは共分散$$$で描画され、ベータ後部は実報酬のみから更新されるので、LCMは標本がどう動くかではなく、どのように動くかを形作る。
我々は、情報ゲインが$K\log T$項から$K$-cluster構造と$d\log T$に成長するリッジ項に分裂する理想化されたガウスサンプルに対して、自己完結したベイズ後悔を与える。
相関サンプリング器は16の合成Bernoulliファミリー(T=2{,}500$ (T=25{,}000$でデータ適応型カーネルで6-7%)でのCTSに対する後悔を19%減らし、Microsoft MIND小ニュースベンチマーク($d=200$実記事)では41%減らした。
制御品質のシミュレートされたオラクルによるLCMフリーアブレーションは、ゲインがカーネル形状(ランダムパーティションまたはサンプリングノイズの平らなテンパリング)の特性であることを示しているが、一致したオラクル品質での信念注入は決して役に立たない。
関連論文リスト
- Conditioning Tree-Based Diffusions and Flows for Probabilistic Tabular Regression [0.0]
木に基づく拡散モデルは、神経密度推定器を使わずに回帰の柔軟な条件付き予測分布に適合する。
これらのデフォルトはバインディングの制約であることを示す: 勾配のブーストされたアンサンブルが実際に解決するのは、教師付き回帰問題である。
DiffGBM を2つの軸に沿って明示する。
論文 参考訳(メタデータ) (2026-07-30T22:08:02Z) - Constrained and Composite Sampling via Proximal Sampler [2.087898608419977]
本研究では,制約サンプリングと複合サンプリングの2つの対数凹型サンプリング問題について検討する。
主な課題は、ミキシングを劣化させることなくフィージビリティを強制することである。
複合サンプリングでは、ターゲットは$exp(-f(x)-h(x))$に比例する。
論文 参考訳(メタデータ) (2026-02-16T05:36:36Z) - One-Shot Federated Ridge Regression: Exact Recovery via Sufficient Statistic Aggregation [0.7106986689736825]
フェデレート・リッジ回帰(Federated ridge regression)は、各クライアントが局所的な十分な統計を計算し、一度送信する分散平衡問題である。
我々は、クライアント1回に1回ノイズが注入された場合の差分プライバシー保証を確立し、マルチラウンドプロトコルのプライバシを低下させる構成ペナルティを排除した。
合成ヘテロジニアス回帰の実験では、単発核融合はFedAvgの精度と一致し、通信コストは最大38時間以下であることが示されている。
論文 参考訳(メタデータ) (2026-01-13T04:47:22Z) - Large Language Models Are Bad Dice Players: LLMs Struggle to Generate Random Numbers from Statistical Distributions [50.1404916337174]
大規模言語モデル(LLM)における母国語の確率的サンプリングの大規模,統計的に活用された最初の監査について述べる。
バッチ生成は, ほぼ完全に崩壊する一方, 中央値のパスレートが13%であり, 統計的妥当性はわずかであることがわかった。
現在のLCMには機能的な内部サンプルが欠如しており、統計的保証を必要とするアプリケーションに外部ツールを使う必要があると結論付けている。
論文 参考訳(メタデータ) (2026-01-08T22:33:12Z) - Improved Active Learning via Dependent Leverage Score Sampling [8.400581768343804]
本研究では,非依存的(逆方向雑音)環境下での能動学習手法の改善方法について述べる。
エンフェボタルサンプリングアルゴリズムに基づく簡単な実装法を提案する。
独立サンプリングと比較して,本手法は,所定の目標精度に到達するために必要なサンプル数を最大50%削減する。
論文 参考訳(メタデータ) (2023-10-08T01:51:30Z) - Stochastic Approximation Approaches to Group Distributionally Robust Optimization and Beyond [89.72693227960274]
本稿では,グループ分散ロバスト最適化 (GDRO) を,$m$以上の異なる分布をうまく処理するモデルを学習する目的で検討する。
各ラウンドのサンプル数を$m$から1に抑えるため、GDROを2人でプレイするゲームとして、一方のプレイヤーが実行し、他方のプレイヤーが非公開のマルチアームバンディットのオンラインアルゴリズムを実行する。
第2のシナリオでは、最大リスクではなく、平均的最上位k$リスクを最適化し、分散の影響を軽減することを提案する。
論文 参考訳(メタデータ) (2023-02-18T09:24:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。