論文の概要: Correcting Selection Bias in Sparse User Feedback for Large Language Model Quality Estimation: A Multi-Agent Hierarchical Bayesian Approach

• arxiv url: http://arxiv.org/abs/2605.12177v1
• Date: Tue, 12 May 2026 14:22:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.917602
• Title: Correcting Selection Bias in Sparse User Feedback for Large Language Model Quality Estimation: A Multi-Agent Hierarchical Bayesian Approach
• Title（参考訳）: 大言語モデル品質推定のためのスパースユーザフィードバックにおける選択バイアスの補正:多階層的ベイズ的アプローチ
• Authors: Andrea Morandi, Mahesh Viswanathan,
• Abstract要約: 本研究では, 個別の相互作用に対して, 地絡ラベルを必要としない3次元階層型ベイズパイプラインを提案する。 フィードバックチャネル(典型的には正のフィードバック率と負のフィードバック比)の軽度先行は、バイアス比が一掃されるにつれて階層的インフォームドは4-13 pp of $Qstar$ に留まる。 チャネル側の先行がなければ、すべての弱いプライオリティは、22-33 pp.で$Qstar$を逃す。
• 参考スコア（独自算出の注目度）: 0.9558392439655014
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: [Abridged] Production LLM deployments receive feedback from a non-random fraction of users: thumbs sit mostly in the tails of the satisfaction distribution, and a naive average over them can land 40-50 percentage points away from true system quality. We treat this as a topic- and sentiment- stratified selection-bias problem and propose a three-agent hierarchical Bayesian pipeline that does not require ground-truth labels on individual interactions. A Topic Clustering Agent partitions the stream via UMAP + HDBSCAN over text embeddings; a Bias Modeling Agent fits a two-stage hierarchical Beta-Binomial under NUTS, inferring per-topic selection rates $s_c$ and quality $q_c$ with partial pooling; a Synthesis Agent reweights $q_c$ by true topic prevalence $\hatπ_c = n_c/N$ to report a bias-corrected aggregate posterior $\bar Q = \sum_c \hatπ_c q_c$ with credible interval, plus drift signals for online recalibration. Validation uses UltraFeedback (N=10,232 retained interactions, $C=18$ clusters, $Q^\star=0.6249$) with simulated topic- and sentiment-dependent selection biases. We compare five Bayesian variants against Naive and IPW baselines. A mild prior on the feedback channel (typical positive-feedback rate and negative-to-positive ratio, both readable from any production dashboard without labels) keeps Hierarchical-Informed within 4-13 pp of $Q^\star$ as the bias ratio sweeps from 1:1 to 30:1, with 95% credible intervals covering $Q^\star$ in 50/50 random-seed replicates at $κ_{\max}=10$. Without channel-side priors, every weak-prior variant misses $Q^\star$ by 22-33 pp: the per-cluster sufficient statistics admit a one-parameter family of equally good fits, and the prior on the bias channel (not on latent quality) is what breaks the degeneracy.
• Abstract（参考訳）: [Abridged]生産LLMデプロイメントは、非ランダムな少数のユーザからフィードバックを受けています。親指は、満足度分布の尾部に位置しており、その上、単純な平均は、真のシステム品質から40～50ポイント離れることができるのです。 本稿では,これを話題・感情階層化選択バイアス問題として扱うとともに,個別の相互作用に基幹トラストラベルを必要としない3次元階層型ベイズパイプラインを提案する。 トピッククラスタリングエージェントは、テキスト埋め込みを介してUMAP + HDBSCANを介してストリームを分割する; バイアスモデリングエージェントは、NUTSの下で2段階の階層的なベータ・バイノミカルに適合し、トピックごとの選択レート$s_c$と品質$q_c$をパーシャルプールで推論する; 合成エージェントは、真のトピックプレバレンス$\hatπ_c = n_c/N$で$q_c$を再重み付けし、バイアス補正された集約されたアグリゲート$\bar Q = \sum_c \hatπ_cq_c$と、オンラインリカバリのためのドリフトシグナルをレポートする。 検証にはUltraFeedback(N=10,232の残留相互作用、$C=18$クラスタ、$Q^\star=0.6249$)とシミュレートされたトピックと感情に依存した選択バイアスを使用する。 ベイズ変種5種を,NaiveおよびIPWベースラインと比較した。 フィードバックチャネル(通常、正フィードバック率と負-正比、どちらもラベルのないプロダクションダッシュボードから読み取ることができる)では、階層-インフォームドは4-13pp of $Q^\star$で、バイアス比は1:1から30:1で、95%の信頼区間が$Q^\star$を50/50のランダムシード複製で50/50のκ_{\max}=10$でカバーしている。 チャネル側の事前がなければ、全ての弱い優先順位の変種は$Q^\star$ by 22-33 pp: クラスタごとの十分な統計値に等しく適合する1パラメータの族を認め、バイアスチャネルの先行(潜時品質に依存しない)は縮退を損なう。

関連論文リスト

• BiAxisAudit: A Novel Framework to Evaluate LLM Bias Across Prompt Sensitivity and Response-Layer Divergence [22.315546054051143]
  大規模言語モデルのバイアス監査は、EU AI Actなどのガバナンスフレームワーク内で運用されている。 このプロトコルでは、各バイアススコアを2つの軸上での信頼性推定とともに報告する。
  論文  参考訳（メタデータ） (2026-05-09T16:26:49Z)
• Measuring the Unmeasurable: Markov Chain Reliability for LLM Agents [0.7161783472741748]
  エージェントの実行トレースをMarkovチェーンに適合させる再現可能なパイプラインである textscTraceToChain を提示する。 パイプラインは自動クラスタ分類を構築し、Laplace-smoothed maximum-likelihood Estimation (MLE) による遷移を推定し、複合的なAkaike Information criterion (AIC) と Kolmogorov-Smirnov (KS) に適合する。 結果として得られたファーストパスビューは、通常別々に報告されるメトリクスを再構成する: pass$$k$, pass$k$, and the reliability decay curve (RDC) is projections of one。
  論文  参考訳（メタデータ） (2026-04-27T15:05:45Z)
• When Agents Disagree: The Selection Bottleneck in Multi-Agent LLM Pipelines [0.0]
  マルチエージェントLLMパイプラインは、チームの多様性がアウトプット品質を改善するかどうかという矛盾した証拠を生み出します。 多様性が役に立つか傷つくかを判断する選択ボトルネックを特定することで解決法を提案する。 この結果から, セレクタの品質は, 単ラウンドジェネレータ選択パイプラインにおけるジェネレータの多様性よりも, より影響の高い設計レバーである可能性が示唆された。
  論文  参考訳（メタデータ） (2026-03-20T00:50:53Z)
• Bias Is a Subspace, Not a Coordinate: A Geometric Rethinking of Post-hoc Debiasing in Vision-Language Models [13.46898179372249]
  VLM(Vision-Language Models)は、マルチモーダルな推論には欠かせないものとなっているが、それらの表現はしばしば人口統計バイアスをエンコードし増幅している。 線形デオード可能なバイアスの全部分空間を同定・除去する幾何学的原理の枠組みを提案する。 提案手法は, 4つのフェアネス指標に対して平均18.5%の精度向上を達成し, より堅牢なデバイアス化を実現する。
  論文  参考訳（メタデータ） (2025-11-22T17:04:30Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)
• Transfer Q Star: Principled Decoding for LLM Alignment [105.89114186982972]
  Transfer $Q*$は、ベースラインモデルを通してターゲット報酬$r$の最適値関数を推定する。 提案手法は, 従来のSoTA法で観測された準最適差を著しく低減する。
  論文  参考訳（メタデータ） (2024-05-30T21:36:12Z)
• Bias Mimicking: A Simple Sampling Approach for Bias Mitigation [57.17709477668213]
  本稿では,新しいクラス条件サンプリング手法であるBias Mimickingを紹介する。 Bias Mimickingは、4つのベンチマークで3%の精度でサンプリングの精度を向上する。
  論文  参考訳（メタデータ） (2022-09-30T17:33:00Z)
• Optimistic Posterior Sampling for Reinforcement Learning with Few Samples and Tight Guarantees [43.13918072870693]
  強化学習(OPSRL)のための楽観的後部サンプリングアルゴリズムを提案する。 殆どの$widetildemathcalO(sqrtH3SAT)$ ignoring $textpolylog(HSAT)$ termsにおいて、高い確率で再帰的な順序境界を保証する。 我々の境界は位数$Omega(sqrtH3SAT)$の下位境界と一致し、Agrawal と Jia が提起した開問題に答える。
  論文  参考訳（メタデータ） (2022-09-28T20:49:34Z)
• Test-time Batch Statistics Calibration for Covariate Shift [66.7044675981449]
  我々は,推論中に深層モデルを新しい環境に適応させることを提案する。 バッチ統計の校正に$alpha$-BNの一般的な定式化を提案する。 また、統合テスト時間適応フレームワークCoreを形成するための新しい損失関数も提示する。
  論文  参考訳（メタデータ） (2021-10-06T08:45:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。