論文の概要: Epistemic Filtering and Collective Hallucination: A Jury Theorem for Confidence-Calibrated Agents
- arxiv url: http://arxiv.org/abs/2602.22413v1
- Date: Wed, 25 Feb 2026 21:09:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-27 18:41:22.410521
- Title: Epistemic Filtering and Collective Hallucination: A Jury Theorem for Confidence-Calibrated Agents
- Title(参考訳): てんかん濾過と集団幻覚 : 信頼性評価剤の審査理論
- Abstract要約: 本研究では、時間とともに自己の信頼性を推定し、投票を選択的に控える異種エージェントの集合的精度について検討する。
古典的な投票結果は固定的な参加を前提としているが、現実の集約はしばしば、エージェントが私が知らないと言うことの恩恵を受ける。
- 参考スコア(独自算出の注目度): 2.28438857884398
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We investigate the collective accuracy of heterogeneous agents who learn to estimate their own reliability over time and selectively abstain from voting. While classical epistemic voting results, such as the \textit{Condorcet Jury Theorem} (CJT), assume fixed participation, real-world aggregation often benefits from allowing agents to say ``I don't know.'' We propose a probabilistic framework where agents engage in a \textit{calibration} phase, updating beliefs about their own fixed competence, before facing a final confidence gate that determines whether to vote or abstain. We derive a non-asymptotic lower bound on the group's success probability and prove that this \textit{selective participation} generalizes the asymptotic guarantees of the CJT to a sequential, confidence-gated setting. Empirically, we validate these bounds via Monte Carlo simulations. While our results are general, we discuss their potential application to AI safety, outlining how this framework can mitigate \textit{hallucinations} in collective LLM decision-making.
- Abstract(参考訳): 本研究では、時間とともに自己の信頼性を推定し、投票を選択的に控える異種エージェントの集合的精度について検討する。
古典的な疫学投票の結果、例えば『textit{Condorcet Jury Theorem}』(CJT)は、一定の参加を前提としているが、現実世界の集約はエージェントが『私は知らない』と言うことの恩恵を受けることが多い。
そこで我々は,エージェントが‘textit{calibration} フェーズを遂行し,自身の一定の能力に関する信念を更新し,投票か棄権かを決定する最終的な信頼ゲートに直面する確率的枠組みを提案する。
我々は、群の成功確率の漸近的でない下界を導出し、この \textit{selective participation} が CJT の漸近的保証を逐次的かつ自信に満ちた設定に一般化することを証明する。
経験的に、これらの境界はモンテカルロシミュレーションを用いて検証する。
我々の結果は一般論であるが、AIの安全性に対する潜在的な応用について論じ、このフレームワークが全体的LCM意思決定においてtextit{hallucinations}を緩和する方法について概説する。
関連論文リスト
- Localize-Then-Decide Guarantees for LLM Judgments [20.020682117057238]
大規模言語モデル(LLM)は、出力品質と好みのアライメントを評価するための評価器として、ますます使われている。
そこで我々は,高確率な合意保証を実現するためのLocalize-Then-Decideフレームワークを提案する。
我々のフレームワークは、一段のベースラインよりも高い保証成功率とかなり高いカバレッジを継続的に達成します。
論文 参考訳(メタデータ) (2026-08-26T14:04:37Z) - Uncertainty-Aware Abstention in Large Language Models with Provable Alignment Guarantees [0.5371337604556311]
大規模言語モデル (LLM) は質問応答システム (QA) に徐々にデプロイされている。
信頼度を見積もることなく、幻覚または不一致の応答を生成することができる。
我々は、任意の不確実性スコアをリスク制御された選択応答規則に変換する信頼区間に基づくキャリブレーションフレームワークであるCICを提案する。
論文 参考訳(メタデータ) (2026-07-05T17:50:32Z) - Belief Memory: Agent Memory Under Partial Observability [56.41506249481312]
本稿では,メモリパラダイムを観測毎に1つの結論にシフトし,その確率で複数の結論を導出するBeliefMemを提案する。
BeliefMemは決定論的パラダイムが破棄されるという不確実性を保ち、エージェントが高い信頼を持って行動することを可能にする。
LoCoMoとALFWorldベンチマークの実証的な評価は、限られたデータであっても、BeliefMemが最高の平均パフォーマンスを達成することを示している。
論文 参考訳(メタデータ) (2026-05-07T02:03:13Z) - FACT-E: Causality-Inspired Evaluation for Trustworthy Chain-of-Thought Reasoning [49.65751420291115]
CoT(Chain-of-Thought)プロンプトはLSM推論を改善したが、モデルはしばしば不誠実な中間ステップを含むコヒーレントな説明を生成する。
我々は、CoTの品質を評価するための因果性に着想を得たフレームワークであるFACT-Eを提案する。
FACT-Eは推論・軌道選択を改善し、文脈内学習を強くすることを示す。
論文 参考訳(メタデータ) (2026-04-12T15:35:08Z) - I-CALM: Incentivizing Confidence-Aware Abstention for LLM Hallucination Mitigation [2.688126466709795]
大規模言語モデル(LLM)は、自信はあるが誤った答えをしばしば生み出す。
モデルを変更することなく、即時のみの介入が幻覚リスクを低減できるかどうかを検討する。
結果から,本フレームワークは質問に対する選択的な回答を,再学習なしに改善できることが示された。
論文 参考訳(メタデータ) (2026-04-05T00:15:41Z) - Confidence Before Answering: A Paradigm Shift for Efficient LLM Uncertainty Estimation [47.91529693614168]
既存の方法は、主に回答ファーストであり、回答を生成した後のみ信頼を生み出す。
モデルが答える前に信頼を出力する信頼第一パラダイムについて検討し、このスコアを正解する確率として解釈する。
我々は,信頼度校正と正解精度をセグメント化された信用代入を通じて協調的に最適化する強化学習フレームワークであるCoCAを提案する。
論文 参考訳(メタデータ) (2026-03-06T04:03:13Z) - Efficient Self-Evaluation for Diffusion Language Models via Sequence Regeneration [48.19579266939883]
拡散大言語モデル (dLLMs) は多様性、制御可能性、並列性を高める能力において大きな注目を集めている。
我々は,dLLMの簡易かつ効果的な自己評価信頼度定量化法であるDiSEを提案する。
論文 参考訳(メタデータ) (2026-03-03T08:58:20Z) - Active Epistemic Control for Query-Efficient Verified Planning [1.8055130471307603]
モデルに基づく信念管理とカテゴリー的可能性チェックを統合した計画層である textbfActive Epistemic Control (AEC) を提案する。
AECは、コミットメントに使用されるアンフグラウンドのファクトストアと、候補プランの刈り取りにのみ使用されるエンフベーリフストアとを厳格に分離している。
論文 参考訳(メタデータ) (2026-02-03T19:51:10Z) - Chance-Constrained Inference for Hallucination Risk Control in Large Language Models [0.0]
大規模な言語モデルは、事実の幻覚を含む、流動的だが無効な応答を生成する。
デプロイメント時のリスク管理問題として推論を定式化する。
信頼性に基づく選択予測は一般に確率論的リスク保証を示唆しないことを示す。
論文 参考訳(メタデータ) (2026-02-02T04:51:47Z) - The Silent Scholar Problem: A Probabilistic Framework for Breaking Epistemic Asymmetry in LLM Agents [0.6117371161379209]
本稿では,エージェントに双方向知識交換のための非構造的動機を与える形式的確率的枠組みを提案する。
これらの蓄積された信念状態が、人間フィードバックからの強化学習(RLHF)と監視ファインチューニング(SFT)のための高品質データフィルタの検証可能な報酬信号としてどのように機能するかを示す。
シミュレーションの結果、この不確実性駆動型戦略が異種環境におけるランダムベースラインを著しく上回ることを示した。
論文 参考訳(メタデータ) (2025-12-24T02:02:25Z) - A Framework for Bounding Deterministic Risk with PAC-Bayes: Applications to Majority Votes [4.664367264604233]
PAC-Bayes は、非可算仮説空間における一般化保証を得るための一般的なフレームワークである。
本研究では,PAC-ベイジアン保証から単一仮説の保持する保証を抽出する統一的な枠組みを提案する。
論文 参考訳(メタデータ) (2025-10-29T14:38:35Z) - Core Safety Values for Provably Corrigible Agents [2.6451153531057985]
我々は,複数段階の部分的に観察された環境において,検証可能な保証を付与し,適応性のための最初の実装可能なフレームワークを紹介した。
私たちのフレームワークは、単一の報酬を5つの*構造的に分離された*ユーティリティヘッドに置き換えます。
敵がエージェントを修正できるオープンエンド設定では、任意のポストハックエージェントが調整性に反するかどうかを判断することは不可能である。
論文 参考訳(メタデータ) (2025-07-28T16:19:25Z) - COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。
COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。
リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
論文 参考訳(メタデータ) (2025-06-25T07:04:49Z) - Aligning Large Language Models for Faithful Integrity Against Opposing Argument [71.33552795870544]
大規模言語モデル(LLM)は複雑な推論タスクにおいて印象的な機能を示している。
原文が正しい場合でも、会話中に不誠実な議論によって容易に誤解される。
本稿では,信頼度と信頼度を両立させる新しい枠組みを提案する。
論文 参考訳(メタデータ) (2025-01-02T16:38:21Z) - Mitigating LLM Hallucinations via Conformal Abstention [70.83870602967625]
我々は,大言語モデルが一般ドメインでの応答をいつ無視すべきかを決定するための,原則化された手順を開発する。
我々は、幻覚率(エラー率)の厳密な理論的保証の恩恵を受けるため、共形予測手法を活用して、禁忌手順を開発する。
実験によって得られた共形禁忌法は, 種々の閉書, オープンドメイン生成質問応答データセットに, 幻覚率を確実に拘束する。
論文 参考訳(メタデータ) (2024-04-04T11:32:03Z) - When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。
deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。
カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
論文 参考訳(メタデータ) (2023-07-06T04:13:57Z) - Near-Optimal Non-Parametric Sequential Tests and Confidence Sequences
with Possibly Dependent Observations [44.71254888821376]
我々は、一般的な非データ生成プロセスの下で、最初のタイプIエラーと予測リジェクション時間保証を提供する。
本研究では, 平均処理効果など, 方程式を推定することによって定義されるパラメータの推測に, 結果を適用する方法を示す。
論文 参考訳(メタデータ) (2022-12-29T18:37:08Z) - Generalised Likelihood Ratio Testing Adversaries through the
Differential Privacy Lens [69.10072367807095]
微分プライバシー(DP)は、最適な敵の能力に厳格な上限を提供する。
我々は,NPO(Neyman-Pearson-Pearson-Pearson-Pearson-Pearson-Pearson)対GLRT(Generalized Likelihood Test)対向の仮定を緩和する。
この緩やかな緩和は、プライバシー保証の改善につながる。
論文 参考訳(メタデータ) (2022-10-24T08:24:10Z) - Conformal Off-Policy Prediction in Contextual Bandits [54.67508891852636]
コンフォーマルなオフ政治予測は、新しい目標ポリシーの下で、結果に対する信頼できる予測間隔を出力することができる。
理論上の有限サンプル保証は、標準的な文脈的バンディットの設定を超える追加の仮定をすることなく提供する。
論文 参考訳(メタデータ) (2022-06-09T10:39:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。