論文の概要: Anytime-Valid Federated Conformal RAG for LLM Swarms
- arxiv url: http://arxiv.org/abs/2605.29139v1
- Date: Wed, 27 May 2026 22:06:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-30 02:45:55.540561
- Title: Anytime-Valid Federated Conformal RAG for LLM Swarms
- Title(参考訳): LLMスワーミング用任意のValidFederated Conformal RAG
- Authors: Prasanjit Dubey, Xiaoming Huo,
- Abstract要約: Anytime-FC-RAGは、ステップごとのキャリブレーション・デベレーション予算の合計に基づいて構築されたシーケンシャルな拡張である。
GPT-2-small + MiniLM SwarmのMMLU、DBpedia、AG Newsでの実験では、予測アラームレート、検出遅延、エンベロープカバレッジ、および14ドルから57%の帯域幅の節約が確認された。
- 参考スコア(独自算出の注目度): 12.805268849262243
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Conformal RAG (FC-RAG) provides distribution-free coverage for a bandwidth-limited swarm of weak language models, but only at a fixed horizon. We extend it to anytime-valid sequential coverage: validity at every stopping time, preserved under predictable adaptive control (recalibration, per-node bandwidth escalation, distilled-student refresh), at no extra cost in assumptions over fixed-horizon FC-RAG. Naive composition fails because FC-RAG's marginal coverage bound makes the betting e-process a non-supermartingale on adverse calibration draws, and Ville's inequality cannot be invoked. We give Anytime-FC-RAG, a sequential extension built on a summable per-step calibration-deviation budget that converts the marginal bound into a strict conditional bound on a calibration-good event, paired with a truncated betting e-process that is a nonnegative supermartingale on the entire probability space. From these two ingredients, we obtain four guarantees: time-uniform alarm validity $\mathbb{P}(\sup_t E_t \ge 1/δ_e) \le δ_e + δ_{\mathrm{cal}}$, a Hoeffding-stitched cumulative-miscoverage envelope at the same total budget, safety under any predictable controller (recalibration, bandwidth escalation, student refresh), and training-side error propagation across an unbounded sequence of Federated Probe-Logit Distillation (FPLD) refreshes via a summable training budget. As a practical consequence, an adaptive controller that escalates retrieval bandwidth only when the e-process crosses a warning threshold matches the alarm rate of a fixed-high-bandwidth schedule at substantially lower communication cost. Experiments on a GPT-2-small + MiniLM swarm across MMLU, DBpedia, and AG News verify the predicted alarm rate, detection delay, envelope coverage, and $14$-$57\%$ bandwidth savings; the alarm fires when and only when coverage genuinely breaks.
- Abstract(参考訳): Federated Conformal RAG (FC-RAG) は、弱い言語モデルの帯域制限付きスワムに対して、分布のないカバレッジを提供する。
固定ホライゾンFC-RAGを仮定して、任意の停止時間毎の有効性、予測可能な適応制御(再校正、ノードごとの帯域幅エスカレーション、蒸留スクーデントリフレッシュ)に拡張する。
FC-RAG の限界被覆境界は、ベッティング e-プロセスが不正なキャリブレーションドローの非スーパーマッティングルとなり、Ville の不等式は実行できないため、ナイーブ合成は失敗する。
逐次的拡張であるAnytime-FC-RAGは、最小限境界をキャリブレーショングッド事象の厳密な条件付き境界に変換し、確率空間全体の非負のスーパーマーチンゲールであるtruncated Bentting e-processと組み合わせる。
これら2つの指標から, 時間一様アラーム妥当性 $\mathbb{P}(\sup_t E_t \ge 1/δ_e) \le δ_e + δ_{\mathrm{cal}}$, a Hoeffding-stitched cumulative-miscoverage envelope at the same budget, on any predictable controller (recalibation, bandwidth escalation, students refresh), and training-side error propagation across a unbounded Probe-Logit Distillation (FPLD) refreshes refreshs a summable training budget。
その結果、電子プロセスが警告しきい値を越えた場合にのみ、検索帯域幅を拡大する適応制御器は、固定高帯域スケジュールのアラームレートと、通信コストを著しく低くする。
GPT-2-small + MiniLM SwarmのMMLU、DBpedia、AG Newsでの実験では、予測アラームレート、検出遅延、エンベロープカバレッジ、14ドル~57ドル%の帯域節約が検証されている。
関連論文リスト
- Decoupled Conformal Optimisation: Efficient Prediction Sets via Independent Tuning and Calibration [20.21455697379946]
そこで我々は,列車チューンキャリブレート設計の原則としてデカップリング・コンフォーマル最適化(DCO)を提案する。
DCOは、効率指向構造選択のために独立したチューニングスプリットと、最終共形量子化のための新鮮なキャリブレーションスプリットを使用する。
DCOは,PACスタイルのキャリブレーションに対して,平均予測セットサイズや間隔幅を小さくしながら,名目カバレッジレベルを密に追跡する。
論文 参考訳(メタデータ) (2026-05-18T13:10:21Z) - Anytime PAC-Bayes for Constrained Density-Ratio Networks under Covariate Shift [0.0]
PAC-Bayesはベルヌーイ-KL境界を生じる固定時間状態の重み付けリスクに基づいてインスタンス化される。
実データデプロイメントによる解析的基盤真理に対するパッチテストは、フレームワークを検証します。
単一の固定時間カバレッジ障害が記録され、スプリット単位のカバレッジがラベルシフトの大きさと一致している。
論文 参考訳(メタデータ) (2026-05-17T01:07:17Z) - Federated Language Models Under Bandwidth Budgets: Distillation Rates and Conformal Coverage [12.805268849262243]
集中できない帯域制限ノードに散在するデータに基づいて言語モデルを訓練することは、臨床ネットワーク、企業知識基盤、科学コンソーシアムで発生する設定である。
ノード間でデータを分散し続けなければならない状況について検討し、明示的な帯域幅予算の下では、何の統計的保証が得られるのかを問う。
論文 参考訳(メタデータ) (2026-05-11T05:01:43Z) - Diffusion Controller: Framework, Algorithms and Parameterization [54.82539154511621]
本稿では,逆拡散サンプリングを(一般化された)線形解法マルコフ決定過程における状態のみの制御として活用する統一的な制御理論的視点を提案する。
このフレームワークでは、制御はトレーニング済みのリバースタイムのトランジションカーネルを再重み付けし、端末の目的と$f$分割コストのバランスをとる。
安定拡散v1.4の実験では、選好調整の勝利率が一貫した上昇を示し、品質効率のトレードオフを改善した。
論文 参考訳(メタデータ) (2026-03-07T01:49:59Z) - LATA: Laplacian-Assisted Transductive Adaptation for Conformal Uncertainty in Medical VLMs [61.06744611795341]
医用視覚言語モデル(VLM)は医用画像の強力なゼロショット認識器である。
本研究では,ラプラシアン支援トランスダクティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ(texttttextbfLATA,ラプラシアン支援トランスダクティブ・アダプティブ・アダプティブ・アダプティブ)を提案する。
texttttextbfLATAは交換性を損なうことなくゼロショット予測をシャープにする。
論文 参考訳(メタデータ) (2026-02-19T16:45:38Z) - Time Is All It Takes: Spike-Retiming Attacks on Event-Driven Spiking Neural Networks [87.16809558673403]
スパイキングニューラルネットワーク(SNN)は離散スパイクで計算し、時間構造を利用する。
イベント駆動SNNにおけるスパイク数と振幅を保存しながら、既存のスパイクを繰り返すタイミングのみの敵について検討する。
論文 参考訳(メタデータ) (2026-02-03T09:06:53Z) - Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
生成のための教師なし共形推論フレームワークを提案する。
我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。
その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
論文 参考訳(メタデータ) (2025-09-26T23:40:47Z) - Adaptive t Design Dummy-Gate Obfuscation for Cryogenic Scale Enforcement [0.0]
クラウド量子サービスは、スケジューラメタデータ、レイテンシパターン、共テナント干渉を通じて、回路構造とタイミングを明らかにすることができる。
我々は,ゲートモデルワークロードの運用上のプライバシを強制するスケジューリングおよび難読化スタックであるNADGOを紹介する。
低温CMOS制御による4キュービット超伝導タイルの試作を行い,深度可変ローカルランダム回路と小型QAOAインスタンスの両特性について検討した。
論文 参考訳(メタデータ) (2025-08-31T12:12:48Z) - Adaptive Deadline and Batch Layered Synchronized Federated Learning [66.93447103966439]
フェデレートラーニング(FL)は、データプライバシを保持しながら、分散エッジデバイス間で協調的なモデルトレーニングを可能にする。
我々は,レイヤワイドアグリゲーションのために,ラウンド単位の期限とユーザ固有のバッチサイズを共同で最適化する新しいフレームワークADEL-FLを提案する。
論文 参考訳(メタデータ) (2025-05-29T19:59:18Z) - Semi-Synchronous Personalized Federated Learning over Mobile Edge
Networks [88.50555581186799]
我々は,モバイルエッジネットワーク上での半同期パーソナライズフェデレーション(PerFedS$2$)と呼ばれる半同期PFLアルゴリズムを提案する。
我々は、グローバルラウンド当たりの参加者数とラウンド数の観点から、PerFedS2の収束率の上限を導出する。
PerFedS2はトレーニング時間を節約し、トレーニング損失の収束を保証する。
論文 参考訳(メタデータ) (2022-09-27T02:12:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。