論文の概要: Probabilistic Consensus through Ensemble Validation: A Framework for LLM Reliability

• arxiv url: http://arxiv.org/abs/2411.06535v1
• Date: Sun, 10 Nov 2024 17:32:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:12:55.568445
• Title: Probabilistic Consensus through Ensemble Validation: A Framework for LLM Reliability
• Title（参考訳）: アンサンブル検証による確率的合意:LLM信頼性のためのフレームワーク
• Authors: Ninad Naik,
• Abstract要約: 大規模言語モデル(LLM)は、テキスト生成の大幅な進歩を示しているが、自律的なデプロイメントに必要な信頼性を欠いていることが多い。 本稿では,モデルコンセンサスを通じて,コンテンツ検証のためのアンサンブル手法を再利用する新しいフレームワークを提案する。 事実の精度と因果一貫性を必要とする78症例を対象としたテストでは, 精度が73.1%から93.9%に向上した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Large Language Models (LLMs) have shown significant advances in text generation but often lack the reliability needed for autonomous deployment in high-stakes domains like healthcare, law, and finance. Existing approaches rely on external knowledge or human oversight, limiting scalability. We introduce a novel framework that repurposes ensemble methods for content validation through model consensus. In tests across 78 complex cases requiring factual accuracy and causal consistency, our framework improved precision from 73.1% to 93.9% with two models (95% CI: 83.5%-97.9%) and to 95.6% with three models (95% CI: 85.2%-98.8%). Statistical analysis indicates strong inter-model agreement ($\kappa$ > 0.76) while preserving sufficient independence to catch errors through disagreement. We outline a clear pathway to further enhance precision with additional validators and refinements. Although the current approach is constrained by multiple-choice format requirements and processing latency, it offers immediate value for enabling reliable autonomous AI systems in critical applications.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、テキスト生成の大幅な進歩を示しているが、医療、法律、財務といった高額な領域において、自律的なデプロイに必要な信頼性を欠いていることが多い。 既存のアプローチは外部の知識や人間の監視に依存しており、スケーラビリティを制限している。 本稿では,モデルコンセンサスを通じて,コンテンツ検証のためのアンサンブル手法を再利用する新しいフレームワークを提案する。 事実の精度と因果一貫性を必要とする78の複雑な症例を対象としたテストでは、2つのモデル(95% CI: 83.5%-97.9%)と3つのモデル(95% CI: 85.2%-98.8%)で精度を73.1%から93.9%に改善した。 統計分析は、強いモデル間合意(\kappa$ > 0.76)を示す一方で、不一致を通じてエラーをキャッチするための十分な独立を維持している。 我々は、さらなるバリデータや改良を加えて精度をさらに高めるための明確な経路を概説する。 現在のアプローチは、複数フォーマットの要件と処理レイテンシによって制約されているが、重要なアプリケーションで信頼性の高い自律AIシステムを実現するための即時的な価値を提供する。

関連論文リスト

• UncertaintyRAG: Span-Level Uncertainty Enhanced Long-Context Modeling for Retrieval-Augmented Generation [93.38604803625294]
  IncertaintyRAG, a novel approach for long-context Retrieval-Augmented Generation (RAG)について紹介する。 我々は、SNR(Signal-to-Noise Ratio)ベースのスパン不確実性を用いて、テキストチャンク間の類似性を推定する。 不確かさRAGはLLaMA-2-7Bでベースラインを2.03%上回り、最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-10-03T17:39:38Z)
• OATH: Efficient and Flexible Zero-Knowledge Proofs of End-to-End ML Fairness [13.986886689256128]
  Zero-Knowledge Proofs of Fairnessは、サービスプロバイダが彼らのモデルが多様な人口動態を公平に提供できることを検証することによって、フェアネスの非準拠に対処する。 OATHはクライアント対面通信とオフライン監査フェーズを効果的にデプロイできるフレームワークである。 OATHは、ニューラルネットワークZKPoFの以前の作業よりも、ランタイムを1343倍改善し、はるかに大きなモデルにスケールアップする。
  論文  参考訳（メタデータ） (2024-09-17T16:00:35Z)
• Enhanced Anomaly Detection in Automotive Systems Using SAAD: Statistical Aggregated Anomaly Detection [0.0]
  本稿では,SAADと呼ばれる新しい異常検出手法を提案する。 SAADアプローチは、高度な統計技術と機械学習を統合し、その有効性は、自動車領域内のハードウェア・イン・ザ・ループ(HIL)環境からの実センサデータを検証することによって実証される。
  論文  参考訳（メタデータ） (2024-06-11T12:41:24Z)
• Accurate and Reliable Predictions with Mutual-Transport Ensemble [46.368395985214875]
  Kullback-Leibler (KL) を用いた共学習補助モデルの提案とクロスエントロピー損失の適応的正則化 MTEは精度と不確実性の両方を同時に向上させることができる。 例えば、CIFAR-100データセットでは、我々のResNet34/50上のMTEメソッドは、従来の最先端の手法に比べて大幅に改善された。
  論文  参考訳（メタデータ） (2024-05-30T03:15:59Z)
• MixedNUTS: Training-Free Accuracy-Robustness Balance via Nonlinearly Mixed Classifiers [41.56951365163419]
  MixedNUTSは、ロバストな分類器の出力ロジットを3つのパラメータしか持たない非線形変換で処理する訓練不要の手法である。 MixedNUTSは変換されたロジットを確率に変換し、それらを全体の出力として混合する。 CIFAR-10、CIFAR-100、ImageNetデータセットでは、MixedNUTSの精度とほぼSOTAの堅牢性を大幅に改善した。
  論文  参考訳（メタデータ） (2024-02-03T21:12:36Z)
• ASSERT: Automated Safety Scenario Red Teaming for Evaluating the Robustness of Large Language Models [65.79770974145983]
  ASSERT、Automated Safety Scenario Red Teamingは、セマンティックなアグリゲーション、ターゲットブートストラップ、敵の知識注入という3つの方法で構成されている。 このプロンプトを4つの安全領域に分割し、ドメインがモデルの性能にどのように影響するかを詳細に分析する。 統計的に有意な性能差は, 意味的関連シナリオにおける絶対分類精度が最大11%, ゼロショット逆数設定では最大19%の絶対誤差率であることがわかった。
  論文  参考訳（メタデータ） (2023-10-14T17:10:28Z)
• Reliable Federated Disentangling Network for Non-IID Domain Feature [62.73267904147804]
  本稿では、RFedDisと呼ばれる新しい信頼性のあるフェデレーション・ディエンタングリング・ネットワークを提案する。 我々の知る限り、提案するRFedDisは、明らかな不確実性と特徴の混在に基づくFLアプローチを開発する最初の試みである。 提案するRFedDisは,他の最先端FL手法と比較して信頼性の高い優れた性能を提供する。
  論文  参考訳（メタデータ） (2023-01-30T11:46:34Z)
• Adversarial Training with Rectified Rejection [114.83821848791206]
  本稿では,信頼度(T-Con)を確実性オラクルとして利用し,信頼度を補正してT-Conを予測することを提案する。 軽度の条件下では、正当性(R-Con)拒絶器と信頼性(R-Con)拒絶器を結合して、不正に分類された入力と正しく分類された入力を区別できることを示す。
  論文  参考訳（メタデータ） (2021-05-31T08:24:53Z)
• Adversarial Feature Stacking for Accurate and Robust Predictions [4.208059346198116]
  Adversarial Feature Stacking (AFS)モデルは、さまざまなレベルの堅牢性と精度を持つ機能を共同で活用することができる。 CIFAR-10およびCIFAR-100データセット上でのAFSモデルの評価を行った。
  論文  参考訳（メタデータ） (2021-03-24T12:01:24Z)
• Triple Wins: Boosting Accuracy, Robustness and Efficiency Together by Enabling Input-Adaptive Inference [119.19779637025444]
  深層ネットワークは、(クリーンな自然画像の場合)正確さと(敵対的な摂動画像の場合)頑健さの相違に直面することを最近提案された。 本稿では,入力適応推論に関連するマルチエグジットネットワークについて検討し,モデル精度,ロバスト性,効率の最適化において「スイートポイント」を達成する上での強い期待を示す。
  論文  参考訳（メタデータ） (2020-02-24T00:40:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。