論文の概要: Uncertainty-Aware Transformers: Conformal Prediction for Language Models

• arxiv url: http://arxiv.org/abs/2604.08885v1
• Date: Fri, 10 Apr 2026 02:48:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-13 17:57:53.648649
• Title: Uncertainty-Aware Transformers: Conformal Prediction for Language Models
• Title（参考訳）: 不確かさを意識した変圧器:言語モデルの等角予測
• Authors: Abhiram Vellore, Niraj K. Jha,
• Abstract要約: 本稿ではトランスフォーマーに基づく言語モデルのための不確実な定量化フレームワークを提案する。 CONFIDEは、BERTやRoBERTaのようなエンコーダのみのアーキテクチャの内部埋め込みに対して、整合予測を適用する。 初期および中期のトランスフォーマー層は、しばしば共形予測のためのより良いキャリブレーションと意味論的意味のある表現をもたらす。
• 参考スコア（独自算出の注目度）: 4.464939140209426
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers have had a profound impact on the field of artificial intelligence, especially on large language models and their variants. However, as was the case with neural networks, their black-box nature limits trust and deployment in high-stakes settings. For models to be genuinely useful and trustworthy in critical applications, they must provide more than just predictions: they must supply users with a clear understanding of the reasoning that underpins their decisions. This article presents an uncertainty quantification framework for transformer-based language models. This framework, called CONFIDE (CONformal prediction for FIne-tuned DEep language models), applies conformal prediction to the internal embeddings of encoder-only architectures, like BERT and RoBERTa, while enabling hyperparameter tuning. CONFIDE uses either [CLS] token embeddings or flattened hidden states to construct class-conditional nonconformity scores, enabling statistically valid prediction sets with instance-level explanations. Empirically, CONFIDE improves test accuracy by up to 4.09% on BERT-tiny and achieves greater correct efficiency (i.e., the expected size of the prediction set conditioned on it containing the true label) compared to prior methods, including NM2 and VanillaNN. We show that early and intermediate transformer layers often yield better-calibrated and more semantically meaningful representations for conformal prediction. In resource-constrained models and high-stakes tasks with ambiguous labels, CONFIDE offers robustness and interpretability where softmax-based uncertainty fails. We position CONFIDE as a framework for practical diagnostic and efficiency/robustness improvement over prior conformal baselines.
• Abstract（参考訳）: トランスフォーマーは人工知能の分野、特に大きな言語モデルとその変種に大きな影響を与えた。 しかしながら、ニューラルネットワークの場合と同様に、ブラックボックスの性質は信頼と高レベルな設定でのデプロイメントを制限する。 重要なアプリケーションで真に有用で信頼できるモデルには、単なる予測以上のものを提供することが必要だ。 本稿ではトランスフォーマーに基づく言語モデルのための不確実な定量化フレームワークを提案する。 CONFIDE(conformal prediction for FIne-tuned DEep language model)と呼ばれるこのフレームワークは、ハイパーパラメータチューニングを実現しつつ、BERTやRoBERTaのようなエンコーダのみのアーキテクチャの内部埋め込みに対して、コンフォーマルな予測を適用している。 CONFIDEは[CLS]トークンの埋め込みまたはフラット化された隠された状態を使用して、クラス条件の非整合性スコアを構築し、インスタンスレベルの説明を伴う統計的に有効な予測セットを可能にします。 実証的に、CONFIDEはBERT-tinyの試験精度を最大4.09%向上させ、NM2やVanillaNNを含む従来の方法と比較して高い精度(すなわち、真のラベルを含む予測セットの期待サイズ)を達成する。 初期および中期の変圧器層は、共形予測のためのより良い校正と意味論的意味のある表現をしばしば得ることを示す。 資源制約付きモデルと曖昧なラベル付きハイテイクタスクにおいて、CONFIDEはソフトマックスベースの不確実性が失敗する堅牢性と解釈性を提供する。 本研究では,ConFIDEを従来の整合性ベースラインよりも実用的な診断・効率・ロバスト性向上のためのフレームワークとして位置づける。

関連論文リスト

• Uncertainty Quantification for Named Entity Recognition via Full-Sequence and Subsequence Conformal Prediction [0.0]
  シーケンスラベルに基づくNERモデルを適応して不確実性を考慮した予測セットを生成するための一般的なフレームワークを提案する。 予測セットは、ユーザが指定した信頼度レベルで正しいラベルを含むことが保証された完全文ラベルの集合である。
  論文  参考訳（メタデータ） (2026-01-13T18:00:08Z)
• Domain-Shift-Aware Conformal Prediction for Large Language Models [8.620363085499243]
  ドメインシフト対応コンフォーマル予測(DS-CP)と呼ばれる新しいフレームワークを提案する。 我々のフレームワークは、キャリブレーションサンプルを体系的に再重み付けすることで、ドメインシフト中の大きな言語モデルに整合予測を適用する。 MMLUベンチマークの理論的解析と実験により,提案手法は標準共形予測よりも信頼性の高いカバレッジを提供することが示された。
  論文  参考訳（メタデータ） (2025-10-07T04:22:06Z)
• Evaluating Large Language Models for Phishing Detection, Self-Consistency, Faithfulness, and Explainability [0.0]
  大規模言語モデル(LLM)は、ドメイン固有のフィッシング分類タスクを改善するための有望な方向性と可能性を示している。 LLMはフィッシングメールを正確に分類するだけでなく、予測に確実に適合し、内部に一貫性のある説明を生成することができるのか? BERT、Llamaモデル、Wizardなど、微調整されたトランスフォーマーベースのモデルを使って、ドメインの関連性を改善し、特定の区別をフィッシングするように調整しています。
  論文  参考訳（メタデータ） (2025-06-16T17:54:28Z)
• When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
  カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。 deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。 カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
  論文  参考訳（メタデータ） (2023-07-06T04:13:57Z)
• Federated Conformal Predictors for Distributed Uncertainty Quantification [83.50609351513886]
  コンフォーマル予測は、機械学習において厳密な不確実性定量化を提供するための一般的なパラダイムとして現れつつある。 本稿では,共形予測を連邦学習環境に拡張する。 本稿では、FL設定に適した部分交換可能性の弱い概念を提案し、それをフェデレート・コンフォーマル予測フレームワークの開発に利用する。
  論文  参考訳（メタデータ） (2023-05-27T19:57:27Z)
• Calibrating AI Models for Wireless Communications via Conformal Prediction [55.47458839587949]
  コンフォーマル予測は,通信システムにおけるAIの設計に初めて適用される。 本稿では,形式的校正保証付き決定を生成するAIモデルを得るための一般フレームワークとしての共形予測の適用について検討する。
  論文  参考訳（メタデータ） (2022-12-15T12:52:23Z)
• Transformer Uncertainty Estimation with Hierarchical Stochastic Attention [8.95459272947319]
  本稿では,変圧器に不確実性推定機能を持たせるための新しい手法を提案する。 これは、価値と学習可能なセントロイドのセットに付随する階層的な自己注意を学ぶことで達成される。 我々は、ドメイン内(ID)とドメイン外(OOD)の両方のデータセットを用いて、2つのテキスト分類タスクでモデルを実証的に評価する。
  論文  参考訳（メタデータ） (2021-12-27T16:43:31Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。