論文の概要: Assessing Reliability of BERT-Based Models on Question Answering Tasks

• arxiv url: http://arxiv.org/abs/2608.10806v1
• Date: Tue, 11 Aug 2026 11:24:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:46.02761
• Title: Assessing Reliability of BERT-Based Models on Question Answering Tasks
• Title（参考訳）: 質問応答課題に対するBERTベースモデルの信頼性評価
• Abstract要約: 本研究では,変換器を用いた質問応答(QA)モデル,特にBERTモデルとその変種(RoBERTa,AlBERT,DistilBERT)の信頼性に着目した。 これらのエンコーダのみの事前訓練型変換器は、分類タスクとして扱うことができるQAタスクにおいて顕著な精度を示した。 本研究では,(1)モンテカルロ液滴(MCD)による内部モデル変動と(2)パラフレージングによる入力摂動の2つの条件下で応答安定性を評価することによって,BERTに基づく4つのモデルの信頼性を評価する。
• 参考スコア（独自算出の注目度）: 1.5554979526414525
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reliability estimation of large language models is in many cases as crucial as their accuracy, as reliable models are more trustworthy, robust, and suitable for practical applications. Recent advancements in natural language processing (NLP), particularly those based on transformer architectures, have significantly accelerated progress across various NLP tasks. This study focuses on the reliability of transformer-based question answering (QA) models, specifically BERT models and its variants (RoBERTa, ALBERT, DistilBERT). These encoder-only pretrained transformers have demonstrated remarkable accuracy in QA tasks that can be treated as classification tasks. However, their reliability remains underexplored. This study evaluates the reliability of four BERT-based models by assessing response stability under two conditions: (1) internal model variations induced via Monte Carlo Dropout (MCD) and (2) input perturbations through paraphrasing. Using the SQuAD and QuAC datasets, we investigate how dropout rates affect prediction consistency and whether lexical changes impact answer stability. Our findings reveal that RoBERTa maintains higher reliability, whereas AlBERT and DistilBERT exhibit significant inconsistencies. Statistical analyses confirm that enabling MCD during prediction does not disrupt inference dynamics, validating its effectiveness as a reliability metric. These findings underscore the importance of evaluating both accuracy and stability in QA models to ensure stability in real-world applications.
• Abstract（参考訳）: 信頼性の高いモデルは信頼性が高く,信頼性が高く,実用に適しているため,大規模言語モデルの信頼性評価は精度と同じくらい重要な場合が多い。 自然言語処理(NLP)の最近の進歩、特にトランスフォーマーアーキテクチャに基づくものは、様々なNLPタスクの進行を著しく加速している。 本研究では,変換器を用いた質問応答(QA)モデル,特にBERTモデルとその変種(RoBERTa,ALBERT,DistilBERT)の信頼性に着目した。 これらのエンコーダのみの事前訓練型変換器は、分類タスクとして扱うことができるQAタスクにおいて顕著な精度を示した。 しかし、その信頼性は未解明のままである。 本研究では,(1)モンテカルロ液滴(MCD)による内部モデル変動と(2)パラフレージングによる入力摂動の2つの条件下で応答安定性を評価することによって,BERTに基づく4つのモデルの信頼性を評価する。 SQuADとQuACのデータセットを用いて、ドロップアウト率が予測一貫性にどのように影響するか、および語彙変化が解答安定性に影響を及ぼすかどうかを検討する。 以上の結果から,RoBERTaは信頼性が高く,AlBERTとDistilBERTには矛盾がみられた。 統計的分析により、予測中にMDDを有効にすることは推論力学を損なうものではないことが確認され、信頼性の指標としての有効性が検証された。 これらの結果は,QAモデルの精度と安定性を両立させ,現実のアプリケーションの安定性を確保することの重要性を浮き彫りにしている。

関連論文リスト

• Fortress: A Case Study in Stabilizing Search Recommendations via Temporal Data Augmentation and Feature Pruning [2.6494136490021387]
  Fortressは、時間の経過とともに一貫性のない予測スコアに寄与する特徴を特定し、誇張する。 Fortressを,大規模なアプリマーケットプレースにおけるクエリ・ツー・アプリ関連モデルで検証する。
  論文  参考訳（メタデータ） (2026-05-14T18:13:05Z)
• On Calibration of Large Language Models: From Response To Capability [66.59139960234326]
  大規模言語モデル(LLM)は汎用的な問題解決手段として広くデプロイされている。 本稿では,クエリ上でモデルが期待する精度を目標とするキャリブレーションを提案する。 我々の結果は、キャパシティ校正された信頼度がpass@$k$予測と推論予算割り当てを改善することを示している。
  論文  参考訳（メタデータ） (2026-02-14T01:07:45Z)
• Reliable Explanations or Random Noise? A Reliability Metric for XAI [6.948460965107209]
  本研究では、4つの信頼性公理の下で説明安定性を定量化する指標である説明信頼性指数(ERI)を紹介する。 ERIは、説明信頼性の原則的評価を可能にし、より信頼できるAI(XAI)システムをサポートする。
  論文  参考訳（メタデータ） (2026-02-04T22:04:07Z)
• ReasonBENCH: Benchmarking the (In)Stability of LLM Reasoning [2.1461777157838724]
  ReasonBENCHは,大規模言語モデル(LLM)推論における基盤不安定性を定量化する最初のベンチマークである。 異なる領域からのタスク全体で、推論戦略とモデルの大部分は高い不安定性を示す。 我々はさらに、解答率と安定性のトレードオフに対するプロンプト、モデル家族、スケールの影響を解析する。
  論文  参考訳（メタデータ） (2025-12-08T18:26:58Z)
• MaP: A Unified Framework for Reliable Evaluation of Pre-training Dynamics [72.00014675808228]
  大規模言語モデルの不安定性評価プロセスは、真の学習力学を曖昧にする。 textbfMaPは、アンダーラインMergingアンダーラインとアンダーラインPass@kメトリックを統合するフレームワークです。 実験により、MaPはよりスムーズな性能曲線を示し、ラン間分散を低減し、より一貫性のあるランキングを保証する。
  論文  参考訳（メタデータ） (2025-10-10T11:40:27Z)
• Feed Two Birds with One Scone: Exploiting Function-Space Regularization for Both OOD Robustness and ID Fine-Tuning Performance [72.57668440744301]
  シミュレーションOODサンプルを用いて,関数空間における微調整モデルと事前学習モデルの距離を制約する新しい正規化を提案する。 このアプローチは、ダウンストリームタスクIDの微調整性能と、さまざまなCLIPバックボーン間のOODロバスト性の両方を一貫して改善できる。
  論文  参考訳（メタデータ） (2025-08-31T12:14:34Z)
• From Confidence to Collapse in LLM Factual Robustness [21.27503954808115]
  生成プロセスの観点から,現実的ロバスト性を測定するための原則的アプローチを導入する。 FRS(Factual Robustness Score)は、デコード条件における摂動に対する事実の安定性を定量化する新しい計量である。
  論文  参考訳（メタデータ） (2025-08-22T09:59:23Z)
• Aurora: Are Android Malware Classifiers Reliable and Stable under Distribution Shift? [51.12297424766236]
  AURORAは、その信頼性と運用上のレジリエンスに基づいて、マルウェア分類器を評価するためのフレームワークである。 AURORAは、ポイント・イン・タイムのパフォーマンスを超えるように設計されたメトリクスのセットによって補完される。 さまざまなドリフトのデータセットにわたるSOTAフレームワークの脆弱性は、ホワイトボードへの復帰の必要性を示唆している。
  論文  参考訳（メタデータ） (2025-05-28T20:22:43Z)
• Enhancing LLM Reliability via Explicit Knowledge Boundary Modeling [41.19330514054401]
  大規模言語モデル(LLM)は、不一致の自己認識に起因する幻覚の傾向にある。 本稿では,高速かつ低速な推論システムを統合し,信頼性とユーザビリティを調和させる明示的知識境界モデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-04T03:16:02Z)
• Reliability-Aware Prediction via Uncertainty Learning for Person Image Retrieval [51.83967175585896]
  UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。 データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
  論文  参考訳（メタデータ） (2022-10-24T17:53:20Z)
• Transformer Uncertainty Estimation with Hierarchical Stochastic Attention [8.95459272947319]
  本稿では,変圧器に不確実性推定機能を持たせるための新しい手法を提案する。 これは、価値と学習可能なセントロイドのセットに付随する階層的な自己注意を学ぶことで達成される。 我々は、ドメイン内(ID)とドメイン外(OOD)の両方のデータセットを用いて、2つのテキスト分類タスクでモデルを実証的に評価する。
  論文  参考訳（メタデータ） (2021-12-27T16:43:31Z)
• Providing reliability in Recommender Systems through Bernoulli Matrix Factorization [63.732639864601914]
  本稿では,予測値と信頼性値の両方を提供するためにBernoulli Matrix Factorization (BeMF)を提案する。 BeMFはメモリベースのフィルタリングではなく、モデルベースの協調フィルタリングに作用する。 予測の信頼性が高ければ高いほど、それが間違っているという責任は少なくなる。
  論文  参考訳（メタデータ） (2020-06-05T14:24:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。