論文の概要: Polysemantic Dropout: Conformal OOD Detection for Specialized LLMs

• arxiv url: http://arxiv.org/abs/2509.04655v2
• Date: Mon, 15 Sep 2025 19:42:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-17 15:46:32.974914
• Title: Polysemantic Dropout: Conformal OOD Detection for Specialized LLMs
• Title（参考訳）: ポリセマンティックドロップアウト:特殊LDMのためのコンフォーマルOOD検出
• Authors: Ayush Gupta, Ramneet Kaur, Anirban Roy, Adam D. Cobb, Rama Chellappa, Susmit Jha,
• Abstract要約: 特殊大言語モデル(LLM)のための新しい推定時間外ドメイン検出アルゴリズムを提案する。 LLMの多意味性と冗長性に関する最近の知見により、ドメイン内入力はOOD入力よりも高いドロップアウト耐性を示すと仮定した。 有効なアンサンブルアプローチにより,複数の層にまたがるドロップアウト耐性を集約し,ICADの理論的誤報境界を維持しつつ検出を改善した。
• 参考スコア（独自算出の注目度）: 35.326974180503065
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a novel inference-time out-of-domain (OOD) detection algorithm for specialized large language models (LLMs). Despite achieving state-of-the-art performance on in-domain tasks through fine-tuning, specialized LLMs remain vulnerable to incorrect or unreliable outputs when presented with OOD inputs, posing risks in critical applications. Our method leverages the Inductive Conformal Anomaly Detection (ICAD) framework, using a new non-conformity measure based on the model's dropout tolerance. Motivated by recent findings on polysemanticity and redundancy in LLMs, we hypothesize that in-domain inputs exhibit higher dropout tolerance than OOD inputs. We aggregate dropout tolerance across multiple layers via a valid ensemble approach, improving detection while maintaining theoretical false alarm bounds from ICAD. Experiments with medical-specialized LLMs show that our approach detects OOD inputs better than baseline methods, with AUROC improvements of $2\%$ to $37\%$ when treating OOD datapoints as positives and in-domain test datapoints as negatives.
• Abstract（参考訳）: 本稿では,特殊大言語モデル (LLM) のための新しい推定時間外ドメイン検出アルゴリズムを提案する。 ドメイン内タスクにおける最先端のパフォーマンスを微調整によって達成したにもかかわらず、特殊なLDMは、OOD入力で提示された時に不正または信頼性の低い出力に対して脆弱であり、クリティカルなアプリケーションにおいてリスクを生じさせる。 提案手法は,モデルが投下する耐障害性に基づいた新しい非整合性尺度を用いて,インダクティブ・コンフォーマル・異常検出(ICAD)フレームワークを利用する。 LLMの多意味性と冗長性に関する最近の知見により、ドメイン内入力はOOD入力よりも高いドロップアウト耐性を示すと仮定した。 有効なアンサンブルアプローチにより,複数の層にまたがるドロップアウト耐性を集約し,ICADの理論的誤報境界を維持しつつ検出を改善した。 AUROCは,OODデータポイントを正値として,ドメイン内テストデータポイントを負値として扱う場合,2/%から37/%に改善した。

関連論文リスト

• Leveraging Perturbation Robustness to Enhance Out-of-Distribution Detection [15.184096796229115]
  本稿では, インディストリビューション(IND)インプットよりも, 摂動下でのOODインプットの予測信頼度が高いという知見に基づいて, ポストホック法であるPRO(Perturbation-Rectified OOD Detection)を提案する。 CIFAR-10モデルでは、POPは、最先端の手法と比較して、FPR@95において10%以上の削減を実現し、近似OOD入力を効果的に検出する。
  論文  参考訳（メタデータ） (2025-03-24T15:32:33Z)
• How Good Are LLMs at Out-of-Distribution Detection? [13.35571704613836]
  アウト・オブ・ディストリビューション(OOD)検出は、機械学習(ML)モデルの信頼性を高める上で重要な役割を果たす。 本稿では,大規模言語モデル(LLM)の領域におけるOOD検出の先駆的実証研究について述べる。
  論文  参考訳（メタデータ） (2023-08-20T13:15:18Z)
• Beyond AUROC & co. for evaluating out-of-distribution detection performance [50.88341818412508]
  安全(r)AIとの関連性を考えると,OOD検出法の比較の基礎が実用的ニーズと整合しているかどうかを検討することが重要である。 我々は,IDとOODの分離が不十分なことを明示する新しい指標であるAUTC(Area Under the Threshold Curve)を提案する。
  論文  参考訳（メタデータ） (2023-06-26T12:51:32Z)
• Revisiting Out-of-distribution Robustness in NLP: Benchmark, Analysis, and LLMs Evaluations [111.88727295707454]
  本稿では,NLP分野におけるアウト・オブ・ディストリビューション(OOD)のロバスト性に関する研究を再検討する。 本稿では, 明確な分化と分散の困難さを保証するための, ベンチマーク構築プロトコルを提案する。 我々は,OODロバスト性の分析と評価のための事前学習言語モデルの実験を行った。
  論文  参考訳（メタデータ） (2023-06-07T17:47:03Z)
• AUTO: Adaptive Outlier Optimization for Test-Time OOD Detection [79.51071170042972]
  Out-of-Distribution (OOD) 検出は、任意のトレーニングインディストリビューション(ID)クラスに該当しないテストサンプルを検出することを目的としている。 データ安全性とプライバシにより、さまざまなシナリオに対して、事前にタスク固有の外れ値の収集が不可能になる。 テスト中にラベルのないデータストリームから実際のOODデータを利用することができる。
  論文  参考訳（メタデータ） (2023-03-22T02:28:54Z)
• Learn what you can't learn: Regularized Ensembles for Transductive Out-of-distribution Detection [76.39067237772286]
  ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。 本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。 本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
  論文  参考訳（メタデータ） (2020-12-10T16:55:13Z)
• Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
  既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。 ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
  論文  参考訳（メタデータ） (2020-03-21T17:46:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。