論文の概要: VRA: Variational Rectified Activation for Out-of-distribution Detection

• arxiv url: http://arxiv.org/abs/2302.11716v4
• Date: Thu, 18 May 2023 02:05:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-19 20:05:21.636524
• Title: VRA: Variational Rectified Activation for Out-of-distribution Detection
• Title（参考訳）: VRA: 分布外検出のための変分活性化
• Authors: Mingyu Xu, Zheng Lian, Bin Liu, Jianhua Tao
• Abstract要約: アウト・オブ・ディストリビューション(OOD)検出は、オープンな世界で信頼性の高い機械学習システムを構築する上で重要である。 ReActはモデル過信に対処する典型的な効果的な手法であり、高いアクティベーションを減らし、流通とOODのギャップを増大させる。 本稿では,これらの抑制と増幅操作を一括関数を用いてシミュレートする「変分整定活性化(VRA)'」という新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 45.804178022641764
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Out-of-distribution (OOD) detection is critical to building reliable machine learning systems in the open world. Researchers have proposed various strategies to reduce model overconfidence on OOD data. Among them, ReAct is a typical and effective technique to deal with model overconfidence, which truncates high activations to increase the gap between in-distribution and OOD. Despite its promising results, is this technique the best choice for widening the gap? To answer this question, we leverage the variational method to find the optimal operation and verify the necessity of suppressing abnormally low and high activations and amplifying intermediate activations in OOD detection, rather than focusing only on high activations like ReAct. This motivates us to propose a novel technique called ``Variational Rectified Activation (VRA)'', which simulates these suppression and amplification operations using piecewise functions. Experimental results on multiple benchmark datasets demonstrate that our method outperforms existing post-hoc strategies. Meanwhile, VRA is compatible with different scoring functions and network architectures. \textcolor[rgb]{0.93,0.0,0.47}{Our code can be found in Supplementary Material}.
• Abstract（参考訳）: オープンな世界で信頼できる機械学習システムを構築するには、分散(ood)検出が不可欠である。 研究者はOODデータに対するモデル過信を減らすための様々な戦略を提案している。 その中でも、ReActはモデル過信を扱う典型的な効果的な手法であり、高いアクティベーションを減らし、流通とOODのギャップを増す。 有望な結果にもかかわらず、このテクニックはギャップを広げる最善の選択だろうか? そこで本研究では, 最適動作の探索に変分法を応用し, 異常に低い活性化と高い活性化を抑制し, ood検出における中間活性化を増幅する必要性を検証した。 そこで本研究では,これらの抑制と増幅操作を一括関数を用いてシミュレートする,'Variational Rectified Activation' (VRA)' と呼ばれる新しい手法を提案する。 複数のベンチマークデータセットの実験結果から,本手法が既存のポストホック戦略より優れていることが示された。 一方、VRAは異なるスコアリング機能やネットワークアーキテクチャと互換性がある。 \textcolor[rgb]{0.93,0.0,0.47}{Our コードは補足材料} にある。

関連論文リスト

• Probe-Free Low-Rank Activation Intervention [26.502232859901167]
  隠れたアクティベーションを編集する推論時間の介入は、望ましい世代に向けてLMを操る有望な結果を示している。 本稿では,特定のアクティベーション層内のすべての注意点に対するプローブフリー干渉法FLORAINを提案する。
  論文  参考訳（メタデータ） (2025-02-06T13:03:05Z)
• S-LoRA: Scalable Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
  基礎モデルによる継続的な学習は、逐次的なタスクに事前訓練されたモデルのパワーを活用するための有望なアプローチとして現れてきた。 本稿では,LRAパラメータの方向と大きさの学習を段階的に分離する,CL(特にクラスインクリメンタルラーニング)のためのスケーラブル低ランク適応(S-LoRA)手法を提案する。 我々の理論的および実証的な分析により、S-LoRAは重なり合う低損失領域に収束する低損失軌道を辿る傾向にあり、CLの安定性と塑性のトレードオフは良好であることが示された。
  論文  参考訳（メタデータ） (2025-01-22T20:00:41Z)
• Harnessing Large Language and Vision-Language Models for Robust Out-of-Distribution Detection [11.277049921075026]
  Out-of-distribution (OOD) 検出はゼロショットアプローチで大幅に進歩した。 本稿では,Far-OODシナリオとNear-OODシナリオの両方において,ゼロショットOOD検出性能を向上させる新しい手法を提案する。 本稿では,提案フレームワークを目標分布に適合させるために,新しい数発のプロンプトチューニングと視覚的プロンプトチューニングを導入する。
  論文  参考訳（メタデータ） (2025-01-09T13:36:37Z)
• ACTRESS: Active Retraining for Semi-supervised Visual Grounding [52.08834188447851]
  前回の研究であるRefTeacherは、疑似自信と注意に基づく監督を提供するために教師学生の枠組みを採用することで、この課題に取り組むための最初の試みである。 このアプローチは、Transformerベースのパイプラインに従う現在の最先端のビジュアルグラウンドモデルと互換性がない。 本稿では, ACTRESS を略したセミスーパービジョン視覚グラウンドのためのアクティブ・リトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-07-03T16:33:31Z)
• SeTAR: Out-of-Distribution Detection with Selective Low-Rank Approximation [5.590633742488972]
  ニューラルネットワークの安全なデプロイには、アウト・オブ・ディストリビューション(OOD)検出が不可欠だ。 トレーニング不要なOOD検出手法であるSeTARを提案する。 SeTARは、単純なグリーディ探索アルゴリズムを用いて、モデルの重量行列のポストホックな修正によるOOD検出を強化する。 私たちの研究は、OOD検出のためのスケーラブルで効率的なソリューションを提供し、この分野で新しい最先端を設定します。
  論文  参考訳（メタデータ） (2024-06-18T13:55:13Z)
• Advancing Out-of-Distribution Detection through Data Purification and Dynamic Activation Function Design [12.45245390882047]
  OOD-R(Out-of-Distribution-Rectified)は,ノイズ低減特性が向上したオープンソースデータセットの集合体である。 OOD-Rはノイズフィルタリング技術を導入してデータセットを洗練し、OOD検出アルゴリズムのより正確で信頼性の高い評価を確実にする。 本稿では,多様な入力に対するモデルの応答を微調整し,特徴抽出の安定性を向上させる革新的な方法であるActFunを提案する。
  論文  参考訳（メタデータ） (2024-03-06T02:39:22Z)
• REX: Rapid Exploration and eXploitation for AI Agents [103.68453326880456]
  本稿では、REXと呼ばれるAIエージェントのための高速探索およびeXploitationのための改良されたアプローチを提案する。 REXは追加の報酬層を導入し、アッパー信頼境界(UCB)スコアに似た概念を統合し、より堅牢で効率的なAIエージェントのパフォーマンスをもたらす。
  論文  参考訳（メタデータ） (2023-07-18T04:26:33Z)
• ReAct: Out-of-distribution Detection With Rectified Activations [20.792140933660075]
  オフ・オブ・ディストリビューション (OOD) 検出は, 実用的重要性から近年注目されている。 主な課題の1つは、モデルがしばしばOODデータに対して高い信頼性の予測を生成することである。 我々は,OODデータに対するモデル過信を低減するためのシンプルで効果的な手法であるReActを提案する。
  論文  参考訳（メタデータ） (2021-11-24T21:02:07Z)
• Enhancing the Generalization for Intent Classification and Out-of-Domain Detection in SLU [70.44344060176952]
  インテント分類は、音声言語理解(SLU)における主要な課題である 近年の研究では、余分なデータやラベルを使用することで、OOD検出性能が向上することが示されている。 本稿では、IND意図分類とOOD検出の両方をサポートしながら、INDデータのみを用いてモデルを訓練することを提案する。
  論文  参考訳（メタデータ） (2021-06-28T08:27:38Z)
• Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
  既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。 ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
  論文  参考訳（メタデータ） (2020-03-21T17:46:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。