論文の概要: Towards More Trustworthy Deep Code Models by Enabling Out-of-Distribution Detection
- arxiv url: http://arxiv.org/abs/2502.18883v1
- Date: Wed, 26 Feb 2025 06:59:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-27 14:58:46.528388
- Title: Towards More Trustworthy Deep Code Models by Enabling Out-of-Distribution Detection
- Title（参考訳）: アウト・オブ・ディストリビューション検出によるより信頼できるディープ・コード・モデルの実現に向けて
- Authors: Yanfu Yan, Viet Duong, Huajie Shao, Denys Poshyvanyk,
- Abstract要約: コードに対する非教師付きOOD検出と弱教師付きOOD検出の2種類のSE固有OOD検出モデルを開発した。
提案手法は, 4つのシナリオからOODサンプルを同時に検出する上で, ベースラインを著しく上回り, コード理解タスクに肯定的な影響を与えている。
- 参考スコア（独自算出の注目度）: 12.141246816152288
- License:
- Abstract: Numerous machine learning (ML) models have been developed, including those for software engineering (SE) tasks, under the assumption that training and testing data come from the same distribution. However, training and testing distributions often differ, as training datasets rarely encompass the entire distribution, while testing distribution tends to shift over time. Hence, when confronted with out-of-distribution (OOD) instances that differ from the training data, a reliable and trustworthy SE ML model must be capable of detecting them to either abstain from making predictions, or potentially forward these OODs to appropriate models handling other categories or tasks. In this paper, we develop two types of SE-specific OOD detection models, unsupervised and weakly-supervised OOD detection for code. The unsupervised OOD detection approach is trained solely on in-distribution samples while the weakly-supervised approach utilizes a tiny number of OOD samples to further enhance the detection performance in various OOD scenarios. Extensive experimental results demonstrate that our proposed methods significantly outperform the baselines in detecting OOD samples from four different scenarios simultaneously and also positively impact a main code understanding task.
- Abstract（参考訳）: 機械学習(ML)モデルは、トレーニングとテストデータが同じ分布から来るという仮定のもと、ソフトウェア工学(SE)タスクを含む多くのモデルが開発されている。
しかしながら、トレーニングデータセットが分散全体を包含することが稀であるのに対して、テストディストリビューションは時間とともにシフトする傾向にあるため、分散をトレーニングおよびテストすることがしばしば異なる。
したがって、トレーニングデータと異なるアウト・オブ・ディストリビューション(OOD)インスタンスに直面している場合、信頼性があり信頼性の高いSE MLモデルは、予測を控えるか、あるいはこれらのOODを他のカテゴリやタスクを扱う適切なモデルに転送するかを検出できなければならない。
本稿では,コードに対する非教師付きOOD検出と弱教師付きOOD検出の2種類のSE固有OOD検出モデルを開発する。
教師なしのOOD検出アプローチは、分布内サンプルのみに基づいて訓練される一方、弱教師付きアプローチでは、少数のOODサンプルを使用して、様々なOODシナリオにおける検出性能をさらに向上する。
提案手法は, 4つのシナリオからOODサンプルを同時に検出し, コード理解タスクに肯定的な影響を与えることを示す。
関連論文リスト
- Learning Multi-Manifold Embedding for Out-Of-Distribution Detection [16.283293167689948]
オフ・オブ・ディストリビューション(OOD)サンプルは、現実世界のアプリケーションにおいて信頼できるAIにとって不可欠である。
本稿では,OOD検出の強化を目的としたMMEL(Multi-Manifold Embedding Learning)フレームワークを提案する。
MMELは代表埋め込みを生成し、OODサンプルの識別にプロトタイプ認識スコアリング機能を利用する。
論文 参考訳（メタデータ） (2024-09-19T05:43:00Z) - Out-of-Distribution Detection with a Single Unconditional Diffusion Model [54.15132801131365]
アウト・オブ・ディストリビューション(OOD)検出は、異常サンプルを特定しようとする機械学習において重要なタスクである。
従来、教師なし手法はOOD検出に深い生成モデルを用いていた。
本稿では,単一モデルが多様なタスクに対してOOD検出を行うことができるかどうかを考察する。
論文 参考訳（メタデータ） (2024-05-20T08:54:03Z) - Toward a Realistic Benchmark for Out-of-Distribution Detection [3.8038269045375515]
我々は ImageNet と Places365 に基づく OOD 検出のための総合ベンチマークを導入する。
様々な特性を持つベンチマークを生成するために、どのクラスを配布中と考えるべきかを決定するために、いくつかのテクニックが使える。
論文 参考訳（メタデータ） (2024-04-16T11:29:43Z) - EAT: Towards Long-Tailed Out-of-Distribution Detection [55.380390767978554]
本稿では,長い尾を持つOOD検出の課題に対処する。
主な困難は、尾クラスに属するサンプルとOODデータを区別することである。
本稿では,(1)複数の禁制クラスを導入して分布内クラス空間を拡大すること,(2)コンテキストリッチなOODデータに画像をオーバーレイすることでコンテキスト限定のテールクラスを拡大すること,の2つの簡単な考え方を提案する。
論文 参考訳（メタデータ） (2023-12-14T13:47:13Z) - General-Purpose Multi-Modal OOD Detection Framework [5.287829685181842]
アウト・オブ・ディストリビューション(OOD)検出は、機械学習(ML)システムの安全性と信頼性を保証するために重要なトレーニングデータとは異なるテストサンプルを特定する。
本稿では,2値分類器とコントラスト学習コンポーネントを組み合わせた,汎用的な弱教師付きOOD検出フレームワークWOODを提案する。
提案したWOODモデルを複数の実世界のデータセット上で評価し、実験結果により、WOODモデルがマルチモーダルOOD検出の最先端手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-07-24T18:50:49Z) - Unleashing Mask: Explore the Intrinsic Out-of-Distribution Detection
Capability [70.72426887518517]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイする際に、セキュアAIの必須の側面である。
本稿では,IDデータを用いた学習モデルのOOD識別能力を復元する新しい手法であるUnleashing Maskを提案する。
本手法では, マスクを用いて記憶した非定型サンプルを抽出し, モデルを微調整するか, 導入したマスクでプルーする。
論文 参考訳（メタデータ） (2023-06-06T14:23:34Z) - Pseudo-OOD training for robust language models [78.15712542481859]
OOD検出は、あらゆる産業規模のアプリケーションに対する信頼性の高い機械学習モデルの鍵となるコンポーネントである。
In-distribution(IND)データを用いて擬似OODサンプルを生成するPOORE-POORE-POSthoc pseudo-Ood Regularizationを提案する。
我々は3つの現実世界の対話システムに関する枠組みを広く評価し、OOD検出における新たな最先端技術を実現した。
論文 参考訳（メタデータ） (2022-10-17T14:32:02Z) - Breaking Down Out-of-Distribution Detection: Many Methods Based on OOD
Training Data Estimate a Combination of the Same Core Quantities [104.02531442035483]
本研究の目的は,OOD検出手法の暗黙的なスコアリング機能を識別すると同時に,共通の目的を認識することである。
内分布と外分布の2値差はOOD検出問題のいくつかの異なる定式化と等価であることを示す。
また, 外乱露光で使用される信頼損失は, 理論上最適のスコアリング関数と非自明な方法で異なる暗黙的なスコアリング関数を持つことを示した。
論文 参考訳（メタデータ） (2022-06-20T16:32:49Z) - Energy-bounded Learning for Robust Models of Code [16.592638312365164]
プログラミングでは、コード表現の学習には、コード分類、コード検索、コメント生成、バグ予測など、さまざまなアプリケーションがある。
本稿では,ソースコードモデルのトレーニングプロセスにこれらのアウト・オブ・ディストリビューション・サンプルを組み込むため,エネルギー境界学習目標関数を用いて,イン・ディストリビューション・サンプルにより高いスコアを割り当て,アウト・オブ・ディストリビューション・サンプルに低いスコアを割り当てることを提案する。
論文 参考訳（メタデータ） (2021-12-20T06:28:56Z) - WOOD: Wasserstein-based Out-of-Distribution Detection [6.163329453024915]
ディープ・ニューラル・ネットワークに基づく分類器のトレーニングデータは、通常同じ分布からサンプリングされる。
トレーニングサンプルから遠く離れた分布からテストサンプルの一部を引き出すと、トレーニングされたニューラルネットワークはこれらのOODサンプルに対して高い信頼性の予測を行う傾向にある。
本稿では,これらの課題を克服するため,Wasserstein を用いたアウト・オブ・ディストリビューション検出(WOOD)手法を提案する。
論文 参考訳（メタデータ） (2021-12-13T02:35:15Z) - Learn what you can't learn: Regularized Ensembles for Transductive
Out-of-distribution Detection [76.39067237772286]
ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。
本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。
本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
論文 参考訳（メタデータ） (2020-12-10T16:55:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。