Fugu-MT 論文翻訳(概要): Energy-bounded Learning for Robust Models of Code

論文の概要: Energy-bounded Learning for Robust Models of Code

arxiv url: http://arxiv.org/abs/2112.11226v1
Date: Mon, 20 Dec 2021 06:28:56 GMT
ステータス: 処理完了
システム内更新日: 2021-12-22 14:22:24.937632
Title: Energy-bounded Learning for Robust Models of Code
Title（参考訳）: 符号のロバストモデルに対するエネルギー束縛学習
Authors: Nghi D. Q. Bui, Yijun Yu
Abstract要約: プログラミングでは、コード表現の学習には、コード分類、コード検索、コメント生成、バグ予測など、さまざまなアプリケーションがある。本稿では,ソースコードモデルのトレーニングプロセスにこれらのアウト・オブ・ディストリビューション・サンプルを組み込むため,エネルギー境界学習目標関数を用いて,イン・ディストリビューション・サンプルにより高いスコアを割り当て,アウト・オブ・ディストリビューション・サンプルに低いスコアを割り当てることを提案する。
参考スコア（独自算出の注目度）: 16.592638312365164
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In programming, learning code representations has a variety of applications, including code classification, code search, comment generation, bug prediction, and so on. Various representations of code in terms of tokens, syntax trees, dependency graphs, code navigation paths, or a combination of their variants have been proposed, however, existing vanilla learning techniques have a major limitation in robustness, i.e., it is easy for the models to make incorrect predictions when the inputs are altered in a subtle way. To enhance the robustness, existing approaches focus on recognizing adversarial samples rather than on the valid samples that fall outside a given distribution, which we refer to as out-of-distribution (OOD) samples. Recognizing such OOD samples is the novel problem investigated in this paper. To this end, we propose to first augment the in=distribution datasets with out-of-distribution samples such that, when trained together, they will enhance the model's robustness. We propose the use of an energy-bounded learning objective function to assign a higher score to in-distribution samples and a lower score to out-of-distribution samples in order to incorporate such out-of-distribution samples into the training process of source code models. In terms of OOD detection and adversarial samples detection, our evaluation results demonstrate a greater robustness for existing source code models to become more accurate at recognizing OOD data while being more resistant to adversarial attacks at the same time. Furthermore, the proposed energy-bounded score outperforms all existing OOD detection scores by a large margin, including the softmax confidence score, the Mahalanobis score, and ODIN.
Abstract（参考訳）: プログラミングでは、コード表現の学習には、コード分類、コード検索、コメント生成、バグ予測など、さまざまなアプリケーションがある。トークン、構文木、依存グラフ、コードナビゲーションパス、あるいはそれらのバリエーションの組み合わせによるコードの様々な表現が提案されているが、既存のバニラ学習技術は頑健性に大きな制限があり、すなわち、入力が微妙な方法で変更されたときにモデルが不正確な予測を行うことが容易である。堅牢性を高めるために、既存のアプローチでは、与えられた分布の外にある有効なサンプルではなく、逆のサンプルを認識することに重点を置いている。このようなOODサンプルの認識は,本論文における新たな課題である。そこで本研究では,まずin=distributionデータセットを分散サンプルで拡張し,一緒にトレーニングするとモデルのロバスト性が向上することを示す。そこで本研究では,高得点を分布内サンプルに割り当て,低得点を分布外サンプルに割り当て,そのような分布外サンプルをソースコードモデルのトレーニングプロセスに組み込むためのエネルギー制限学習目的関数の利用を提案する。 OOD検出と対向サンプル検出では,既存のソースコードモデルでは,OODデータの認識精度が向上すると同時に,対向攻撃に対する耐性も向上した。さらに,提案するエネルギーバウンドスコアは,ソフトマックス信頼度スコア,マハラノビススコア,オーディンスコアなど,既存のood検出スコアを大差で上回っている。

関連論文リスト

DOTA: Distributional Test-Time Adaptation of Vision-Language Models [52.98590762456236]
トレーニングフリーテスト時動的アダプタ(TDA)は、この問題に対処するための有望なアプローチである。単体テスト時間適応法(Dota)の簡易かつ効果的な方法を提案する。 Dotaは継続的にテストサンプルの分布を推定し、モデルがデプロイメント環境に継続的に適応できるようにします。
論文参考訳（メタデータ） (2024-09-28T15:03:28Z)
Perturb-and-Compare Approach for Detecting Out-of-Distribution Samples in Constrained Access Environments [20.554546406575]
我々は,モデルのパラメータやアクティベーションがエンドユーザにアクセスできない場合でも適用可能なOOD検出フレームワークであるMixDiffを提案する。モデルからの過信出力を誘導するOODサンプルの識別におけるMixDiffの有効性について理論的解析を行った。
論文参考訳（メタデータ） (2024-08-19T15:51:31Z)
FlowCon: Out-of-Distribution Detection using Flow-Based Contrastive Learning [0.0]
我々は新しい密度に基づくOOD検出技術であるtextitFlowConを紹介する。我々の主な革新は、正規化フローの特性と教師付きコントラスト学習を効率的に組み合わせることである。経験的評価は、一般的な視覚データセットにまたがる手法の性能向上を示す。
論文参考訳（メタデータ） (2024-07-03T20:33:56Z)
Deep Metric Learning-Based Out-of-Distribution Detection with Synthetic Outlier Exposure [0.0]
Denoising Diffusion Probabilistic Models (DDPM) を用いたOODデータ生成のためのラベル混合手法を提案する。実験の結果,メトリック学習に基づく損失関数はソフトマックスよりも優れていた。提案手法は従来のOOD検出指標において高いベースラインを達成している。
論文参考訳（メタデータ） (2024-05-01T16:58:22Z)
Model Reprogramming Outperforms Fine-tuning on Out-of-distribution Data in Text-Image Encoders [56.47577824219207]
本稿では,侵入的微調整技術に関連する隠れたコストを明らかにする。ファインチューニングのための新しいモデル再プログラミング手法を導入し、それをリプログラマと呼ぶ。我々の経験的証拠は、Re Programmerは侵入力が少なく、より優れた下流モデルが得られることを示している。
論文参考訳（メタデータ） (2024-03-16T04:19:48Z)
Pseudo Outlier Exposure for Out-of-Distribution Detection using Pretrained Transformers [3.8839179829686126]
拒否ネットワークは、テストOODサンプルを検出するために、IDと多様な外れ値サンプルで訓練することができる。本稿では,Pseudo Outlier Exposure (POE) と呼ばれる手法を提案する。本手法は外部OODデータを一切必要とせず,既製のトランスフォーマーで容易に実装できる。
論文参考訳（メタデータ） (2023-07-18T17:29:23Z)
Unleashing Mask: Explore the Intrinsic Out-of-Distribution Detection Capability [70.72426887518517]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイする際に、セキュアAIの必須の側面である。本稿では,IDデータを用いた学習モデルのOOD識別能力を復元する新しい手法であるUnleashing Maskを提案する。本手法では, マスクを用いて記憶した非定型サンプルを抽出し, モデルを微調整するか, 導入したマスクでプルーする。
論文参考訳（メタデータ） (2023-06-06T14:23:34Z)
Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。 GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
論文参考訳（メタデータ） (2023-02-06T16:38:43Z)
Towards Robust Visual Question Answering: Making the Most of Biased Samples via Contrastive Learning [54.61762276179205]
我々は,ビザドサンプルを最大限に活用することで,ロバストなVQAモデルを構築するための新しいコントラスト学習手法 MMBS を提案する。具体的には、元のトレーニングサンプルからスプリアス相関に関連する情報を排除し、比較学習のための正のサンプルを構築する。我々は,OODデータセットのVQA-CP v2において,IDデータセットのVQA v2上での堅牢なパフォーマンスを維持しながら,競争性能を達成することで,コントリビューションを検証した。
論文参考訳（メタデータ） (2022-10-10T11:05:21Z)
WOOD: Wasserstein-based Out-of-Distribution Detection [6.163329453024915]
ディープ・ニューラル・ネットワークに基づく分類器のトレーニングデータは、通常同じ分布からサンプリングされる。トレーニングサンプルから遠く離れた分布からテストサンプルの一部を引き出すと、トレーニングされたニューラルネットワークはこれらのOODサンプルに対して高い信頼性の予測を行う傾向にある。本稿では,これらの課題を克服するため,Wasserstein を用いたアウト・オブ・ディストリビューション検出(WOOD)手法を提案する。
論文参考訳（メタデータ） (2021-12-13T02:35:15Z)
Learn what you can't learn: Regularized Ensembles for Transductive Out-of-distribution Detection [76.39067237772286]
ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
論文参考訳（メタデータ） (2020-12-10T16:55:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。