論文の概要: On-the-fly Improving Performance of Deep Code Models via Input Denoising
- arxiv url: http://arxiv.org/abs/2308.09969v1
- Date: Sat, 19 Aug 2023 09:55:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 13:29:47.196276
- Title: On-the-fly Improving Performance of Deep Code Models via Input Denoising
- Title（参考訳）: 入力Denoisingによる深層コードモデルのオンザフライ改善
- Authors: Zhao Tian, Junjie Chen, Xiangyu Zhang
- Abstract要約: 深層コードモデルのための最初の入力記述手法(CodeDenoise)を提案する。
CodeDenoiseは(おそらく)誤予測された入力にノイズのある識別子をローカライズする。
モデルの再トレーニングや再構築は必要ありませんが、パフォーマンスを改善するためには、オンザフライでインプットをクリーン化すればよいのです。
- 参考スコア（独自算出の注目度）: 15.166827643436346
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning has been widely adopted to tackle various code-based tasks by
building deep code models based on a large amount of code snippets. While these
deep code models have achieved great success, even state-of-the-art models
suffer from noise present in inputs leading to erroneous predictions. While it
is possible to enhance models through retraining/fine-tuning, this is not a
once-and-for-all approach and incurs significant overhead. In particular, these
techniques cannot on-the-fly improve performance of (deployed) models. There
are currently some techniques for input denoising in other domains (such as
image processing), but since code input is discrete and must strictly abide by
complex syntactic and semantic constraints, input denoising techniques in other
fields are almost not applicable. In this work, we propose the first input
denoising technique (i.e., CodeDenoise) for deep code models. Its key idea is
to localize noisy identifiers in (likely) mispredicted inputs, and denoise such
inputs by cleansing the located identifiers. It does not need to retrain or
reconstruct the model, but only needs to cleanse inputs on-the-fly to improve
performance. Our experiments on 18 deep code models (i.e., three pre-trained
models with six code-based datasets) demonstrate the effectiveness and
efficiency of CodeDenoise. For example, on average, CodeDenoise successfully
denoises 21.91% of mispredicted inputs and improves the original models by
2.04% in terms of the model accuracy across all the subjects in an average of
0.48 second spent on each input, substantially outperforming the widely-used
fine-tuning strategy.
- Abstract（参考訳）: ディープラーニングは、大量のコードスニペットに基づいた深層コードモデルを構築することによって、さまざまなコードベースのタスクに取り組むために広く採用されている。
これらの深層コードモデルは大きな成功を収めているが、最先端モデルでさえ入力に存在するノイズに悩まされ、誤った予測に繋がる。
再トレーニング/微調整によってモデルを強化することは可能だが、これは一度限りのアプローチではなく、大きなオーバーヘッドをもたらす。
特に、これらの技術は(デプロイされた)モデルの性能をオンザフライで改善することはできない。
現在、他の領域(画像処理など)でインプットを記述するための技法はいくつかあるが、コード入力は離散的であり、複雑な構文的制約やセマンティック制約に厳密に従わなければならないため、他の領域でのインプットの特定技術はほとんど適用されない。
本研究では,ディープコードモデルのための最初の入力記述手法(CodeDenoise)を提案する。
その鍵となる考え方は、(おそらく)誤予測された入力にノイズのある識別子をローカライズし、位置した識別子をきれいにすることでそのような入力をデノナイズすることである。
モデルの再トレーニングや再構築は必要ありませんが、パフォーマンスを改善するためにオンザフライで入力をクリーンにするだけです。
18のディープコードモデル(つまり、6つのコードベースデータセットを持つ3つの事前訓練済みモデル)に関する実験は、CodeDenoiseの有効性と効率を実証している。
例えば、CodeDenoiseは、平均して21.91%の誤予測入力を識別し、各入力に使用される平均0.48秒のモデル精度でオリジナルのモデルを2.04%改善し、広く使われている微調整戦略を大幅に上回っている。
関連論文リスト
- Think While You Generate: Discrete Diffusion with Planned Denoising [10.797958380377509]
本稿では,計画デノイングによる離散拡散(DDPD)について紹介する。これは,生成プロセスを2つのモデル – プランナーとデノナイザ – に分割する新しいフレームワークである。
DDPDは従来の denoiser のみのマスク拡散法より優れており、言語モデリングベンチマークにおいて優れた結果が得られる。
特に言語モデリングにおいて、DDPDは、拡散に基づく手法と自己回帰的手法のパフォーマンスギャップを、生成的パープレキシティの観点から著しく減少させる。
論文 参考訳（メタデータ） (2024-10-08T18:03:34Z) - Pivotal Auto-Encoder via Self-Normalizing ReLU [20.76999663290342]
トランスフォーメーション学習問題として,単一の隠蔽層スパースオートエンコーダを定式化する。
本稿では,テスト時の騒音レベルに不変な予測モデルを実現する最適化問題を提案する。
実験結果から, 各種ノイズに対する安定性が向上することが示唆された。
論文 参考訳（メタデータ） (2024-06-23T09:06:52Z) - Advancing the Robustness of Large Language Models through Self-Denoised Smoothing [50.54276872204319]
大規模言語モデル(LLM)は大きな成功を収めたが、敵の摂動に対する脆弱性は大きな懸念を引き起こしている。
本稿では,LLMのマルチタスク特性を活用して,まずノイズの入力を識別し,次にこれらの復号化バージョンに基づいて予測を行う。
LLMのロバスト性を高めるために個別のモデルを訓練する必要がある従来のコンピュータビジョンのスムース化技術とは異なり、本手法は効率と柔軟性を著しく向上させる。
論文 参考訳（メタデータ） (2024-04-18T15:47:00Z) - Learning with Noisy Foundation Models [95.50968225050012]
本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。
雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
論文 参考訳（メタデータ） (2024-03-11T16:22:41Z) - Code Representation Learning At Scale [75.04686476303436]
2段階の事前学習スキームを用いて,大量のコードデータを用いてコード表現学習を行う。
まず、マスキング言語モデリングにおけるランダム性と、プログラミング言語の構造的側面の両方を活用して、エンコーダを訓練する。
そして、教師なしの方法で強陰性かつ強正に構築された対照的な学習を通して表現を強化する。
論文 参考訳（メタデータ） (2024-02-02T22:19:15Z) - Fine tuning Pre trained Models for Robustness Under Noisy Labels [34.68018860186995]
トレーニングデータセットにノイズの多いラベルが存在することは、機械学習モデルのパフォーマンスに大きな影響を及ぼす可能性がある。
我々は、事前学習されたモデルの事前知識を頑健かつ効率的に伝達するTURNと呼ばれる新しいアルゴリズムを導入する。
論文 参考訳（メタデータ） (2023-10-24T20:28:59Z) - MetaDiff: Meta-Learning with Conditional Diffusion for Few-Shot Learning [19.57633448737394]
グラディエントベースのメタ学習アプローチは、新しいタスクの学習方法を学ぶことで、この課題に効果的に対処する。
本稿では,モデル重みの最適化プロセスを効果的にモデル化するメタディフという,タスク条件拡散に基づくメタラーニングを提案する。
実験結果から,メタディフは,最先端の勾配に基づくメタラーニングファミリよりも,数ショットの学習タスクで優れていたことが判明した。
論文 参考訳（メタデータ） (2023-07-31T06:19:48Z) - Discrete Key-Value Bottleneck [95.61236311369821]
ディープニューラルネットワークは、データストリームがi.d.d.であり、ラベル付きデータが豊富である分類タスクでうまく機能する。
この課題に対処した強力なアプローチの1つは、手軽に利用可能なデータ量に対する大規模なエンコーダの事前トレーニングと、タスク固有のチューニングである。
しかし、新しいタスクを考えると、多くの重みを微調整する必要があるため、エンコーダの重みを更新することは困難であり、その結果、以前のタスクに関する情報を忘れてしまう。
この問題に対処するモデルアーキテクチャを提案し,個別かつ学習可能なキー値符号のペアを含む離散的ボトルネックの上に構築する。
論文 参考訳（メタデータ） (2022-07-22T17:52:30Z) - Improving Pre-trained Language Model Fine-tuning with Noise Stability
Regularization [94.4409074435894]
本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。
具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。
提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2022-06-12T04:42:49Z) - Bridging Pre-trained Models and Downstream Tasks for Source Code
Understanding [13.65914588243695]
本稿では,事前学習されたモデルとコード関連タスクをブリッジする手法を提案する。
我々は、下流データの多様性を豊かにする意味保存変換を利用する。
本稿では,既存の事前学習モデルを微調整するために,変換されたデータを手軽に整理するためのカリキュラム学習を紹介する。
論文 参考訳（メタデータ） (2021-12-04T07:21:28Z) - Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。
実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
論文 参考訳（メタデータ） (2021-06-18T01:03:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。