Fugu-MT 論文翻訳(概要): Patch-CLIP: A Patch-Text Pre-Trained Model

論文の概要: Patch-CLIP: A Patch-Text Pre-Trained Model

arxiv url: http://arxiv.org/abs/2310.12753v2
Date: Sun, 31 Mar 2024 00:59:30 GMT
ステータス: 処理完了
システム内更新日: 2024-04-02 15:25:00.683755
Title: Patch-CLIP: A Patch-Text Pre-Trained Model
Title（参考訳）: Patch-CLIP: Patch-Text Pre-Trained Model
Authors: Xunzhu Tang, Zhenghan Chen, Saad Ezzini, Haoye Tian, Jacques Klein, Tegawende F. Bissyande,
Abstract要約: パッチ表現学習は、ソフトウェア生成における機械学習の機能を活用するために必要な研究の方向性として登場した。紹介する。 Theweak-CLIPは、パッチと自然言語テキストのための新しい事前トレーニングフレームワークである。私たちはそれを示します。 Theweak-CLIPは、新しい最先端のパフォーマンスを設定し、BLEU、ROUGE-L、METEOR、リコールといったメトリクスにおける最先端のパフォーマンスを一貫して上回る。
参考スコア（独自算出の注目度）: 6.838615442552715
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In recent years, patch representation learning has emerged as a necessary research direction for exploiting the capabilities of machine learning in software generation. These representations have driven significant performance enhancements across a variety of tasks involving code changes. While the progress is undeniable, a common limitation among existing models is their specialization: they predominantly excel in either predictive tasks, such as security patch classification, or in generative tasks such as patch description generation. This dichotomy is further exacerbated by a prevalent dependency on potentially noisy data sources. Specifically, many models utilize patches integrated with Abstract Syntax Trees (AST) that, unfortunately, may contain parsing inaccuracies, thus acting as a suboptimal source of supervision. In response to these challenges, we introduce PATCH-CLIP, a novel pre-training framework for patches and natural language text. PATCH-CLIP deploys a triple-loss training strategy for 1) patch-description contrastive learning, which enables to separate patches and descriptions in the embedding space, 2) patch-description matching, which ensures that each patch is associated to its description in the embedding space, and 3) patch-description generation, which ensures that the patch embedding is effective for generation. These losses are implemented for joint learning to achieve good performance in both predictive and generative tasks involving patches. Empirical evaluations focusing on patch description generation, demonstrate that PATCH-CLIP sets new state of the art performance, consistently outperforming the state-of-the-art in metrics like BLEU, ROUGE-L, METEOR, and Recall.
Abstract（参考訳）: 近年、パッチ表現学習は、ソフトウェア生成における機械学習の能力を活用するための研究の方向性として浮上している。これらの表現は、コード変更を含むさまざまなタスクにおいて、大幅なパフォーマンス向上をもたらした。進捗は特定できないが、既存のモデルに共通する制限は、セキュリティパッチ分類のような予測タスクや、パッチ記述生成のような生成タスクにおいて、主に優れていることである。この二分法は、潜在的にノイズの多いデータソースへの依存によりさらに悪化する。具体的には、多くのモデルは抽象構文木(AST)と統合されたパッチを利用しており、残念ながら解析の不正確さを含む可能性があるため、最適以下の監督源として機能する。これらの課題に対応するために、パッチと自然言語テキストのための新しい事前学習フレームワークであるPATCH-CLIPを紹介する。 PATCH-CLIPが3つの訓練戦略を展開 1) 組込み空間におけるパッチと記述の分離を可能にするパッチ記述コントラスト学習。 2) パッチ記述マッチングは、各パッチが埋め込み空間におけるその記述に関連付けられていることを保証する。これは、パッチの埋め込みが生成に有効であることを保証します。これらの損失は、パッチを含む予測的タスクと生成的タスクの両方において優れたパフォーマンスを達成するために、共同学習のために実装される。パッチ記述生成に重点を置いた実証的な評価では、PATCH-CLIPが新しい最先端のパフォーマンスを設定し、BLEU、ROUGE-L、METEOR、リコールといったメトリクスにおける最先端のパフォーマンスを一貫して上回っていることが示されている。

関連論文リスト

Semi-supervised 3D Object Detection with PatchTeacher and PillarMix [71.4908268136439]
現在の半教師付き3Dオブジェクト検出法では、教師が学生に擬似ラベルを生成するのが一般的である。学生に高品質な擬似ラベルを提供するために,部分的なシーン3Dオブジェクト検出に焦点を当てたPatchTeacherを提案する。本稿では,PatchTeacherの性能向上のために,Patch Normalizer,Quadrant Align,Fovea Selectionの3つの重要なテクニックを紹介する。
論文参考訳（メタデータ） (2024-07-13T06:58:49Z)
Automated Description Generation for Software Patches [4.080365651252764]
ソフトウェアパッチ記述を生成するための機械翻訳手法EXPLAINERを提案する。 EXPLAINERでは、重要な要素、歴史的文脈、統語規則の明示的な表現を活用する。また,EXPLAINERはBLEUで189%,Exact Matchで5.7X,Semantic similarityで154%向上した。
論文参考訳（メタデータ） (2024-02-06T08:46:14Z)
Learning to Embed Time Series Patches Independently [5.752266579415516]
近年,時系列モデリングは時系列の自己教師型表現学習戦略として注目されている。このようなパッチをキャプチャすることは、時系列表現学習の最適戦略ではないかもしれない、と我々は主張する。本論文では,1)他のパッチを見ることなく各パッチを自動エンコードするシンプルなパッチ再構築タスク,2)個別に各パッチを埋め込むシンプルなパッチワイド再構築タスクを提案する。
論文参考訳（メタデータ） (2023-12-27T06:23:29Z)
MS-Former: Memory-Supported Transformer for Weakly Supervised Change Detection with Patch-Level Annotations [50.79913333804232]
弱い教師付き変化検出のためのメモリ支援トランス (MS-Former) を提案する。 MS-Former は双方向注意ブロック (BAB) とパッチレベルの監視スキーム (PSS) から構成される。 3つのベンチマークデータセットの実験結果から,提案手法の有効性が示された。
論文参考訳（メタデータ） (2023-11-16T09:57:29Z)
RAP-Gen: Retrieval-Augmented Patch Generation with CodeT5 for Automatic Program Repair [75.40584530380589]
新たな検索型パッチ生成フレームワーク(RAP-Gen)を提案する。 RAP-Gen 以前のバグ修正ペアのリストから取得した関連する修正パターンを明示的に活用する。 RAP-GenをJavaScriptのTFixベンチマークとJavaのCode RefinementとDefects4Jベンチマークの2つのプログラミング言語で評価する。
論文参考訳（メタデータ） (2023-09-12T08:52:56Z)
Learning to Represent Patches [7.073203009308308]
本稿では,パッチ表現の深層学習と意味意図のギャップを埋める新しい手法Pacherizerを紹介する。 Patcherizerは、構造化意図グラフ表現にグラフ畳み込みニューラルネットワークを使用し、意図シーケンス表現にトランスフォーマーを使用する。実験では,全てのタスクにおける表現の有効性を実証し,最先端の手法より優れていた。
論文参考訳（メタデータ） (2023-08-31T09:34:38Z)
KNOD: Domain Knowledge Distilled Tree Decoder for Automated Program Repair [33.04645845117822]
APR(Automated Program repair)は、バグ修正プログラム用のパッチを自動生成することで、ソフトウェアの信頼性を向上させる。最近のAPR技術は、ディープラーニング(DL)を利用して、既存のパッチやコードコーパスからパッチを生成するためのモデルを構築する。本稿では,パッチ生成を直接的かつ包括的にガイドするために,ドメイン知識を取り入れたDLベースのAPRアプローチを提案する。
論文参考訳（メタデータ） (2023-02-03T17:02:56Z)
UIA-ViT: Unsupervised Inconsistency-Aware Method based on Vision Transformer for Face Forgery Detection [52.91782218300844]
そこで我々は、UIA-ViTと呼ばれるビジョン変換器に基づく教師なし不整合認識手法を提案する。自己注意機構により、パッチ埋め込み間の注意マップは自然に一貫性関係を表現し、一貫性表現学習に適した視覚変換器となる。
論文参考訳（メタデータ） (2022-10-23T15:24:47Z)
Patch-level Representation Learning for Self-supervised Vision Transformers [68.8862419248863]
視覚変換器(ViT)は近年、より優れたアーキテクチャ選択として多くの注目を集めており、様々な視覚タスクにおいて畳み込みネットワークよりも優れています。これに触発された私たちは、パッチレベルの表現をより良く学習するための、SelfPatchという、シンプルで効果的なビジュアルプリテキストタスクを設計しました。我々は、既存のSSLメソッドの様々な視覚的タスクに対する性能を大幅に改善できることを実証した。
論文参考訳（メタデータ） (2022-06-16T08:01:19Z)
Rethinking Generative Zero-Shot Learning: An Ensemble Learning Perspective for Recognising Visual Patches [52.67723703088284]
我々はMPGAN(Multi-patch Generative Adversarial Nets)と呼ばれる新しいフレームワークを提案する。 MPGANは、新しい重み付き投票戦略で、ローカルパッチ機能とラベルが見えないクラスを合成する。 MPGANは最先端の手法よりもはるかに精度が高い。
論文参考訳（メタデータ） (2020-07-27T05:49:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。