論文の概要: Code Compliance Assessment as a Learning Problem
- arxiv url: http://arxiv.org/abs/2209.04602v1
- Date: Sat, 10 Sep 2022 05:41:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-13 14:03:26.786743
- Title: Code Compliance Assessment as a Learning Problem
- Title(参考訳): 学習問題としてのコードコンプライアンス評価
- Authors: Neela Sawant, Srinivasan H. Sengamedu
- Abstract要約: コードコンプライアンスアセスメントを機械学習(ML)問題として定式化する。
コードのコンプライアンス、非コンプライアンス、あるいは無関係に関する予測を生成します。
当社のツール Policy2Code は分類精度 (59%, 71%) と検索MSR (0.05, 0.21) を実現している。
ユーザ調査では、24%のPolicy2Code検出が、CodeBERTの7%に対して受け入れられた。
- 参考スコア(独自算出の注目度): 0.15229257192293197
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Manual code reviews and static code analyzers are the traditional mechanisms
to verify if source code complies with coding policies. However, these
mechanisms are hard to scale. We formulate code compliance assessment as a
machine learning (ML) problem, to take as input a natural language policy and
code, and generate a prediction on the code's compliance, non-compliance, or
irrelevance. This can help scale compliance classification and search for
policies not covered by traditional mechanisms. We explore key research
questions on ML model formulation, training data, and evaluation setup. The
core idea is to obtain a joint code-text embedding space which preserves
compliance relationships via the vector distance of code and policy embeddings.
As there is no task-specific data, we re-interpret and filter commonly
available software datasets with additional pre-training and pre-finetuning
tasks that reduce the semantic gap. We benchmarked our approach on two listings
of coding policies (CWE and CBP). This is a zero-shot evaluation as none of the
policies occur in the training set. On CWE and CBP respectively, our tool
Policy2Code achieves classification accuracies of (59%, 71%) and search MRR of
(0.05, 0.21) compared to CodeBERT with classification accuracies of (37%, 54%)
and MRR of (0.02, 0.02). In a user study, 24% Policy2Code detections were
accepted compared to 7% for CodeBERT.
- Abstract(参考訳): 手動コードレビューと静的コードアナライザは、ソースコードがコーディングポリシーに準拠しているかどうかを検証するための従来のメカニズムである。
しかし、これらのメカニズムはスケールが難しい。
我々は、機械学習(ML)問題としてコードコンプライアンスアセスメントを定式化し、自然言語ポリシーとコードを入力するとともに、コードのコンプライアンス、非コンプライアンス、あるいは無関係性に関する予測を生成する。
これはコンプライアンスの分類をスケールし、従来のメカニズムでカバーされていないポリシーを検索するのに役立ちます。
MLモデルの定式化、トレーニングデータ、評価設定に関する重要な研究課題について検討する。
核となる考え方は、コードとポリシーの埋め込みのベクトル距離を通じてコンプライアンス関係を保存する共同のコードテキスト埋め込み空間を得ることである。
タスク固有のデータがないため、セマンティックギャップを減らすためのトレーニング前タスクとファインタニング前タスクを追加して、一般的に利用可能なソフトウェアデータセットを再解釈し、フィルタリングします。
我々は2つのコーディングポリシー(CWEとCBP)をベンチマークした。
これはゼロショット評価であり、トレーニングセットではどのポリシーも発生しない。
CWE, CBPでは, 分類精度が59%, 71%, MRRが0.05, 0.21, CodeBERTが37%, 54%, MRRが0.02, 0.02であった。
ユーザ調査では、24%のPolicy2Code検出が、CodeBERTの7%と比較された。
関連論文リスト
- Code Revert Prediction with Graph Neural Networks: A Case Study at J.P. Morgan Chase [10.961209762486684]
コードリバース予測は、コード変更がソフトウェア開発で逆転またはロールバックされる可能性を予測または予測することを目的としている。
コード欠陥検出の以前の方法は、独立した機能に依存していたが、コードスクリプト間の関係を無視していた。
本稿では,コードインポートグラフとコード特徴を統合した,コード逆転予測のための系統的研究について述べる。
論文 参考訳(メタデータ) (2024-03-14T15:54:29Z) - Trained Without My Consent: Detecting Code Inclusion In Language Models
Trained on Code [14.763505073094779]
コード監査は、開発済みのコードが標準、規制、著作権保護に準拠していることを保証する。
ソフトウェア開発プロセスにおけるコーディングアシスタントとしての最近のLarge Language Models(LLM)の出現は、コード監査に新たな課題をもたらしている。
LLMのトレーニングデータセットにコードを含むことを検出するモデルに依存しない、解釈可能な方法であるTraWiCを提案する。
論文 参考訳(メタデータ) (2024-02-14T16:41:35Z) - Zero-Shot Detection of Machine-Generated Codes [83.0342513054389]
本研究は,LLMの生成したコードを検出するためのトレーニング不要な手法を提案する。
既存のトレーニングベースまたはゼロショットテキスト検出装置は、コード検出に効果がないことがわかった。
本手法は,リビジョン攻撃に対する堅牢性を示し,Javaコードによく適応する。
論文 参考訳(メタデータ) (2023-10-08T10:08:21Z) - Rapid Adaptation in Online Continual Learning: Are We Evaluating It
Right? [135.71855998537347]
オンライン連続学習(OCL)アルゴリズムの適応性を評価するための一般的な手法を,オンライン精度の指標を用いて再検討する。
空白のブラインド分類器でさえ、非現実的に高いオンライン精度を達成できるため、この指標は信頼できない。
既存のOCLアルゴリズムは、オンラインの精度も高いが、有用な情報の保持は不十分である。
論文 参考訳(メタデータ) (2023-05-16T08:29:33Z) - Conformal Off-Policy Evaluation in Markov Decision Processes [53.786439742572995]
強化学習は、データから効率的な制御ポリシーを特定し評価することを目的としている。
この学習タスクのほとんどの方法は、Off-Policy Evaluation (OPE)と呼ばれ、正確さと確実性を保証するものではない。
本稿では,目標方針の真報を含む区間を所定の確信度で出力するコンフォーマル予測に基づく新しいOPE手法を提案する。
論文 参考訳(メタデータ) (2023-04-05T16:45:11Z) - BRAC+: Improved Behavior Regularized Actor Critic for Offline
Reinforcement Learning [14.432131909590824]
オフライン強化学習は、以前に収集したデータセットを使用して効果的なポリシーをトレーニングすることを目的としている。
標準的なオフ・ポリティクスRLアルゴリズムは、アウト・オブ・ディストリビューション(探索されていない)アクションの値を過大評価する傾向がある。
動作の規則化によるオフライン強化学習を改善し,BRAC+を提案する。
論文 参考訳(メタデータ) (2021-10-02T23:55:49Z) - CoSQA: 20,000+ Web Queries for Code Search and Question Answering [63.92224685262063]
CoSQAデータセットには、自然言語クエリとコードのペア用の20,604ラベルが含まれている。
本稿では,クエリコードマッチングを強化するために,CoCLRと呼ばれる対照的な学習手法を提案する。
我々は,CodeXGLUEを同じCodeBERTモデルで評価し,CoSQAのトレーニングにより,コード質問応答の精度が5.1%向上したことを示す。
論文 参考訳(メタデータ) (2021-05-27T15:37:21Z) - TransICD: Transformer Based Code-wise Attention Model for Explainable
ICD Coding [5.273190477622007]
国際疾患分類法 (ICD) は, 医療分野の請求システムにおいて有効かつ重要であることが示されている。
現在、ICDコードは手動で臨床メモに割り当てられており、多くのエラーを引き起こす可能性がある。
本稿では,文書のトークン間の相互依存を捉えるためにトランスフォーマーベースのアーキテクチャを適用し,コードワイド・アテンション・メカニズムを用いて文書全体のコード固有表現を学習する。
論文 参考訳(メタデータ) (2021-03-28T05:34:32Z) - CodeBLEU: a Method for Automatic Evaluation of Code Synthesis [57.87741831987889]
コード合成の分野では、一般的に使用される評価基準はBLEUまたは完全精度である。
我々はCodeBLEUと呼ばれる新しい自動評価指標を導入する。
n-gramマッチングにおけるBLEUの強度を吸収し、抽象構文木(AST)やデータフローによるコードセマンティクスを通じてコード構文を注入する。
論文 参考訳(メタデータ) (2020-09-22T03:10:49Z) - SelfAugment: Automatic Augmentation Policies for Self-Supervised
Learning [98.2036247050674]
自己教師付き画像回転タスクによる学習表現の評価は、教師付き画像回転タスクの標準セットと高い相関性を示す。
教師付き評価を用いることなく、自動かつ効率的に拡張ポリシーを選択するアルゴリズム(SelfAugment)を提供する。
論文 参考訳(メタデータ) (2020-09-16T14:49:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。