論文の概要: Code Compliance Assessment as a Learning Problem

• arxiv url: http://arxiv.org/abs/2209.04602v1
• Date: Sat, 10 Sep 2022 05:41:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-13 14:03:26.786743
• Title: Code Compliance Assessment as a Learning Problem
• Title（参考訳）: 学習問題としてのコードコンプライアンス評価
• Authors: Neela Sawant, Srinivasan H. Sengamedu
• Abstract要約: コードコンプライアンスアセスメントを機械学習(ML)問題として定式化する。 コードのコンプライアンス、非コンプライアンス、あるいは無関係に関する予測を生成します。 当社のツール Policy2Code は分類精度 (59%, 71%) と検索MSR (0.05, 0.21) を実現している。 ユーザ調査では、24%のPolicy2Code検出が、CodeBERTの7%に対して受け入れられた。
• 参考スコア（独自算出の注目度）: 0.15229257192293197
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Manual code reviews and static code analyzers are the traditional mechanisms to verify if source code complies with coding policies. However, these mechanisms are hard to scale. We formulate code compliance assessment as a machine learning (ML) problem, to take as input a natural language policy and code, and generate a prediction on the code's compliance, non-compliance, or irrelevance. This can help scale compliance classification and search for policies not covered by traditional mechanisms. We explore key research questions on ML model formulation, training data, and evaluation setup. The core idea is to obtain a joint code-text embedding space which preserves compliance relationships via the vector distance of code and policy embeddings. As there is no task-specific data, we re-interpret and filter commonly available software datasets with additional pre-training and pre-finetuning tasks that reduce the semantic gap. We benchmarked our approach on two listings of coding policies (CWE and CBP). This is a zero-shot evaluation as none of the policies occur in the training set. On CWE and CBP respectively, our tool Policy2Code achieves classification accuracies of (59%, 71%) and search MRR of (0.05, 0.21) compared to CodeBERT with classification accuracies of (37%, 54%) and MRR of (0.02, 0.02). In a user study, 24% Policy2Code detections were accepted compared to 7% for CodeBERT.
• Abstract（参考訳）: 手動コードレビューと静的コードアナライザは、ソースコードがコーディングポリシーに準拠しているかどうかを検証するための従来のメカニズムである。 しかし、これらのメカニズムはスケールが難しい。 我々は、機械学習(ML)問題としてコードコンプライアンスアセスメントを定式化し、自然言語ポリシーとコードを入力するとともに、コードのコンプライアンス、非コンプライアンス、あるいは無関係性に関する予測を生成する。 これはコンプライアンスの分類をスケールし、従来のメカニズムでカバーされていないポリシーを検索するのに役立ちます。 MLモデルの定式化、トレーニングデータ、評価設定に関する重要な研究課題について検討する。 核となる考え方は、コードとポリシーの埋め込みのベクトル距離を通じてコンプライアンス関係を保存する共同のコードテキスト埋め込み空間を得ることである。 タスク固有のデータがないため、セマンティックギャップを減らすためのトレーニング前タスクとファインタニング前タスクを追加して、一般的に利用可能なソフトウェアデータセットを再解釈し、フィルタリングします。 我々は2つのコーディングポリシー(CWEとCBP)をベンチマークした。 これはゼロショット評価であり、トレーニングセットではどのポリシーも発生しない。 CWE, CBPでは, 分類精度が59%, 71%, MRRが0.05, 0.21, CodeBERTが37%, 54%, MRRが0.02, 0.02であった。 ユーザ調査では、24%のPolicy2Code検出が、CodeBERTの7%と比較された。

関連論文リスト

• Sifting through the Chaff: On Utilizing Execution Feedback for Ranking the Generated Code Candidates [46.74037090843497]
  大規模言語モデル(LLM)は、自然言語記述に基づいたコードの自動生成によって、開発者がプログラミングにアプローチする方法を変えつつある。 本稿では,実行フィードバックを活用するコードランキングの革新的なアプローチである RankEF について述べる。 3つのコード生成ベンチマークの実験では、RanEFが最先端のCodeRankerよりも大幅に優れていることが示されている。
  論文  参考訳（メタデータ） (2024-08-26T01:48:57Z)
• Co-training for Low Resource Scientific Natural Language Inference [65.37685198688538]
  遠隔教師付きラベルに分類器のトレーニング力学に基づいて重みを割り当てる新しいコトレーニング手法を提案する。 予測された信頼度に対する任意のしきい値に基づいてサンプルをフィルタリングするのではなく、重要重みを割り当てることにより、自動ラベル付きデータの使用を最大化する。 提案手法は、遠隔監視ベースラインに対するマクロF1の1.5%の改善と、他の強力なSSLベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-06-20T18:35:47Z)
• Query Performance Prediction using Relevance Judgments Generated by Large Language Models [53.97064615557883]
  自動生成関連判定(QPP-GenRE)を用いたQPPフレームワークを提案する。 QPP-GenREは、QPPを独立したサブタスクに分解し、ランクリスト内の各項目の関連性を所定のクエリに予測する。 これにより、生成した関連判断を擬似ラベルとして利用して、任意のIR評価尺度を予測することができる。
  論文  参考訳（メタデータ） (2024-04-01T09:33:05Z)
• Code Revert Prediction with Graph Neural Networks: A Case Study at J.P. Morgan Chase [10.961209762486684]
  コードリバース予測は、コード変更がソフトウェア開発で逆転またはロールバックされる可能性を予測または予測することを目的としている。 コード欠陥検出の以前の方法は、独立した機能に依存していたが、コードスクリプト間の関係を無視していた。 本稿では,コードインポートグラフとコード特徴を統合した,コード逆転予測のための系統的研究について述べる。
  論文  参考訳（メタデータ） (2024-03-14T15:54:29Z)
• Trained Without My Consent: Detecting Code Inclusion In Language Models Trained on Code [13.135962181354465]
  コード監査は、開発済みのコードが標準、規制、著作権保護に準拠していることを保証する。 ソフトウェア開発プロセスにおけるコーディングアシスタントとしての最近のLarge Language Models(LLM)の出現は、コード監査に新たな課題をもたらしている。 LLMのトレーニングデータセットにコードを含むことを検出するモデルに依存しない、解釈可能な方法であるTraWiCを提案する。
  論文  参考訳（メタデータ） (2024-02-14T16:41:35Z)
• Zero-Shot Detection of Machine-Generated Codes [83.0342513054389]
  本研究は,LLMの生成したコードを検出するためのトレーニング不要な手法を提案する。 既存のトレーニングベースまたはゼロショットテキスト検出装置は、コード検出に効果がないことがわかった。 本手法は,リビジョン攻撃に対する堅牢性を示し,Javaコードによく適応する。
  論文  参考訳（メタデータ） (2023-10-08T10:08:21Z)
• CoSQA: 20,000+ Web Queries for Code Search and Question Answering [63.92224685262063]
  CoSQAデータセットには、自然言語クエリとコードのペア用の20,604ラベルが含まれている。 本稿では,クエリコードマッチングを強化するために,CoCLRと呼ばれる対照的な学習手法を提案する。 我々は,CodeXGLUEを同じCodeBERTモデルで評価し,CoSQAのトレーニングにより,コード質問応答の精度が5.1%向上したことを示す。
  論文  参考訳（メタデータ） (2021-05-27T15:37:21Z)
• TransICD: Transformer Based Code-wise Attention Model for Explainable ICD Coding [5.273190477622007]
  国際疾患分類法 (ICD) は, 医療分野の請求システムにおいて有効かつ重要であることが示されている。 現在、ICDコードは手動で臨床メモに割り当てられており、多くのエラーを引き起こす可能性がある。 本稿では,文書のトークン間の相互依存を捉えるためにトランスフォーマーベースのアーキテクチャを適用し,コードワイド・アテンション・メカニズムを用いて文書全体のコード固有表現を学習する。
  論文  参考訳（メタデータ） (2021-03-28T05:34:32Z)
• CodeBLEU: a Method for Automatic Evaluation of Code Synthesis [57.87741831987889]
  コード合成の分野では、一般的に使用される評価基準はBLEUまたは完全精度である。 我々はCodeBLEUと呼ばれる新しい自動評価指標を導入する。 n-gramマッチングにおけるBLEUの強度を吸収し、抽象構文木(AST)やデータフローによるコードセマンティクスを通じてコード構文を注入する。
  論文  参考訳（メタデータ） (2020-09-22T03:10:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。