論文の概要: Revisiting Code Similarity Evaluation with Abstract Syntax Tree Edit Distance

• arxiv url: http://arxiv.org/abs/2404.08817v2
• Date: Mon, 3 Jun 2024 11:56:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 15:27:55.006755
• Title: Revisiting Code Similarity Evaluation with Abstract Syntax Tree Edit Distance
• Title（参考訳）: 抽象構文木編集距離を用いたコード類似性評価の再検討
• Authors: Yewei Song, Cedric Lothritz, Daniel Tang, Tegawendé F. Bissyandé, Jacques Klein,
• Abstract要約: 我々は、最近のコード類似度評価指標を再考し、特に抽象構文木(AST)編集距離の適用に焦点を当てた。 実験では、複雑なコード構造をキャプチャする際のAST編集距離の有効性を示し、既存のメトリクスと高い相関関係を示した。 すべてのテスト言語で有効性を示すメトリクスを提案し,最適化し,公開する。
• 参考スコア（独自算出の注目度）: 6.164970071786899
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This paper revisits recent code similarity evaluation metrics, particularly focusing on the application of Abstract Syntax Tree (AST) editing distance in diverse programming languages. In particular, we explore the usefulness of these metrics and compare them to traditional sequence similarity metrics. Our experiments showcase the effectiveness of AST editing distance in capturing intricate code structures, revealing a high correlation with established metrics. Furthermore, we explore the strengths and weaknesses of AST editing distance and prompt-based GPT similarity scores in comparison to BLEU score, execution match, and Jaccard Similarity. We propose, optimize, and publish an adaptable metric that demonstrates effectiveness across all tested languages, representing an enhanced version of Tree Similarity of Edit Distance (TSED).
• Abstract（参考訳）: 本稿では,近年のコード類似度評価指標を再検討し,特に多様なプログラミング言語における抽象構文木 (AST) 編集距離の適用に焦点を当てた。 特に、これらの指標の有用性を探求し、従来のシーケンス類似度指標と比較する。 実験では、複雑なコード構造をキャプチャする際のAST編集距離の有効性を示し、既存のメトリクスと高い相関関係を示した。 さらに,AST編集距離とプロンプトに基づくGPT類似度スコアの長所と短所をBLEUスコア,実行マッチ,ジャカード類似度と比較し検討した。 本稿では,TSED(Tree similarity of Edit Distance)の拡張版を代表として,すべてのテスト言語で有効性を示す適応可能なメトリクスを提案し,最適化し,公開する。

関連論文リスト

• Predicting Text Preference Via Structured Comparative Reasoning [110.49560164568791]
  我々は、構造化中間比較を生成することによって、テキストの嗜好を予測するプロンプト方式であるSCを導入する。 我々は、テキスト間の差異を明確に区別するためのペアワイズ整合コンパレータと一貫した比較を選択する。 要約,検索,自動評価など多種多様なNLPタスクに対する総合的な評価は,SCがテキスト優先予測における最先端性能を達成するためにLLMを装備していることを示す。
  論文  参考訳（メタデータ） (2023-11-14T18:51:38Z)
• Towards Multiple References Era -- Addressing Data Leakage and Limited Reference Diversity in NLG Evaluation [55.92852268168816]
  BLEUやchrFのようなN-gramマッチングに基づく評価指標は、自然言語生成(NLG)タスクで広く利用されている。 近年の研究では、これらのマッチングベースの指標と人間の評価との間には弱い相関関係が示されている。 本稿では,これらの指標と人的評価の整合性を高めるために,テキストマルチプル参照を利用することを提案する。
  論文  参考訳（メタデータ） (2023-08-06T14:49:26Z)
• CORE: A Retrieve-then-Edit Framework for Counterfactual Data Generation [91.16551253297588]
  Counterfactual Generation via Retrieval and Editing (CORE) は、トレーニングのための多様な反事実摂動を生成するための検索強化された生成フレームワークである。 COREはまず、学習されたバイエンコーダを用いて、タスク関連未ラベルテキストコーパス上で密集した検索を行う。 COREはこれらを、反ファクト編集のために、数ショットの学習機能を備えた大規模な言語モデルへのプロンプトに組み込む。
  論文  参考訳（メタデータ） (2022-10-10T17:45:38Z)
• Evaluating Table Structure Recognition: A New Perspective [2.1067139116005595]
  テーブル構造認識アルゴリズムの評価に用いられる既存のメトリクスは、テキストと空のセルのアライメントのキャプチャに関して欠点がある。 本稿では,テキストの代わりにバウンディングボックスを用いたテーブル構造認識のための新しいメトリック-TEDSベースのIOU類似度(TEDS (IOU))を提案する。
  論文  参考訳（メタデータ） (2022-07-31T07:48:36Z)
• FastKASSIM: A Fast Tree Kernel-Based Syntactic Similarity Metric [48.66580267438049]
  我々は,発話レベルと文書レベルの構文的類似性の指標であるFastKASSIMを提案する。 ツリーカーネルに基づいたドキュメントのペア間で、最も類似した依存関係解析ツリーをペア化し、平均化する。 r/ChangeMyViewコーパス内のドキュメントのベースラインメソッドよりも最大5.2倍高速に動作します。
  論文  参考訳（メタデータ） (2022-03-15T22:33:26Z)
• Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
  テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。 本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。 本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。 セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
  論文  参考訳（メタデータ） (2021-10-04T03:59:15Z)
• Improving Code Summarization with Block-wise Abstract Syntax Tree Splitting [15.28941592388958]
  ソースコードの構文構造を表現した抽象構文木(AST)がコード要約の生成をガイドするために組み込まれている。 既存のastベースのメソッドはトレーニングが困難で、不適切なコード要約を生成する。 ASTのリッチツリー形式の構文構造をフル活用したBlock-wise Abstract Syntax Tree Splitting法(BASTS)を提案する。
  論文  参考訳（メタデータ） (2021-03-14T05:04:06Z)
• Improving Text Generation Evaluation with Batch Centering and Tempered Word Mover Distance [24.49032191669509]
  類似度指標の符号化表現を改善するための2つの手法を提案する。 さまざまなBERTバックボーンの学習指標について結果を示し、複数のベンチマークでヒトのレーティングとアート相関の状態を達成した。
  論文  参考訳（メタデータ） (2020-10-13T03:46:25Z)
• CodeBLEU: a Method for Automatic Evaluation of Code Synthesis [57.87741831987889]
  コード合成の分野では、一般的に使用される評価基準はBLEUまたは完全精度である。 我々はCodeBLEUと呼ばれる新しい自動評価指標を導入する。 n-gramマッチングにおけるBLEUの強度を吸収し、抽象構文木(AST)やデータフローによるコードセマンティクスを通じてコード構文を注入する。
  論文  参考訳（メタデータ） (2020-09-22T03:10:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。