論文の概要: LiCoEval: Evaluating LLMs on License Compliance in Code Generation

• arxiv url: http://arxiv.org/abs/2408.02487v2
• Date: Tue, 12 Nov 2024 10:03:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:19:35.687924
• Title: LiCoEval: Evaluating LLMs on License Compliance in Code Generation
• Title（参考訳）: LiCoEval: コード生成におけるライセンスコンプライアンスに関するLLMの評価
• Authors: Weiwei Xu, Kai Gao, Hao He, Minghui Zhou,
• Abstract要約: 大規模言語モデル(LLM)はコード生成に革命をもたらし、開発者によるAIコーディングツールの普及につながった。 LLMは、ライセンス情報を提供することなくライセンス保護されたコードを生成することができ、ソフトウェア製造中に知的財産権侵害を引き起こす可能性がある。 本稿では,LLM生成コードにおけるライセンスコンプライアンスの重要かつ未解明な問題に対処する。
• 参考スコア（独自算出の注目度）: 27.368667936460508
• License:
• Abstract: Recent advances in Large Language Models (LLMs) have revolutionized code generation, leading to widespread adoption of AI coding tools by developers. However, LLMs can generate license-protected code without providing the necessary license information, leading to potential intellectual property violations during software production. This paper addresses the critical, yet underexplored, issue of license compliance in LLM-generated code by establishing a benchmark to evaluate the ability of LLMs to provide accurate license information for their generated code. To establish this benchmark, we conduct an empirical study to identify a reasonable standard for "striking similarity" that excludes the possibility of independent creation, indicating a copy relationship between the LLM output and certain open-source code. Based on this standard, we propose LiCoEval, to evaluate the license compliance capabilities of LLMs, i.e., the ability to provide accurate license or copyright information when they generate code with striking similarity to already existing copyrighted code. Using LiCoEval, we evaluate 14 popular LLMs, finding that even top-performing LLMs produce a non-negligible proportion (0.88% to 2.01%) of code strikingly similar to existing open-source implementations. Notably, most LLMs fail to provide accurate license information, particularly for code under copyleft licenses. These findings underscore the urgent need to enhance LLM compliance capabilities in code generation tasks. Our study provides a foundation for future research and development to improve license compliance in AI-assisted software development, contributing to both the protection of open-source software copyrights and the mitigation of legal risks for LLM users.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、コード生成に革命をもたらし、開発者がAIコーディングツールを広く採用するに至った。 しかし、LLMはライセンス保護されたコードを生成するために、必要なライセンス情報を提供することなく、ソフトウェア製造中に知的財産権侵害を起こす可能性がある。 本稿では,LLM が生成するコードに対する正確なライセンス情報提供能力を評価するベンチマークを確立することにより,LLM 生成コードにおけるライセンスコンプライアンスの重要かつ未解明な問題に対処する。 このベンチマークを確立するために、我々は、LCM出力と特定のオープンソースコードとのコピー関係を示す独立した生成の可能性を排除する「類似性を探る」ための妥当な標準を特定するための実証的研究を行った。 この標準に基づいて,LLMのライセンスコンプライアンス能力,すなわち,既存の著作権コードと著しく類似したコードを生成する際に,正確なライセンス情報や著作権情報を提供する能力を評価するLiCoEvalを提案する。 LiCoEvalを用いて14の人気のあるLLMを評価し、トップパフォーマンスのLLMでさえ、既存のオープンソース実装と著しく類似したコードの非無視比(0.88%から2.01%)を生んでいることを発見した。 特に、ほとんどのLLMは、特にコピーレフトライセンス下のコードに対して、正確なライセンス情報を提供していない。 これらの知見は、コード生成タスクにおけるLCMコンプライアンス機能を強化する緊急の必要性を浮き彫りにしている。 我々の研究は、AI支援ソフトウェア開発におけるライセンスコンプライアンスを改善するための将来の研究と開発のための基盤を提供し、オープンソースソフトウェア著作権の保護とLLMユーザに対する法的リスクの軽減に寄与する。

関連論文リスト

• OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models [70.72097493954067]
  コードのための大規模言語モデル(LLM)は、コード生成、推論、タスク、エージェントシステムなど、さまざまな領域で必須になっている。 トップクラスのコードLLMであるOpenCoderは、主要なモデルに匹敵するパフォーマンスを達成するだけでなく、研究コミュニティの'オープンクックブック'として機能します。
  論文  参考訳（メタデータ） (2024-11-07T17:47:25Z)
• A Performance Study of LLM-Generated Code on Leetcode [1.747820331822631]
  本研究では,Large Language Models (LLM) によるコード生成の効率性を評価する。 モデル温度や成功率などの要因とコード性能への影響を考慮し、18個のLLMを比較した。 LLMは、人間によって書かれたコードよりも平均的に、より効率的なコードを生成することができる。
  論文  参考訳（メタデータ） (2024-07-31T13:10:03Z)
• Can We Trust Large Language Models Generated Code? A Framework for In-Context Learning, Security Patterns, and Code Evaluations Across Diverse LLMs [2.7138982369416866]
  大規模言語モデル(LLM)は、ソフトウェア工学における自動コード生成に革命をもたらした。 しかし、生成されたコードのセキュリティと品質に関する懸念が持ち上がっている。 本研究は,LLMの行動学習をセキュアにするための枠組みを導入することで,これらの課題に対処することを目的とする。
  論文  参考訳（メタデータ） (2024-06-18T11:29:34Z)
• A Survey on Large Language Models for Code Generation [9.555952109820392]
  大規模言語モデル(LLM)は、様々なコード関連のタスクで顕著な進歩を遂げています。 本調査は、総合的かつ最新の文献レビューを提供することで、学界と実践的発展のギャップを埋めることを目的としている。
  論文  参考訳（メタデータ） (2024-06-01T17:48:15Z)
• InfiBench: Evaluating the Question-Answering Capabilities of Code Large Language Models [56.723509505549536]
  InfiBenchは、私たちの知識に合ったコードのための、最初の大規模フリーフォーム質問回答(QA)ベンチマークです。 慎重に選択された234の高品質なStack Overflow質問で構成されており、15のプログラミング言語にまたがっている。 InfiBench上で100以上の最新のコードLLMに対して,系統的評価を行い,新しい知見と洞察に富んだ結果を得た。
  論文  参考訳（メタデータ） (2024-03-11T02:06:30Z)
• Knowledge Fusion of Large Language Models [73.28202188100646]
  本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。 我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。 この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
  論文  参考訳（メタデータ） (2024-01-19T05:02:46Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• Survey on Factuality in Large Language Models: Knowledge, Retrieval and Domain-Specificity [61.54815512469125]
  本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。 LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
  論文  参考訳（メタデータ） (2023-10-11T14:18:03Z)
• Do-Not-Answer: A Dataset for Evaluating Safeguards in LLMs [59.596335292426105]
  本稿では,大規模な言語モデルにおけるセーフガードを評価するための,最初のオープンソースデータセットを収集する。 我々は、自動安全性評価において、GPT-4に匹敵する結果を得るために、BERTライクな分類器をいくつか訓練する。
  論文  参考訳（メタデータ） (2023-08-25T14:02:12Z)
• The potential of LLMs for coding with low-resource and domain-specific programming languages [0.0]
  本研究は,オープンソースソフトウェアGreetlのハンスル(Hansl)という,econometricスクリプティング言語に焦点を当てたものである。 この結果から, LLMはグレタブルコードの記述, 理解, 改善, 文書化に有用なツールであることが示唆された。
  論文  参考訳（メタデータ） (2023-07-24T17:17:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。