論文の概要: Code Red! On the Harmfulness of Applying Off-the-shelf Large Language Models to Programming Tasks

• arxiv url: http://arxiv.org/abs/2504.01850v1
• Date: Wed, 02 Apr 2025 16:00:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:25:34.401609
• Title: Code Red! On the Harmfulness of Applying Off-the-shelf Large Language Models to Programming Tasks
• Title（参考訳）: コードレッド! プログラミングタスクにオフザシェルフな大規模言語モデルを適用することの有害性について
• Authors: Ali Al-Kaswan, Sebastian Deatc, Begüm Koç, Arie van Deursen, Maliheh Izadi,
• Abstract要約: 我々は、潜在的に有害なソフトウェアエンジニアリングシナリオの分類法を開発する。 次に、この分類に基づいてプロンプトのデータセットを作成します。 本稿では,モデルサイズ,アーキテクチャファミリー,アライメント戦略が有害なコンテンツを生成する傾向に与える影響について検討する。
• 参考スコア（独自算出の注目度）: 12.242406234298443
• License:
• Abstract: Nowadays, developers increasingly rely on solutions powered by Large Language Models (LLM) to assist them with their coding tasks. This makes it crucial to align these tools with human values to prevent malicious misuse. In this paper, we propose a comprehensive framework for assessing the potential harmfulness of LLMs within the software engineering domain. We begin by developing a taxonomy of potentially harmful software engineering scenarios and subsequently, create a dataset of prompts based on this taxonomy. To systematically assess the responses, we design and validate an automatic evaluator that classifies the outputs of a variety of LLMs both open-source and closed-source models, as well as general-purpose and code-specific LLMs. Furthermore, we investigate the impact of models size, architecture family, and alignment strategies on their tendency to generate harmful content. The results show significant disparities in the alignment of various LLMs for harmlessness. We find that some models and model families, such as Openhermes, are more harmful than others and that code-specific models do not perform better than their general-purpose counterparts. Notably, some fine-tuned models perform significantly worse than their base-models due to their design choices. On the other side, we find that larger models tend to be more helpful and are less likely to respond with harmful information. These results highlight the importance of targeted alignment strategies tailored to the unique challenges of software engineering tasks and provide a foundation for future work in this critical area.
• Abstract（参考訳）: 今日では、開発者はコーディングタスクを支援するために、Large Language Models (LLM)を使ったソリューションをますます頼りにしている。 これにより、悪質な誤用を防ぐために、これらのツールを人間の価値と整合させることが重要です。 本稿では,ソフトウェア工学領域におけるLLMの潜在的有害性を評価するための包括的枠組みを提案する。 まず、潜在的に有害なソフトウェアエンジニアリングシナリオの分類を開発し、その後、この分類に基づいてプロンプトのデータセットを作成します。 応答を体系的に評価するために、オープンソースモデルとクローズドソースモデルの両方、汎用モデルとコード固有のLCMの出力を分類する自動評価器を設計し、検証する。 さらに,モデルサイズ,アーキテクチャファミリー,アライメント戦略が有害なコンテンツを生成する傾向に与える影響について検討した。 その結果, 各種LLMのアライメントに有意差が認められた。 Openhermesのようなモデルやモデルファミリーは、他のモデルよりも有害であり、コード固有のモデルは、汎用的なモデルよりもパフォーマンスが良くないことが分かりました。 特筆すべきは、いくつかの微調整されたモデルは、設計上の選択のため、基本モデルよりも大幅に性能が低下することである。 一方、大きなモデルの方が役に立つ傾向があり、有害な情報に反応する可能性が低いことがわかりました。 これらの結果は、ソフトウェアエンジニアリングタスクの独特な課題に合わせたアライメント戦略の重要性を強調し、この重要な領域における将来の作業の基盤を提供する。

関連論文リスト

• Toward Neurosymbolic Program Comprehension [46.874490406174644]
  我々は,既存のDL技術の強みと従来の象徴的手法を組み合わせたニューロシンボリック研究の方向性を提唱する。 第1回ニューロシンボリック・プログラム・フレームワークの確立をめざして,提案するアプローチの予備的結果を示す。
  論文  参考訳（メタデータ） (2025-02-03T20:38:58Z)
• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
  本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。 英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
  論文  参考訳（メタデータ） (2024-08-28T06:33:03Z)
• Multi-Agent Planning Using Visual Language Models [2.2369578015657954]
  大規模言語モデル(LLM)とビジュアル言語モデル(VLM)は、様々なドメインやタスクにわたるパフォーマンスとアプリケーションの改善により、関心を集めている。 LLMとVLMは、特に問題領域の深い理解が必要な場合、誤った結果をもたらす。 本稿では,特定のデータ構造を入力として必要とせずに動作可能なマルチエージェント型タスクプランニングアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-08-10T08:10:17Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• Enhancing Code Generation Performance of Smaller Models by Distilling the Reasoning Ability of LLMs [36.409470894115074]
  我々は、LLMのコード生成推論機能をより小さなモデルに転送することを目的としたCodePLANフレームワークを提案する。 提案手法は,APPSベンチマークにおいて,より小さなモデルのコード生成性能を130%以上向上させる。
  論文  参考訳（メタデータ） (2024-03-20T03:09:54Z)
• CogBench: a large language model walks into a psychology lab [12.981407327149679]
  本稿では,7つの認知心理学実験から得られた10の行動指標を含むベンチマークであるCogBenchを紹介する。 本稿では,CagBenchを35大言語モデル(LLM)に適用し,統計的多レベルモデリング手法を用いて解析する。 オープンソースモデルは、プロプライエタリなモデルよりもリスクが高く、コードの微調整は必ずしもLLMの振舞いを促進しない。
  論文  参考訳（メタデータ） (2024-02-28T10:43:54Z)
• Adapting Large Language Models for Content Moderation: Pitfalls in Data Engineering and Supervised Fine-tuning [79.53130089003986]
  大規模言語モデル(LLM)は、様々なドメインでタスクを処理するための実現可能なソリューションとなっている。 本稿では、コンテンツモデレーションのためにプライベートにデプロイ可能なLLMモデルを微調整する方法を紹介する。
  論文  参考訳（メタデータ） (2023-10-05T09:09:44Z)
• Automatically Correcting Large Language Models: Surveying the landscape of diverse self-correction strategies [104.32199881187607]
  大規模言語モデル(LLM)は、幅広いNLPタスクで顕著な性能を示した。 これらの欠陥を正すための有望なアプローチは自己補正であり、LLM自体が自身の出力で問題を修正するために誘導される。 本稿では,この新技術について概観する。
  論文  参考訳（メタデータ） (2023-08-06T18:38:52Z)
• CodeLMSec Benchmark: Systematically Evaluating and Finding Security Vulnerabilities in Black-Box Code Language Models [58.27254444280376]
  自動コード生成のための大規模言語モデル(LLM)は、いくつかのプログラミングタスクにおいてブレークスルーを達成した。 これらのモデルのトレーニングデータは、通常、インターネット(例えばオープンソースのリポジトリから)から収集され、障害やセキュリティ上の脆弱性を含む可能性がある。 この不衛生なトレーニングデータは、言語モデルにこれらの脆弱性を学習させ、コード生成手順中にそれを伝播させる可能性がある。
  論文  参考訳（メタデータ） (2023-02-08T11:54:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。