論文の概要: An Empirically-grounded tool for Automatic Prompt Linting and Repair: A Case Study on Bias, Vulnerability, and Optimization in Developer Prompts

• arxiv url: http://arxiv.org/abs/2501.12521v1
• Date: Tue, 21 Jan 2025 22:24:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-23 16:53:49.862512
• Title: An Empirically-grounded tool for Automatic Prompt Linting and Repair: A Case Study on Bias, Vulnerability, and Optimization in Developer Prompts
• Title（参考訳）: 自動プロンプトライティングと補修のための経験的基礎ツール:開発者プロンプトにおけるバイアス・脆弱性・最適化を事例として
• Authors: Dhia Elhaq Rzig, Dhruba Jyoti Paul, Kaiser Pister, Jordan Henkel, Foyzul Hassan,
• Abstract要約: 私たちは、Dev Promptsの問題を検出し、修正するように設計されたツールであるPromptDoctorを紹介します。 我々の分析では、40,573人のDev Promptsの代表サンプルとして選ばれた2,173人のDev Promptsが3.46%に1種類以上のバイアスがあった。 PromptDoctorはバイアスのあるDev Promptの68.29%を脱バイアスし、脆弱なDev Promptの41.81%を硬化させ、37.1%のDev Promptの性能を改善した。
• 参考スコア（独自算出の注目度）: 2.6254294912127127
• License:
• Abstract: The tidal wave of advancements in Large Language Models (LLMs) has led to their swift integration into application-level logic. Many software systems now use prompts to interact with these black-box models, combining natural language with dynamic values interpolated at runtime, to perform tasks ranging from sentiment analysis to question answering. Due to the programmatic and structured natural language aspects of these prompts, we refer to them as Developer Prompts. Unlike traditional software artifacts, Dev Prompts blend natural language instructions with artificial languages such as programming and markup languages, thus requiring specialized tools for analysis, distinct from classical software evaluation methods. In response to this need, we introduce PromptDoctor, a tool explicitly designed to detect and correct issues of Dev Prompts. PromptDoctor identifies and addresses problems related to bias, vulnerability, and sub-optimal performance in Dev Prompts, helping mitigate their possible harms. In our analysis of 2,173 Dev Prompts, selected as a representative sample of 40,573 Dev Prompts, we found that 3.46% contained one or more forms of bias, 10.75% were vulnerable to prompt injection attacks. Additionally, 3,310 were amenable to automated prompt optimization. To address these issues, we applied PromptDoctor to the flawed Dev Prompts we discovered. PromptDoctor de-biased 68.29% of the biased Dev Prompts, hardened 41.81% of the vulnerable Dev Prompts, and improved the performance of 37.1% sub-optimal Dev Prompts. Finally, we developed a PromptDoctor VSCode extension, enabling developers to easily enhance Dev Prompts in their existing development workflows. The data and source code for this work are available at
• Abstract（参考訳）: LLM(Large Language Models)の進化の潮流は、アプリケーションレベルのロジックへの迅速な統合につながった。 多くのソフトウェアシステムは、これらのブラックボックスモデルと対話するためにプロンプトを使用し、自然言語と実行時に補間された動的値を組み合わせて、感情分析から質問応答までタスクを実行する。 これらのプロンプトのプログラム的かつ構造化された自然言語的側面から、我々はこれらをDeveloper Promptsと呼ぶ。 従来のソフトウェアアーティファクトとは異なり、Dev Promptsは自然言語命令とプログラミングやマークアップ言語などの人工言語を融合し、古典的なソフトウェア評価方法とは異なる分析ツールを必要とする。 このニーズに応えて、Dev Promptsの問題を明示的に検出し修正するツールであるPromptDoctorを紹介します。 PromptDoctorは、Dev Promptsにおけるバイアス、脆弱性、サブ最適パフォーマンスに関連する問題を特定し、対処する。 我々の分析では、40,573人のDev Promptsの代表サンプルとして選ばれた2,173人のDev Promptsを分析したところ、3.46%が1種類以上のバイアスを含んでおり、10.75%がインジェクション攻撃に弱いことが判明した。 さらに、3,310は自動的なプロンプト最適化が可能であった。 これらの問題に対処するために、私たちは発見した欠陥のあるDev PromptsにPromptDoctorを適用しました。 PromptDoctorはバイアスのあるDev Promptの68.29%を脱バイアスし、脆弱なDev Promptの41.81%を硬化させ、37.1%のDev Promptの性能を改善した。 最後に、開発者が既存の開発ワークフローで簡単にDev Promptを拡張できるPromptDoctor VSCodeエクステンションを開発しました。 この作業のデータとソースコードは、こちらで入手できる。

関連論文リスト

• Closing the Gap: A User Study on the Real-world Usefulness of AI-powered Vulnerability Detection & Repair in the IDE [5.824774194964031]
  プロのソフトウェア開発者が所有する実際のプロジェクトで、脆弱性検出と修正ツールを実装しています。 DeepVulGuardは脆弱性のコードをスキャンし、修正を提案し、警告と修正の自然言語説明を提供し、チャットインターフェースを活用する。 最先端のAIによる検出と修正ツールは、将来性を示しているが、偽陽性や適用不可能な修正の頻度が高いため、現実世界での使用には実用的ではない。
  論文  参考訳（メタデータ） (2024-12-18T20:19:56Z)
• Prompts Are Programs Too! Understanding How Developers Build Software Containing Prompts [12.979519344826748]
  いくつかの形態のプロンプトはプログラムであり、プロンプトの開発はプログラミングにおいて異なる現象であると主張する。 私たちの観察では、迅速なプログラミングは従来のソフトウェア開発と大きく異なることが示されています。 我々の発見は、ソフトウェア工学の実践者、教育者、研究者に影響を及ぼす。
  論文  参考訳（メタデータ） (2024-09-19T03:55:49Z)
• Are You Copying My Prompt? Protecting the Copyright of Vision Prompt for VPaaS via Watermark [4.071771108540602]
  Visual Prompt Learning (VPL) は、事前訓練されたモデルパラメータの更新を避けることで、リソース消費を大幅に削減する従来の微調整方法とは異なる。 Visual Prompts as a Service (V)の開発者が登場した。 これらの開発者は、認可された顧客に巧妙なプロンプトを提供することで利益を得る。 しかし、大きな欠点はプロンプトのコピーと再配布が簡単であり、V開発者の知的財産権を脅かすことである。
  論文  参考訳（メタデータ） (2024-05-24T02:31:03Z)
• AdvPrompter: Fast Adaptive Adversarial Prompting for LLMs [51.217126257318924]
  本稿では,AdvPrompterと呼ばれる新たな大規模言語モデルを用いて,人間可読な逆数プロンプトを数秒で生成する手法を提案する。 我々は、ターゲットLLMの勾配にアクセスする必要がない新しいアルゴリズムを用いてAdvPrompterを訓練する。 訓練されたAdvPrompterは、TargetLLMを誘引して有害な応答を与えるように、意味を変えずに入力命令を無効にする接尾辞を生成する。
  論文  参考訳（メタデータ） (2024-04-21T22:18:13Z)
• Efficient Prompting Methods for Large Language Models: A Survey [50.82812214830023]
  効率的なプロンプティング手法は幅広い注目を集めている。 本稿では,異なるプロンプト成分に対する自動プロンプトエンジニアリングと連続空間および離散空間におけるプロンプト圧縮について論じる。
  論文  参考訳（メタデータ） (2024-04-01T12:19:08Z)
• Ignore Previous Prompt: Attack Techniques For Language Models [0.0]
  PromptInjectは,マスクに基づく対角的プロンプト合成のためのフレームワークである。 実運用において最も広くデプロイされている言語モデルであるGPT-3は、手書き入力で容易にミスアライメント可能であることを示す。
  論文  参考訳（メタデータ） (2022-11-17T13:43:20Z)
• Giving Feedback on Interactive Student Programs with Meta-Exploration [74.5597783609281]
  ウェブサイトやゲームのようなインタラクティブなソフトウェアを開発することは、特にコンピュータ科学を学ぶための魅力的な方法である。 標準的アプローチでは、インストラクターは、学生が実装した対話型プログラムを手動で評価する必要がある。 Code.orgのような何百万ものオンラインプラットフォームは、インタラクティブなプログラムを実装するための代入に関するフィードバックを提供することができない。
  論文  参考訳（メタデータ） (2022-11-16T10:00:23Z)
• Bayesian Prompt Learning for Image-Language Model Generalization [64.50204877434878]
  我々はベイズ法の正規化能力を用いて、変分推論問題としてプロンプト学習をフレーム化する。 提案手法は,プロンプト空間を正規化し,目に見えないプロンプトへの過剰適合を低減し,目に見えないプロンプトのプロンプト一般化を改善する。 ベイジアン・プロンプト学習がプロンプト空間の適切なカバレッジを提供する15のベンチマークを実証的に示す。
  論文  参考訳（メタデータ） (2022-10-05T17:05:56Z)
• Interactive and Visual Prompt Engineering for Ad-hoc Task Adaptation with Large Language Models [116.25562358482962]
  最先端のニューラルネットワークモデルは、教師付きトレーニングを必要とせずに、アドホックな言語タスクを解決するために使用することができる。 PromptIDEを使えば、ユーザはプロンプトのバリエーションを試すことができ、プロンプトのパフォーマンスを視覚化し、反復的にプロンプトを最適化できる。
  論文  参考訳（メタデータ） (2022-08-16T17:17:53Z)
• PromptSource: An Integrated Development Environment and Repository for Natural Language Prompts [106.82620362222197]
  PromptSourceは自然言語のプロンプトを作成し、共有し、使用するシステムである。 Promptは、データセットから自然言語入力とターゲット出力にサンプルをマッピングする関数である。 約170のデータセットに対して2,000以上のプロンプトが、すでにPromptSourceで利用可能である。
  論文  参考訳（メタデータ） (2022-02-02T20:48:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。