論文の概要: An Empirically-grounded tool for Automatic Prompt Linting and Repair: A Case Study on Bias, Vulnerability, and Optimization in Developer Prompts

• arxiv url: http://arxiv.org/abs/2501.12521v1
• Date: Tue, 21 Jan 2025 22:24:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-23 16:53:49.862512
• Title: An Empirically-grounded tool for Automatic Prompt Linting and Repair: A Case Study on Bias, Vulnerability, and Optimization in Developer Prompts
• Title（参考訳）: 自動プロンプトライティングと補修のための経験的基礎ツール:開発者プロンプトにおけるバイアス・脆弱性・最適化を事例として
• Authors: Dhia Elhaq Rzig, Dhruba Jyoti Paul, Kaiser Pister, Jordan Henkel, Foyzul Hassan,
• Abstract要約: 私たちは、Dev Promptsの問題を検出し、修正するように設計されたツールであるPromptDoctorを紹介します。 我々の分析では、40,573人のDev Promptsの代表サンプルとして選ばれた2,173人のDev Promptsが3.46%に1種類以上のバイアスがあった。 PromptDoctorはバイアスのあるDev Promptの68.29%を脱バイアスし、脆弱なDev Promptの41.81%を硬化させ、37.1%のDev Promptの性能を改善した。
• 参考スコア（独自算出の注目度）: 2.6254294912127127
• License:
• Abstract: The tidal wave of advancements in Large Language Models (LLMs) has led to their swift integration into application-level logic. Many software systems now use prompts to interact with these black-box models, combining natural language with dynamic values interpolated at runtime, to perform tasks ranging from sentiment analysis to question answering. Due to the programmatic and structured natural language aspects of these prompts, we refer to them as Developer Prompts. Unlike traditional software artifacts, Dev Prompts blend natural language instructions with artificial languages such as programming and markup languages, thus requiring specialized tools for analysis, distinct from classical software evaluation methods. In response to this need, we introduce PromptDoctor, a tool explicitly designed to detect and correct issues of Dev Prompts. PromptDoctor identifies and addresses problems related to bias, vulnerability, and sub-optimal performance in Dev Prompts, helping mitigate their possible harms. In our analysis of 2,173 Dev Prompts, selected as a representative sample of 40,573 Dev Prompts, we found that 3.46% contained one or more forms of bias, 10.75% were vulnerable to prompt injection attacks. Additionally, 3,310 were amenable to automated prompt optimization. To address these issues, we applied PromptDoctor to the flawed Dev Prompts we discovered. PromptDoctor de-biased 68.29% of the biased Dev Prompts, hardened 41.81% of the vulnerable Dev Prompts, and improved the performance of 37.1% sub-optimal Dev Prompts. Finally, we developed a PromptDoctor VSCode extension, enabling developers to easily enhance Dev Prompts in their existing development workflows. The data and source code for this work are available at
• Abstract（参考訳）: LLM(Large Language Models)の進化の潮流は、アプリケーションレベルのロジックへの迅速な統合につながった。 多くのソフトウェアシステムは、これらのブラックボックスモデルと対話するためにプロンプトを使用し、自然言語と実行時に補間された動的値を組み合わせて、感情分析から質問応答までタスクを実行する。 これらのプロンプトのプログラム的かつ構造化された自然言語的側面から、我々はこれらをDeveloper Promptsと呼ぶ。 従来のソフトウェアアーティファクトとは異なり、Dev Promptsは自然言語命令とプログラミングやマークアップ言語などの人工言語を融合し、古典的なソフトウェア評価方法とは異なる分析ツールを必要とする。 このニーズに応えて、Dev Promptsの問題を明示的に検出し修正するツールであるPromptDoctorを紹介します。 PromptDoctorは、Dev Promptsにおけるバイアス、脆弱性、サブ最適パフォーマンスに関連する問題を特定し、対処する。 我々の分析では、40,573人のDev Promptsの代表サンプルとして選ばれた2,173人のDev Promptsを分析したところ、3.46%が1種類以上のバイアスを含んでおり、10.75%がインジェクション攻撃に弱いことが判明した。 さらに、3,310は自動的なプロンプト最適化が可能であった。 これらの問題に対処するために、私たちは発見した欠陥のあるDev PromptsにPromptDoctorを適用しました。 PromptDoctorはバイアスのあるDev Promptの68.29%を脱バイアスし、脆弱なDev Promptの41.81%を硬化させ、37.1%のDev Promptの性能を改善した。 最後に、開発者が既存の開発ワークフローで簡単にDev Promptを拡張できるPromptDoctor VSCodeエクステンションを開発しました。 この作業のデータとソースコードは、こちらで入手できる。

関連論文リスト

• LecPrompt: A Prompt-based Approach for Logical Error Correction with CodeBERT [28.711745671275477]
  LecPromptは論理的エラーをローカライズし、修復するためのプロンプトベースのアプローチである。 CodeBERTは、コードに基づいてトレーニングされたトランスフォーマーベースの大規模言語モデルである。 Pythonでは、LecPromptが注目すべき74.58%のトップ-1トークンレベルの修復精度を達成した。 Javaでは、LecPromptは69.23%のトップ-1トークンレベルの修復精度を提供する。
  論文  参考訳（メタデータ） (2024-10-10T01:56:04Z)
• Prompts Are Programs Too! Understanding How Developers Build Software Containing Prompts [12.979519344826748]
  いくつかの形態のプロンプトはプログラムであり、プロンプトの開発はプログラミングにおいて異なる現象であると主張する。 私たちの観察では、迅速なプログラミングは従来のソフトウェア開発と大きく異なることが示されています。 我々の発見は、ソフトウェア工学の実践者、教育者、研究者に影響を及ぼす。
  論文  参考訳（メタデータ） (2024-09-19T03:55:49Z)
• Are You Copying My Prompt? Protecting the Copyright of Vision Prompt for VPaaS via Watermark [4.071771108540602]
  Visual Prompt Learning (VPL) は、事前訓練されたモデルパラメータの更新を避けることで、リソース消費を大幅に削減する従来の微調整方法とは異なる。 Visual Prompts as a Service (V)の開発者が登場した。 これらの開発者は、認可された顧客に巧妙なプロンプトを提供することで利益を得る。 しかし、大きな欠点はプロンプトのコピーと再配布が簡単であり、V開発者の知的財産権を脅かすことである。
  論文  参考訳（メタデータ） (2024-05-24T02:31:03Z)
• AdvPrompter: Fast Adaptive Adversarial Prompting for LLMs [51.217126257318924]
  本稿では,AdvPrompterと呼ばれる新たな大規模言語モデルを用いて,人間可読な逆数プロンプトを数秒で生成する手法を提案する。 我々は、ターゲットLLMの勾配にアクセスする必要がない新しいアルゴリズムを用いてAdvPrompterを訓練する。 訓練されたAdvPrompterは、TargetLLMを誘引して有害な応答を与えるように、意味を変えずに入力命令を無効にする接尾辞を生成する。
  論文  参考訳（メタデータ） (2024-04-21T22:18:13Z)
• Meta Prompting for AI Systems [12.304069891580658]
  本稿では,言語モデル(LM)とAIシステムを利用した問題解決とデータインタラクションの革新的手法であるMeta Prompting(MP)について包括的な研究を行う。 MPは従来のコンテンツ中心の手法よりも情報の構造と構文を強調している。 複雑な問題をより単純なサブプロブレムに効果的に分解し、トークン効率を向上し、より公平な問題解決比較を可能にする方法を示す。
  論文  参考訳（メタデータ） (2023-11-20T01:51:13Z)
• Ignore Previous Prompt: Attack Techniques For Language Models [0.0]
  PromptInjectは,マスクに基づく対角的プロンプト合成のためのフレームワークである。 実運用において最も広くデプロイされている言語モデルであるGPT-3は、手書き入力で容易にミスアライメント可能であることを示す。
  論文  参考訳（メタデータ） (2022-11-17T13:43:20Z)
• Giving Feedback on Interactive Student Programs with Meta-Exploration [74.5597783609281]
  ウェブサイトやゲームのようなインタラクティブなソフトウェアを開発することは、特にコンピュータ科学を学ぶための魅力的な方法である。 標準的アプローチでは、インストラクターは、学生が実装した対話型プログラムを手動で評価する必要がある。 Code.orgのような何百万ものオンラインプラットフォームは、インタラクティブなプログラムを実装するための代入に関するフィードバックを提供することができない。
  論文  参考訳（メタデータ） (2022-11-16T10:00:23Z)
• Bayesian Prompt Learning for Image-Language Model Generalization [64.50204877434878]
  我々はベイズ法の正規化能力を用いて、変分推論問題としてプロンプト学習をフレーム化する。 提案手法は,プロンプト空間を正規化し,目に見えないプロンプトへの過剰適合を低減し,目に見えないプロンプトのプロンプト一般化を改善する。 ベイジアン・プロンプト学習がプロンプト空間の適切なカバレッジを提供する15のベンチマークを実証的に示す。
  論文  参考訳（メタデータ） (2022-10-05T17:05:56Z)
• MetaPrompting: Learning to Learn Better Prompts [52.914694884515534]
  本稿では,メタプロンプトと呼ばれるソフトプロンプト手法を提案する。 大規模な実験は、MetaPromptingが4つの異なるデータセットに大きな改善をもたらすことを示している。
  論文  参考訳（メタデータ） (2022-09-23T09:01:05Z)
• Interactive and Visual Prompt Engineering for Ad-hoc Task Adaptation with Large Language Models [116.25562358482962]
  最先端のニューラルネットワークモデルは、教師付きトレーニングを必要とせずに、アドホックな言語タスクを解決するために使用することができる。 PromptIDEを使えば、ユーザはプロンプトのバリエーションを試すことができ、プロンプトのパフォーマンスを視覚化し、反復的にプロンプトを最適化できる。
  論文  参考訳（メタデータ） (2022-08-16T17:17:53Z)
• PromptSource: An Integrated Development Environment and Repository for Natural Language Prompts [106.82620362222197]
  PromptSourceは自然言語のプロンプトを作成し、共有し、使用するシステムである。 Promptは、データセットから自然言語入力とターゲット出力にサンプルをマッピングする関数である。 約170のデータセットに対して2,000以上のプロンプトが、すでにPromptSourceで利用可能である。
  論文  参考訳（メタデータ） (2022-02-02T20:48:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。