論文の概要: Harnessing Chain-of-Thought Metadata for Task Routing and Adversarial Prompt Detection

• arxiv url: http://arxiv.org/abs/2503.21464v1
• Date: Thu, 27 Mar 2025 12:54:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-28 12:54:14.078954
• Title: Harnessing Chain-of-Thought Metadata for Task Routing and Adversarial Prompt Detection
• Title（参考訳）: タスクルーティングと逆プロンプト検出のためのハネスティング・チェーン・オブ・ワットメタデータ
• Authors: Ryan Marinelli, Josef Pichlmeier, Tamas Bisztray,
• Abstract要約: 本研究では,タスク事前実行の難易度を決定するために,NofT(Number of Thoughts)と呼ばれるメトリクスを提案する。 思考数に基づいて閾値を設定することで、この指標はプロンプトの難しさを識別し、より効果的なプロンプトルーティングをサポートすることができる。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: In this work, we propose a metric called Number of Thoughts (NofT) to determine the difficulty of tasks pre-prompting and support Large Language Models (LLMs) in production contexts. By setting thresholds based on the number of thoughts, this metric can discern the difficulty of prompts and support more effective prompt routing. A 2% decrease in latency is achieved when routing prompts from the MathInstruct dataset through quantized, distilled versions of Deepseek with 1.7 billion, 7 billion, and 14 billion parameters. Moreover, this metric can be used to detect adversarial prompts used in prompt injection attacks with high efficacy. The Number of Thoughts can inform a classifier that achieves 95% accuracy in adversarial prompt detection. Our experiments ad datasets used are available on our GitHub page: https://github.com/rymarinelli/Number_Of_Thoughts/tree/main.
• Abstract（参考訳）: 本研究では,NofT(Number of Thoughts)と呼ばれるメトリクスを提案し,実運用環境でのLLM(Large Language Models)の事前実行とサポートの難しさを判定する。 思考数に基づいて閾値を設定することで、この指標はプロンプトの難しさを識別し、より効果的なプロンプトルーティングをサポートすることができる。 行列がMathInstructデータセットから、17億、70億、14億のパラメータを持つDeepseekの定量化、蒸留されたバージョンを経由すると、レイテンシの2%減少が達成される。 さらに、この測定値を用いて、高い有効性でインジェクション攻撃に使用される敵のプロンプトを検出することができる。 思考数(Number of Thoughts)は、相手の迅速な検出において95%の精度を達成する分類器に通知することができる。 使用した広告データセットはGitHubのページで公開しています。

関連論文リスト

• Investigating the Influence of Prompt-Specific Shortcuts in AI Generated Text Detection [23.794925542322098]
  我々はAIGT検出におけるプロンプト特異的ショートカットの影響を分析する。 フィードバックに基づく逆命令リスト最適化(FAILOpt)を提案する。 FAILOptは、敵対的なインコンテキストの例に基づく他の攻撃に匹敵するターゲット検出器の検出性能を効果的に低下させる。
  論文  参考訳（メタデータ） (2024-06-24T02:50:09Z)
• DiPEx: Dispersing Prompt Expansion for Class-Agnostic Object Detection [45.56930979807214]
  クラスに依存しないオブジェクト検出は、多くの下流の視覚タスクにおいて、基盤となるかボトルネックとなる可能性がある。 本研究では、視覚言語モデルを用いて、自己教師付きプロンプト学習戦略による物体検出を強化する。 我々は,MS-COCO および LVIS におけるDiPEx の有効性を,クラス依存型OD および OOD-OD 実験により実証した。
  論文  参考訳（メタデータ） (2024-06-21T07:33:37Z)
• FamiCom: Further Demystifying Prompts for Language Models with Task-Agnostic Performance Estimation [73.454943870226]
  言語モデルは、コンテキスト内学習能力に優れています。 本稿では,タスク非依存のパフォーマンス推定のためのより包括的な尺度であるFamiComを提案する。
  論文  参考訳（メタデータ） (2024-06-17T06:14:55Z)
• Get my drift? Catching LLM Task Drift with Activation Deltas [55.75645403965326]
  タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。 そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。 このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
  論文  参考訳（メタデータ） (2024-06-02T16:53:21Z)
• Deep Prompt Multi-task Network for Abuse Language Detection [7.637768876962791]
  既存の検出手法は、学習済み言語モデル(PLM)の微調整技術を用いて下流タスクを処理していると論じる。 本稿では,乱用言語検出のための新しいDeep Prompt Multi-task Network (DPMN)を提案する。 提案したDPMNは3つの公開データセット上の8つの典型的な手法に対して評価される。
  論文  参考訳（メタデータ） (2024-03-08T12:45:53Z)
• Tensor Trust: Interpretable Prompt Injection Attacks from an Online Game [86.66627242073724]
  本稿では,126,000以上のプロンプトインジェクションと46,000以上のプロンプトベースのプロンプトインジェクションに対する「防御」のデータセットを提案する。 我々の知る限り、これは現在、命令追従 LLM に対する人間生成の敵例の最大のデータセットである。 また、データセットを使用して、2種類のプロンプトインジェクションに対する耐性のベンチマークを作成し、これをプロンプト抽出とプロンプトハイジャックと呼ぶ。
  論文  参考訳（メタデータ） (2023-11-02T06:13:36Z)
• Toward Human Readable Prompt Tuning: Kubrick's The Shining is a good movie, and a good prompt too? [84.91689960190054]
  大規模言語モデルは、自然言語のプロンプトが与えられた場合、ゼロショットで新しいタスクを実行することができる。 特にプロンプトが自然言語である場合、どの要因がプロンプトを効果的にするかは明らかにされていない。
  論文  参考訳（メタデータ） (2022-12-20T18:47:13Z)
• Evaluating Prompts Across Multiple Choice Tasks In a Zero-Shot Setting [0.0]
  大規模な言語モデルでは、自然言語のプロンプトによって、印象的なゼロショットのパフォーマンスが達成できることが示されている。 私たちは、プロンプトの品質はそのパフォーマンスにどのように影響しますか? 設計されていないタスクで使用するために、さまざまなタスクからプロンプトを収集し、標準化します。
  論文  参考訳（メタデータ） (2022-03-29T17:04:17Z)
• Mixed-Precision Neural Network Quantization via Learned Layer-wise Importance [50.00102219630088]
  混合精度量子化(MPQ)は各層に対して最適なビット幅を決定するのを難しくする。 本稿では,すべての指標を同時に取得できる共同学習手法を提案する。 例えば、ResNet18上のインデックスによるMPQ検索は、わずか0.06秒しかかからない。
  論文  参考訳（メタデータ） (2022-03-16T03:23:50Z)
• How Many Data Points is a Prompt Worth? [106.76346863035786]
  プロンプトの支持者は、タスク固有のガイダンスを注入する方法を提供すると主張している。 多くのタスクとデータサイズで、インセンティブとヘッドベースの微調整を等しく比較した。 その結果、プロンプトは分類タスク全体で平均100のデータポイントの価値があります。
  論文  参考訳（メタデータ） (2021-03-15T16:10:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。