論文の概要: Localizing Prompt Ambiguity in Large Language Models with Probe-Targeted Attribution

• arxiv url: http://arxiv.org/abs/2606.05486v1
• Date: Wed, 03 Jun 2026 22:15:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.426447
• Title: Localizing Prompt Ambiguity in Large Language Models with Probe-Targeted Attribution
• Title（参考訳）: Probe-Targeted Attributionを用いた大規模言語モデルにおけるプロンプトの曖昧さの局在化
• Authors: Govind Ramesh, Yao Dou, Wei Xu,
• Abstract要約: 本稿では、プローブロジットを用いて遅延曖昧さをトークン位置に属性付ける勾配属性法であるPRIGを紹介する。 具体的には、PRIGは、不明瞭なプロンプトから明確なプロンプトを区別するために線形プローブを訓練し、プローブスコアを残留ストリームの以前のトークン表現に属性付けする。 この設定では、PRIGは、勾配の属性ベースラインよりもかなりよく不明瞭なスパンを局在させ、合成ベンチマークで0.840 AUROC、金セットで0.891 AUROCを達成する。
• 参考スコア（独自算出の注目度）: 9.857349182313092
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompt ambiguity is a common source of failure in large language models, but is difficult to localize because it is a latent property of the prompt, while existing attribution methods are designed to explain observable outputs such as logits or generated tokens. We introduce PRIG, a gradient attribution method that uses a probe logit to attribute latent ambiguity to token positions. Specifically, PRIG trains a linear probe to distinguish clear prompts from ambiguous prompts and attributes the probe score to earlier token representations in the residual stream. To enable token-level evaluation, we construct synthetic ambiguity datasets across coding, math, and writing by rewriting one task-critical sentence per prompt, and complement them with a human-written gold benchmark. In this setting, PRIG localizes ambiguous spans substantially better than gradient attribution baselines, achieving 0.840 AUROC on the combined synthetic benchmark and 0.891 AUROC on the gold set. It also outperforms GPT-5.4 on sentence-level ambiguity identification and retains useful signal out-of-domain. These results establish PRIG as a practical tool for identifying which parts of a prompt are ambiguous. More broadly, they suggest that latent prompt properties can be localized through intermediate representations, rather than through output-level attribution.
• Abstract（参考訳）: Prompt ambiguityは大きな言語モデルでよくある失敗の原因であるが、プロンプトの潜在特性のためローカライズが難しい。 本稿では、プローブロジットを用いて遅延曖昧さをトークン位置に属性付ける勾配属性法であるPRIGを紹介する。 具体的には、PRIGは、不明瞭なプロンプトから明確なプロンプトを区別するために線形プローブを訓練し、プローブスコアを残留ストリームの以前のトークン表現に属性付けする。 トークンレベルの評価を可能にするため,素早い1つのタスククリティカルな文を書き換えることで,符号化,数学,書面にまたがる合成あいまい度データセットを構築し,それを人手によるゴールドベンチマークで補完する。 この設定では、PRIGは、勾配の属性ベースラインよりもかなりよく不明瞭なスパンを局在させ、合成ベンチマークで0.840 AUROC、金セットで0.891 AUROCを達成する。 また、文レベルの曖昧性識別においてGPT-5.4よりも優れており、ドメイン外で有用な信号を保持する。 これらの結果は、PRIGをプロンプトのどの部分があいまいかを特定するための実用的なツールとして確立する。 より広範に、彼らは出力レベルの属性ではなく、中間表現を通して潜在プロンプトプロパティをローカライズできることを示唆している。

関連論文リスト

• Human Label Variation as Stable Signal: Learning Annotator-Specific Explanation Behavior via Cross-Annotator Preference Optimization [51.93456979139756]
  自由文の説明は、ラベルの不一致を超えて人間のラベルのバリエーションを拡大する。 このようなアノテータ固有のラベル説明動作を,大規模言語モデルで学習し,再現できるかどうかを検討する。
  論文  参考訳（メタデータ） (2026-05-27T17:55:00Z)
• Interpretable Discriminative Text Representations via Agreement and Label Disentanglement [4.2788570168072395]
  本稿では,解釈可能な識別テキスト表現のための操作基準を提案する。 各座標は、一致の確率で測定された概念的明快さを満たすべきである。 LLM支援機能発見におけるこの基準のインスタンス化を行う。
  論文  参考訳（メタデータ） (2026-05-20T04:41:44Z)
• GUIDED: Granular Understanding via Identification, Detection, and Discrimination for Fine-Grained Open-Vocabulary Object Detection [54.19989440021701]
  細粒度オープン語彙オブジェクト検出(FG-OVD)は属性リッチテキストで記述された新しいオブジェクトカテゴリを検出することを目的としている。 FG-OVDは、非絡み合いモデリングとモジュラー最適化の利点を実証し、新しい最先端の結果を達成する。
  論文  参考訳（メタデータ） (2026-03-27T22:08:11Z)
• Log Probabilities Are a Reliable Estimate of Semantic Plausibility in Base and Instruction-Tuned Language Models [50.15455336684986]
  意味的妥当性を評価するため,LogProbsの有効性と基本的なプロンプトを評価した。 LogProbsは、直接ゼロショットプロンプトよりも、より信頼性の高いセマンティックな妥当性を提供する。 我々は,プロンプトベースの評価の時代においても,LogProbsは意味的妥当性の有用な指標である,と結論付けた。
  論文  参考訳（メタデータ） (2024-03-21T22:08:44Z)
• Zero and Few-shot Semantic Parsing with Ambiguous Inputs [45.285508941560295]
  私たちは、曖昧な自然言語を論理やコードといった形式的な表現に変換するためのフレームワーク、データセット、課題であるAmPを紹介します。 我々は,AmPを用いて,複数ショットのテキスト・ツー・コードシステムがあいまいさをどのように処理し,新しいメトリクスを3つ導入するかを検討する。 事前学習された大規模なモデルでは,意図的な指示を伴わずに,可能な意味の分布を把握できないことが判明した。
  論文  参考訳（メタデータ） (2023-06-01T15:46:36Z)
• BERM: Training the Balanced and Extractable Representation for Matching to Improve Generalization Ability of Dense Retrieval [54.66399120084227]
  本稿では,BERMと呼ばれるマッチング信号の取得により,高密度検索の一般化を改善する手法を提案する。 センス検索は、ドメイン内のラベル付きデータセットでトレーニングされた場合、第1段階の検索プロセスにおいて有望であることが示されている。
  論文  参考訳（メタデータ） (2023-05-18T15:43:09Z)
• Ambiguity-Resistant Semi-Supervised Learning for Dense Object Detection [98.66771688028426]
  本研究では,一段階検出器のためのAmbiguity-Resistant Semi-supervised Learning (ARSL)を提案する。 擬似ラベルの分類とローカライズ品質を定量化するために,JCE(Joint-Confidence Estimation)を提案する。 ARSLは、曖昧さを効果的に軽減し、MS COCOおよびPASCALVOC上で最先端のSSOD性能を達成する。
  論文  参考訳（メタデータ） (2023-03-27T07:46:58Z)
• Locally Aggregated Feature Attribution on Natural Language Model Understanding [12.233103741197334]
  Locally Aggregated Feature Attribution (LAFA) は、NLPモデルのための新しい勾配に基づく特徴属性法である。 あいまいな参照トークンに頼る代わりに、言語モデル埋め込みから派生した類似参照テキストを集約することで勾配を円滑にする。 評価のために、公開データセット上でのエンティティ認識やセンチメント分析を含む異なるNLPタスクの実験も設計する。
  論文  参考訳（メタデータ） (2022-04-22T18:59:27Z)
• Exploring the Role of BERT Token Representations to Explain Sentence Probing Results [15.652077779677091]
  BERTは特定のトークン表現において有意義な知識をエンコードする傾向にあることを示す。 これにより、シンタクティックとセマンティックの異常を検出し、文法的数とテンソル部分空間を一意に分離することができる。
  論文  参考訳（メタデータ） (2021-04-03T20:40:42Z)
• Dive into Ambiguity: Latent Distribution Mining and Pairwise Uncertainty Estimation for Facial Expression Recognition [59.52434325897716]
  DMUE(DMUE)という,アノテーションのあいまいさを2つの視点から解決するソリューションを提案する。 前者に対しては,ラベル空間における潜伏分布をよりよく記述するために,補助的マルチブランチ学習フレームワークを導入する。 後者の場合、インスタンス間の意味的特徴のペアワイズ関係を完全に活用して、インスタンス空間のあいまいさの程度を推定する。
  論文  参考訳（メタデータ） (2021-04-01T03:21:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。