論文の概要: PRIME: Evaluating Prompt Resolution Under Incompatible Instructions in LLMs

• arxiv url: http://arxiv.org/abs/2606.22470v1
• Date: Sun, 21 Jun 2026 12:30:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 18:07:44.523803
• Title: PRIME: Evaluating Prompt Resolution Under Incompatible Instructions in LLMs
• Title（参考訳）: PRIME:LLMにおける非互換命令下でのプロンプト分解能の評価
• Authors: Tehreem Javed, Shumaim Fatimah, Masooma Bakhtiari, Gibrail Islam, Mehwish Fatima,
• Abstract要約: 大きな言語モデル(LLM)は、しばしば矛盾するプロンプトに遭遇する。 現在のインストラクションは、これらのメタインストラクションを独立した形で評価する。 矛盾する命令が与えられた場合のLCMの挙動を解析するためのフレームワーク textitPRIME を導入する。
• 参考スコア（独自算出の注目度）: 1.7243216387069673
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models (LLMs) often encounter conflicting prompts, although current instruction following benchmarks assess those meta-instructions in isolation, limiting the insights about how models process conflicting instructions. We introduce a framework \textit{PRIME}(\textit{Prompt Resolution under Incompatible Meta-Instructions Evaluation}) to analyze behavior of LLMs when provided with conflicting instructions. \textit{PRIME} purposefully produces calibrated conflicts across response length, output format, and reasoning; classifying model responses with a deterministic behavioral taxonomy. We are evaluating five instruction tuned open weight LLMs in two distinct settings, balanced and naturally distributed. The conclusion we reach upon analysis is that conflict type is more significant in affecting behavior than model scale, and various failure modes across different categories of conflict. Our findings emphasize the value of developing conflict awareness and suggest ability of LLM to follow instructions cannot be assessed through isolated constraints alone.
• Abstract（参考訳）: 大規模な言語モデル(LLM)は、しばしば矛盾するプロンプトに遭遇するが、現在のベンチマークは、これらのメタ命令を独立して評価し、モデルがどのように矛盾する命令を処理するかについての洞察を制限する。 矛盾する命令が与えられた場合のLCMの挙動を解析するために,不整合メタインストラクション評価の下での「textit{PRIME}(\textit{Prompt Resolution)」フレームワークを導入する。 \textit{PRIME} は、応答長、出力フォーマット、推論のキャリブレーションされた競合を意図的に生成し、決定論的行動分類でモデル応答を分類する。 我々は、バランスと自然分布の2つの異なる設定で、5つの命令調整されたオープンウェイトLLMを評価している。 分析から得られた結論は、コンフリクトタイプはモデルスケールよりも行動に影響を及ぼし、さまざまなカテゴリのコンフリクトにまたがるさまざまな障害モードに影響を及ぼす、ということだ。 本研究は、紛争認識の発達の価値を強調し、LLMの指示に従う能力は、孤立した制約だけでは評価できないことを示唆している。

関連論文リスト

• Diagnosing Knowledge Conflict in Multimodal Long-Chain Reasoning [78.86309644343295]
  長い連鎖推論におけるマルチモーダルな大言語モデル(MLLM)は、異なる知識源が矛盾する信号を提供するときにしばしば失敗する。 我々は、これらの失敗を知識の衝突という統一概念の下で形式化し、入力レベルの客観的衝突とプロセスレベルの効果的な衝突を区別する。 本研究は,知識衝突下でのマルチモーダル推論のメカニズムを考察し,長CoT障害の診断と制御を可能にする。
  論文  参考訳（メタデータ） (2026-02-16T07:10:44Z)
• Deconstructing Instruction-Following: A New Benchmark for Granular Evaluation of Large Language Model Instruction Compliance Abilities [2.9203730377983654]
  既存のベンチマークでは、実際の使用を反映したり、コンプライアンスをタスクの成功から分離することができない。 アプリケーション指向の生成制約を最大20個まで含む動的に生成されたデータセットを使用するモジュール型フレームワークであるMOSAICを紹介した。 コンプライアンスはモノリシックな機能ではなく、制約タイプ、量、位置によって大きく異なります。
  論文  参考訳（メタデータ） (2026-01-26T15:02:15Z)
• ConInstruct: Evaluating Large Language Models on Conflict Detection and Resolution in Instructions [26.40258251641021]
  このデータセットは、ユーザインストラクション内の競合を検出し、解決するLarge Language Modelsの機能を評価するためのベンチマークである。 ほとんどのプロプライエタリなLCMは強力なコンフリクト検出能力を持っているが、オープンソースのモデルではDeepSeek-R1のみが同様の強力な性能を示している。 強いコンフリクト検出能力にもかかわらず、LLMは競合する制約に直面したときに、ユーザにコンフリクトや要求の明確化を明示的に通知することは滅多にない。
  論文  参考訳（メタデータ） (2025-11-18T10:49:37Z)
• Diverging Preferences: When do Annotators Disagree and do Models Know? [92.24651142187989]
  我々は,4つのハイレベルクラスにまたがる10のカテゴリにまたがる相違点の分類法を開発した。 意見の相違の大部分は、標準的な報酬モデリングアプローチに反対している。 本研究は,選好の変化を識別し,評価とトレーニングへの影響を緩和する手法を開発する。
  論文  参考訳（メタデータ） (2024-10-18T17:32:22Z)
• ECon: On the Detection and Resolution of Evidence Conflicts [56.89209046429291]
  大規模言語モデル(LLM)の台頭は意思決定システムにおける情報の質に大きな影響を与えている。 本研究では,実世界の誤情報シナリオをシミュレートするために,多様で検証された証拠衝突を生成する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T07:41:17Z)
• AdaCAD: Adaptively Decoding to Balance Conflicts between Contextual and Parametric Knowledge [57.66282463340297]
  知識の衝突は、大きな言語モデルの文脈における情報と、そのパラメータに格納された知識との相違から生じる。 コンフリクトの度合いに基づいて動的に調整の重みを推定する,AdaCADと呼ばれる細粒度なインスタンスレベルのアプローチを提案する。 ADACADは静的コントラストベースラインよりも平均QA精度14.21%(絶対)のデコードベースラインを一貫して上回り、要約の事実性を6.19倍(AlignScore)向上させることを示す。
  論文  参考訳（メタデータ） (2024-09-11T16:35:18Z)
• Intuitive or Dependent? Investigating LLMs' Behavior Style to Conflicting Prompts [9.399159332152013]
  本研究では,Large Language Models (LLM) の動作を,内部記憶と競合するプロンプトに直面する場合の挙動について検討する。 これにより、LLMの意思決定機構を理解し、検索強化生成(RAG)のような現実世界のアプリケーションにも役立つ。
  論文  参考訳（メタデータ） (2023-09-29T17:26:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。