論文の概要: Combating Instruction Conflict via Energy-Driven Latent Conflict Detection
- arxiv url: http://arxiv.org/abs/2609.08646v1
- Date: Tue, 08 Sep 2026 12:14:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 16:07:17.841047
- Title: Combating Instruction Conflict via Energy-Driven Latent Conflict Detection
- Title(参考訳): エネルギー駆動型遅延競合検出による圧縮命令競合
- Abstract要約: 大規模言語モデル(LLM)は階層的な命令でデプロイされることが多いが、ユーザディレクティブがシステムレベルの制約をオーバーライドする競合に対して脆弱なままである。
本稿では, 応答レベル遅延競合検出器ELCDについて述べる。
- 参考スコア(独自算出の注目度): 6.701569487024643
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) are increasingly deployed with hierarchical instructions, yet they remain vulnerable to conflicts in which user directives override system-level constraints. Existing defense mechanisms predominantly focus on static input inspection and therefore fail to detect Response Drift, a phenomenon in which the model's final response violates system-level constraints despite seemingly compliant inputs. To bridge this gap, we introduce ELCD, a response-level latent conflict detector for post-generation, pre-delivery verification. Given the full generated output, ELCD constructs a composite hidden-state representation by concatenating the final-token embedding with the mean-pooled response embedding. It then optimizes a pairwise margin ranking objective to separate compliant and drifting responses in latent space. Extensive experiments across five mainstream LLMs ranging from 1.5B to 14B parameters demonstrate that ELCD significantly outperforms competitive baselines. Notably, it improves the PR-AUC on Llama-2-7B by approximately 30 percentage points and reduces the False Positive Rate at 95% TPR (FPR95) on Mistral-7B to 2.67%. These results suggest that ELCD provides a promising approach for latent instruction-conflict detection in open-weight or self-hosted LLM deployments.
- Abstract(参考訳): 大規模言語モデル(LLM)は階層的な命令でデプロイされることが多いが、ユーザディレクティブがシステムレベルの制約をオーバーライドする競合に対して脆弱なままである。
既存の防御機構は、主に静的な入力検査に焦点を合わせており、従って、モデルの最終応答がシステムレベルの制約に反する現象であるResponse Driftの検出に失敗する。
このギャップを埋めるために, ELCD, 応答レベル遅延競合検出器を導入する。
完全な出力が与えられたとき、ELCDは、終点埋め込みと平均プールされた応答埋め込みを連結することにより、複合的な隠れ状態表現を構築する。
次に、ペアワイズマージンランキングの目的を最適化し、ラテント空間におけるコンプライアンス応答とドリフト応答を分離する。
1.5Bから14Bパラメータの5つの主要なLCMに対する大規模な実験により、ELCDは競争基準線を著しく上回ることを示した。
特に、Llama-2-7B上のPR-AUCを約30ポイント改善し、Mistral-7B上の95% TPR(FPR95)の偽陽性率を2.67%に下げている。
これらの結果から,ELCD はオープンウェイトや自己ホスト型 LLM デプロイメントにおける遅延型命令競合検出に有望なアプローチを提供すると考えられる。
関連論文リスト
- ConflictRAG: Detecting and Resolving Knowledge Conflicts in Retrieval Augmented Generation [10.475475632969799]
本稿では,回答生成に先立って知識衝突を検出し,分類し,解決する競合対応RAGフレームワークであるConflictRAGを提案する。
このフレームワークは、90.8%の検出精度を維持しながら、APIコストを62%削減する。
論文 参考訳(メタデータ) (2026-05-17T07:25:29Z) - Hierarchical Mixture-of-Experts with Two-Stage Optimization [84.70724165894501]
ルーティング制御を2つの結合レベルに分解するグループ化されたMoEフレームワークであるHi-MoEを提案する。
我々は,最近のスパースルーティングやグループ化されたMoEベースラインに対する一貫した改善をNLPおよびビジョンベンチマークで観察する。
58Bトークンの大規模事前トレーニングでは、Hi-MoE-7Bは5.6%のパープレキシティ低減と、OLMoE-7Bよりも40%のエキスパートバランスの改善を実現している。
論文 参考訳(メタデータ) (2026-05-08T09:21:46Z) - BITS Pilani at SemEval-2026 Task 9: Structured Supervised Fine-Tuning with DPO Refinement for Polarization Detection [2.2588605422113606]
ソーシャルメディアのテキストに政治的偏極を検出するための2段階のアプローチを提案する。
解釈可能なスロットフィリングテンプレートを用いてQwen 2.5-7B-インストラクションをLoRAで微調整する。
SemEval 2026 POLAR共有タスクデータセットの実験では、嗜好ベースの改善は両方の精度を改善し、付加的なアノテーションなしで偽陰性を減少させる。
論文 参考訳(メタデータ) (2026-04-13T07:35:17Z) - Improving Search Agent with One Line of Code [68.58667107354253]
ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。
textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
論文 参考訳(メタデータ) (2026-03-10T04:07:39Z) - Hybrid Responsible AI-Stochastic Approach for SLA Compliance in Multivendor 6G Networks [1.8219577154655007]
本稿では,ネットワーク制御ループに直接公平性,堅牢性,監査性を組み込むハイブリッド型AI確率学習フレームワークを提案する。
RAAPは、AI駆動の意思決定軌跡を継続的に記録し、ユーザレベルのSLAサマリーとオペレータレベルの責任分析を生成する。
合成2クラスマルチグループデータセットの実験的評価により、提案されたハイブリッドモデルは、最悪のグループの精度を最大10.5%向上させることが示された。
論文 参考訳(メタデータ) (2026-02-10T14:45:59Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳(メタデータ) (2025-12-22T16:34:21Z) - Enhancing the Outcome Reward-based RL Training of MLLMs with Self-Consistency Sampling [90.87033586963828]
マルチモーダル大言語モデル(MLLM)のステップ・バイ・ステップ推論を洗練させる手段としては,アウトカム・リワード強化学習(RL)が一般的であり,ますます重要になっている。
この問題を修正するために,自己整合サンプリング(SCS)を提案する。
Qwen2.5-VL-7B-インストラクトに基づいて、SCSは、無視できる余分な計算を伴う6つのマルチモーダルベンチマークにおいて、最大7.7ポイントの精度を向上する。
論文 参考訳(メタデータ) (2025-11-13T18:59:57Z) - RaCoT: Plug-and-Play Contrastive Example Generation Mechanism for Enhanced LLM Reasoning Reliability [12.67288560758937]
本稿では,RaCoT(Retrieval-aware Contrastive-of-Thought)を提案する。
RaCoTは、解答の発散を決定する重要な詳細に積極的に焦点を合わせるようモデルに誘導する。
論文 参考訳(メタデータ) (2025-10-26T15:06:44Z) - Causally-Enhanced Reinforcement Policy Optimization [36.523007244998695]
Causally-Enhanced Policy Optimization (CE-PO)は、因果一貫性のための異なるプロキシでポリシー最適化を強化する、ドロップイン報酬形成フレームワークである。
CE-POは、ヤコビアンに基づく感性によるモデル内部の影響を推定し、これらのシグナルを反実的に硬化させてニュアンスを抑えるとともに、結果のコヒーレンススコアをタスク精度フィードバックと融合させる。
4つのデータセットにわたる実験結果から、CE-POは平均で5.49%の精度(最大9.58%)を向上し、相関因果フリップや光対実編集による堅牢性を改善した。
論文 参考訳(メタデータ) (2025-09-27T04:10:16Z) - GRPO-CARE: Consistency-Aware Reinforcement Learning for Multimodal Reasoning [53.894789613838654]
我々は、複雑な実世界のビデオにバランスの取れた知覚と推論を必要とするベンチマークであるSEED-Bench-R1を紹介する。
SEED-Bench-R1を用いて、標準GRPOは解の精度を向上する一方で、推論ステップと解の論理的コヒーレンスを57.9%の一貫性で減少させる。
応答の正しさと推論コヒーレンスの両方を明示的な監督なしに最適化する整合性を考慮したRLフレームワークGRPO-CAREを提案する。
論文 参考訳(メタデータ) (2025-06-19T08:49:13Z) - Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。
RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。
批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。
AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
論文 参考訳(メタデータ) (2025-04-21T04:56:47Z) - Chain of Evidences and Evidence to Generate: Prompting for Context Grounded and Retrieval Augmented Reasoning [3.117335706912261]
チェイン・オブ・エビデンス(CoE)とエビデンス・トゥ・ジェネレーション(E2G)は2つのユニークな戦略に基づいて構築されている。
根拠のない推論の主張の代わりに、我々の革新的なアプローチは「意思決定の証拠」の力を利用する。
我々のフレームワークは、様々な知識集約的推論および生成タスクにおいて、常に顕著な結果を達成する。
論文 参考訳(メタデータ) (2024-01-11T09:49:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。