論文の概要: Towards Proactive Detection of User-Side Implicit Conflicts in Human-LLM Dialogue
- arxiv url: http://arxiv.org/abs/2609.19155v1
- Date: Wed, 22 Jul 2026 07:15:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.616847
- Title: Towards Proactive Detection of User-Side Implicit Conflicts in Human-LLM Dialogue
- Title(参考訳): 人間-LLM対話におけるユーザ側インシデント競合の積極的な検出に向けて
- Abstract要約: Human-LLMダイアログでは、フォローアップされたユーザの発話は、以前の意図と暗黙に矛盾する可能性があるため、LLMはユーザニーズを誤って解釈し、不適切な応答を生成する。
ユーザ側のコンフリクト検出を評価するための人手によるベンチマークであるUC-Benchを構築した。
制約空間におけるユーザ側競合を表す制約誘導型合成法であるSynUCを提案する。
- 参考スコア(独自算出の注目度): 6.974028907543823
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In Human-LLM dialogue, follow-up user utterances may implicitly conflict with earlier intents, leading the LLM to misinterpret user needs and generate inappropriate responses. A reliable dialogue system should proactively detect user-side conflicts before generating a response and seek clarification when necessary. However, prior work has largely focused on LLM-side conflicts, leaving user-side conflicts underexplored. To fill this gap, we construct UC-Bench, a human-annotated benchmark for evaluating user-side conflict detection. Preliminary experiments show that existing LLMs struggle with this task, especially when conflicts arise from implicit incompatibilities grounded in dialogue history. To improve lightweight LLMs with limited training data, we investigate data synthesis for user-side conflict detection. Existing synthesis methods do not explicitly model the implicit incompatibilities between historical and current user utterances, making it difficult to capture the evolution of conflicts and to generate reliably labeled implicit conflict samples. We propose SynUC, a constraint-guided synthesis method that represents user-side conflicts in a constraint space and uses the SPEAKING framework to guide traceable constraint transformations. Applying SynUC to WildChat, we construct UC-Data, a user-side conflict training set containing 2,487 samples. On UC-Bench, Qwen3.5-4B trained on UC-Data outperforms larger general-purpose LLMs such as Claude Opus 4.8, as well as the same backbone trained on data synthesized by existing methods.
- Abstract(参考訳): Human-LLMダイアログでは、フォローアップされたユーザの発話は、以前の意図と暗黙に矛盾する可能性があるため、LLMはユーザニーズを誤って解釈し、不適切な応答を生成する。
信頼性のある対話システムは、応答を生成する前にユーザ側の衝突を積極的に検出し、必要に応じて明確化を求めるべきである。
しかしながら、以前の作業はLLM側のコンフリクトに重点を置いており、ユーザ側のコンフリクトは未調査のままである。
このギャップを埋めるために、ユーザ側の競合検出を評価するための人手によるベンチマークであるUC-Benchを構築した。
予備実験により、既存のLLMは、特に対話履歴に暗黙的な不整合から衝突が発生した場合に、この課題に苦しむことが示されている。
訓練データに制限のある軽量LLMを改善するため,ユーザ側競合検出のためのデータ合成について検討する。
既存の合成方法は、歴史的および現在のユーザの発話間の暗黙的な不整合性を明示的にモデル化しないため、競合の進化を捉え、確実にラベル付けされた暗黙的な競合サンプルを生成することは困難である。
本研究では,制約空間におけるユーザ側コンフリクトを表す制約誘導合成手法であるSynUCを提案し,SPEAKingフレームワークを用いてトレーサブルな制約変換を導出する。
SynUCをWildChatに適用し,2,487個のサンプルを含むユーザ側のコンフリクトトレーニングセットであるUC-Dataを構築した。
UC-Benchでは、Qwen3.5-4B が UC-Data で訓練され、Claude Opus 4.8 のようなより大きな汎用 LLM よりも優れており、既存の手法で合成されたデータに基づいて訓練されたバックボーンも同様である。
関連論文リスト
- Large Language Models in Resolving Contextual Knowledge Conflicts [7.7973038442706715]
6種類のコンテクストコンフリクトの分類を導入し,包括的データセットContextConflictに貢献する。
データセットには5,781のサンプルが含まれ、推論と要約の両方をカバーし、明示的な矛盾と多段階推論を必要とする暗黙の矛盾の両方を含んでいる。
本研究では、より包括的な証拠の取り込みを促すために、アクティベーションをステアリングする、トレーニングフリーでラベルフリーなステアリング手法を提案する。
論文 参考訳(メタデータ) (2026-09-02T20:30:15Z) - PRIME: Evaluating Prompt Resolution Under Incompatible Instructions in LLMs [1.7243216387069673]
大きな言語モデル(LLM)は、しばしば矛盾するプロンプトに遭遇する。
現在のインストラクションは、これらのメタインストラクションを独立した形で評価する。
矛盾する命令が与えられた場合のLCMの挙動を解析するためのフレームワーク textitPRIME を導入する。
論文 参考訳(メタデータ) (2026-06-21T12:30:23Z) - Mitigating Context-Memory Conflicts in LLMs through Dynamic Cognitive Reconciliation Decoding [51.242997961841276]
大規模言語モデルは事前学習を通じてパラメトリック知識を蓄積する。
知識の衝突は、時代遅れまたは誤ったパラメトリック知識が文脈における外部知識と衝突する際に起こる。
既存の手法は、対照的な復号化を通じて知識の衝突に対処するが、競合のないシナリオでは静的アプローチが出力分布を妨害する。
本稿では,動的認知和解復号法(DCRD)を提案する。
論文 参考訳(メタデータ) (2026-05-12T14:29:45Z) - When Contextual Inference Fails: Cancelability in Interactive Instruction Following [51.2195840589474]
私たちは、コンテキスト意味構築のためのインタラクティブなベンチマークであるBuild What I Meanを紹介します。
BWIMでは、モデルは文脈推論を行うか、小さな通信コストで明確化を要求することによって曖昧さを解決しなければならない。
我々は,不確実性の下でのパートナーブラインド過度明確化や質問逆推定などの準最適戦略を観察する。
論文 参考訳(メタデータ) (2026-03-20T14:46:59Z) - ConInstruct: Evaluating Large Language Models on Conflict Detection and Resolution in Instructions [26.40258251641021]
このデータセットは、ユーザインストラクション内の競合を検出し、解決するLarge Language Modelsの機能を評価するためのベンチマークである。
ほとんどのプロプライエタリなLCMは強力なコンフリクト検出能力を持っているが、オープンソースのモデルではDeepSeek-R1のみが同様の強力な性能を示している。
強いコンフリクト検出能力にもかかわらず、LLMは競合する制約に直面したときに、ユーザにコンフリクトや要求の明確化を明示的に通知することは滅多にない。
論文 参考訳(メタデータ) (2025-11-18T10:49:37Z) - DRAGged into Conflicts: Detecting and Addressing Conflicting Sources in Search-Augmented LLMs [36.47787866482107]
Retrieval Augmented Generation (RAG) は、大規模言語モデルを拡張するための一般的なアプローチである。
本稿では,RAGにおける知識衝突型の新しい分類法を提案する。
次に、現実的なRAG設定で競合タイプの専門家アノテーションを備えた高品質なベンチマークであるCONFLICTSを紹介する。
論文 参考訳(メタデータ) (2025-06-10T06:52:57Z) - ECon: On the Detection and Resolution of Evidence Conflicts [56.89209046429291]
大規模言語モデル(LLM)の台頭は意思決定システムにおける情報の質に大きな影響を与えている。
本研究では,実世界の誤情報シナリオをシミュレートするために,多様で検証された証拠衝突を生成する手法を提案する。
論文 参考訳(メタデータ) (2024-10-05T07:41:17Z) - AdaCAD: Adaptively Decoding to Balance Conflicts between Contextual and Parametric Knowledge [57.66282463340297]
知識の衝突は、大きな言語モデルの文脈における情報と、そのパラメータに格納された知識との相違から生じる。
コンフリクトの度合いに基づいて動的に調整の重みを推定する,AdaCADと呼ばれる細粒度なインスタンスレベルのアプローチを提案する。
ADACADは静的コントラストベースラインよりも平均QA精度14.21%(絶対)のデコードベースラインを一貫して上回り、要約の事実性を6.19倍(AlignScore)向上させることを示す。
論文 参考訳(メタデータ) (2024-09-11T16:35:18Z) - Rehearsal: Simulating Conflict to Teach Conflict Resolution [54.32934135393982]
リハーサル(Rehearsal)は、ユーザーがシミュレート可能なインターロケータで競合をリハーサルできるシステムである。
ユーザはRehearsalを使って、事前に定義されたさまざまなコンフリクトシナリオの処理を実践できる。
リハーサルはIRPを使って紛争解決理論に基づく発話を生成する。
論文 参考訳(メタデータ) (2023-09-21T17:59:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。