Fugu-MT 論文翻訳(概要): Towards Robust Dialogue Breakdown Detection: Addressing Disruptors in Large Language Models with Self-Guided Reasoning

論文の概要: Towards Robust Dialogue Breakdown Detection: Addressing Disruptors in Large Language Models with Self-Guided Reasoning

arxiv url: http://arxiv.org/abs/2504.18839v1
Date: Sat, 26 Apr 2025 07:51:05 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-02 19:15:54.013237
Title: Towards Robust Dialogue Breakdown Detection: Addressing Disruptors in Large Language Models with Self-Guided Reasoning
Title（参考訳）: ロバストダイアログのブレークダウン検出に向けて:自己誘導推論を用いた大規模言語モデルにおけるディスラプタの対応
Authors: Abdellah Ghassel, Xianzhi Li, Xiaodan Zhu,
Abstract要約: 大規模言語モデル(LLM)は、様々なドメインを急速に変更している。本稿では,LLM駆動システムにおける対話分解の検出と緩和の課題について論じる。本稿では,特殊微調整と高度なプロンプト戦略を組み合わせたアプローチを提案する。
参考スコア（独自算出の注目度）: 30.13634341221476
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large language models (LLMs) are rapidly changing various domains. However, their capabilities in handling conversational breakdowns still require an in-depth exploration. This paper addresses the challenge of detecting and mitigating dialogue breakdowns within LLM-driven conversational systems. While powerful models from OpenAI and Anthropic excel in many dialogue tasks, they can still produce incoherent or contradictory responses, commonly referred to as breakdowns, which undermine user trust. To tackle this, we propose an approach that combines specialized fine-tuning with advanced prompting strategies, including few-shot learning, chain-of-thought reasoning, and analogical prompting. In particular, we fine-tune a small 8B model and demonstrate its robust classification and calibration capabilities in English and Japanese dialogue. We also validate its generalization on the BETOLD dataset, achieving a 7\% accuracy improvement over its base model. Furthermore, we introduce a real-time deployment architecture that selectively escalates suspicious responses to more resource-intensive frontier models only when breakdowns are detected, significantly cutting operational expenses and energy consumption. Experimental results show our method surpasses prior state-of-the-art specialized classifiers while also narrowing performance gaps between smaller open-source models and large proprietary ones. Our approach offers a scalable solution for robust conversational AI in high-impact domains by combining efficiency, interpretability, and reliability.
Abstract（参考訳）: 大規模言語モデル(LLM)は、様々なドメインを急速に変更している。しかし、会話のブレークダウンを扱う能力は、いまだに詳細な調査を必要としている。本稿では,LLM駆動対話システムにおける対話のブレークダウンの検出と緩和という課題に対処する。 OpenAI や Anthropic の強力なモデルは多くの対話タスクで優れていますが、不整合性や矛盾した応答を生成します。そこで本研究では,特殊な微調整と高度なプロンプト戦略を組み合わせたアプローチを提案する。特に、小さな8Bモデルを微調整し、その頑健な分類と校正能力を英語と日本語の対話で示す。また、BETOLDデータセット上での一般化を検証し、ベースモデルに対して7倍の精度向上を実現した。さらに,破壊が検出された場合にのみ,資源集約的なフロンティアモデルに対する不審な応答を選択的にエスカレートするリアルタイムデプロイメントアーキテクチャを導入し,運用コストとエネルギー消費を大幅に削減する。実験により,提案手法は従来の最先端の特殊分類器を超越し,小型のオープンソースモデルと大規模プロプライエタリモデルの性能ギャップを狭めることができた。このアプローチは、効率性、解釈可能性、信頼性を組み合わせることで、高インパクト領域における堅牢な対話型AIのためのスケーラブルなソリューションを提供する。

関連論文リスト

Benchmarking Adversarial Robustness to Bias Elicitation in Large Language Models: Scalable Automated Assessment with LLM-as-a-Judge [0.0]
大規模言語モデル(LLM)は人工知能に革命をもたらし、機械翻訳、要約、会話エージェントの進歩を推進している。近年の研究では、LSMは偏りのある反応を誘発するために設計された敵攻撃に弱いままである。本研究は,LLMの逆バイアス誘発に対する堅牢性を評価するためのスケーラブルなベンチマークフレームワークを提案する。
論文参考訳（メタデータ） (2025-04-10T16:00:59Z)
Building Resource-Constrained Language Agents: A Korean Case Study on Chemical Toxicity Information [28.634126758365976]
本稿では,これらの制限下で考案された韓国の化学毒性情報エージェントであるTox-chatについて述べる。本稿では,階層的な部分探索によるトークン消費を低減する文脈効率アーキテクチャと,シナリオベースの対話生成手法を提案する。
論文参考訳（メタデータ） (2025-03-22T12:34:15Z)
Reasoning-Augmented Conversation for Multi-Turn Jailbreak Attacks on Large Language Models [53.580928907886324]
Reasoning-Augmented Conversationは、新しいマルチターンジェイルブレイクフレームワークである。有害なクエリを良心的な推論タスクに再構成する。 RACEは,複雑な会話シナリオにおいて,最先端攻撃の有効性を実現する。
論文参考訳（メタデータ） (2025-02-16T09:27:44Z)
MultiAgent Collaboration Attack: Investigating Adversarial Attacks in Large Language Model Collaborations via Debate [24.92465108034783]
大規模言語モデル(LLM)は、個別に作業する場合に、現在のベンチマークで例外的な結果を示す。パラメータサイズと推論時間の短縮とともに、それらの能力の進歩は、これらのモデルをエージェントとしての使用を促進する。敵の影響下での議論を通じて協調するモデルのネットワークの挙動を評価する。
論文参考訳（メタデータ） (2024-06-20T20:09:37Z)
Multimodal Contextual Dialogue Breakdown Detection for Conversational AI Models [1.4199474167684119]
マルチモーダルな文脈対話ブレークダウン(MultConDB)モデルを導入する。このモデルは、69.27のF1を達成することで、他の既知の最高のモデルよりも大幅に優れている。
論文参考訳（メタデータ） (2024-04-11T23:09:18Z)
DPP-Based Adversarial Prompt Searching for Lanugage Models [56.73828162194457]
Auto-Regressive Selective Replacement Ascent (ASRA)は、決定点プロセス(DPP)と品質と類似性の両方に基づいてプロンプトを選択する離散最適化アルゴリズムである。 6種類の事前学習言語モデルに対する実験結果から,ASRAによる有害成分の抽出の有効性が示された。
論文参考訳（メタデータ） (2024-03-01T05:28:06Z)
Evaluating Language Model Agency through Negotiations [39.87262815823634]
ネゴシエーションゲームにより、マルチターン、クロスモデル相互作用、複雑性の変調、およびサイドステップの偶発的データ漏洩を研究できる。提案手法は,広く使用されている6つのLMをテストし,セルフプレイとクロスプレイの両方で性能とアライメントを評価する。
論文参考訳（メタデータ） (2024-01-09T13:19:37Z)
Fast and Accurate Factual Inconsistency Detection Over Long Documents [19.86348214462828]
我々は,新しいチャンキング戦略を用いて,現実の不整合を検出するタスク非依存モデルであるSCALEを紹介する。このアプローチは、様々なタスクや長い入力に対して、現実の不整合検出における最先端のパフォーマンスを実現する。コードとデータはGitHubに公開しています。
論文参考訳（メタデータ） (2023-10-19T22:55:39Z)
Re-Reading Improves Reasoning in Large Language Models [87.46256176508376]
既成のLarge Language Models (LLM) の推論能力を高めるため, 単純で汎用的で効果的なプロンプト手法であるRe2を導入する。 CoT (Chain-of-Thought) など、ほとんどの思考を刺激する手法とは異なり、Re2 は質問を2回処理することで入力に焦点を移し、理解プロセスを強化する。提案手法の有効性と汎用性を検証するため,14のデータセットにまたがる広範囲な推論ベンチマークでRe2を評価した。
論文参考訳（メタデータ） (2023-09-12T14:36:23Z)
Stabilized In-Context Learning with Pre-trained Language Models for Few Shot Dialogue State Tracking [57.92608483099916]
大規模事前学習言語モデル(PLM)は、多くのNLPタスクにまたがる優れた性能を示している。対話状態追跡(DST)のようなより複雑なタスクでは、望ましい意図を確実に伝達するプロンプトを設計するのは簡単ではない。対話文の長さを制限するためのサリエンシモデルを導入し、クエリ毎に多くの例を含めることができます。
論文参考訳（メタデータ） (2023-02-12T15:05:10Z)
Enhancing Dialogue Generation via Multi-Level Contrastive Learning [57.005432249952406]
質問に対する応答のきめ細かい品質をモデル化するマルチレベルコントラスト学習パラダイムを提案する。 Rank-aware (RC) ネットワークはマルチレベルコントラスト最適化の目的を構築するために設計されている。本研究では,知識推論(KI)コンポーネントを構築し,学習中の参照からキーワードの知識を抽出し,そのような情報を活用して情報的単語の生成を促す。
論文参考訳（メタデータ） (2020-09-19T02:41:04Z)
Low-Resource Knowledge-Grounded Dialogue Generation [74.09352261943913]
我々は、限られた訓練例しか利用できないという自然な仮定のもと、知識基底による対話生成を考察する。生成モデル全体から知識基底の対話に依存するパラメータを分離するために,不整合応答デコーダを考案する。 1/8のトレーニングデータだけで、我々のモデルは最先端のパフォーマンスを達成でき、ドメイン外の知識をうまく一般化できる。
論文参考訳（メタデータ） (2020-02-24T16:20:32Z)
Non-Autoregressive Dialog State Tracking [122.2328875457225]
非自己回帰的対話状態追跡(NADST)の新しい枠組みを提案する。 NADSTはドメインとスロット間の潜在的な依存関係を分解し、分離されたスロットではなく完全なセットとして対話状態の予測を改善するためにモデルを最適化する。以上の結果から,MultiWOZ 2.1コーパス上の全領域にわたる最先端の接合精度が得られた。
論文参考訳（メタデータ） (2020-02-19T06:39:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。