Fugu-MT 論文翻訳(概要): When the Database Fails: Prompting LLM Dialogue Agents for Safe Recovery in Task-Oriented Dialogue

論文の概要: When the Database Fails: Prompting LLM Dialogue Agents for Safe Recovery in Task-Oriented Dialogue

arxiv url: http://arxiv.org/abs/2606.31307v1
Date: Tue, 30 Jun 2026 08:18:11 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-01 18:27:19.135026
Title: When the Database Fails: Prompting LLM Dialogue Agents for Safe Recovery in Task-Oriented Dialogue
Title（参考訳）: データベースが機能しない場合:タスク指向対話における安全回復のためのLLM対話エージェントの試行
Abstract要約: 本稿では,リトレーニングや追加のモデルコールを伴わずにロバスト性を向上させる軽量なプロンプトベースのリカバリ手法について検討する。我々は,構造化データベースの状態に照らしたガイド付きリカバリプロンプトを含む3つの応答戦略を比較した。 30.5%の障害がMultiWOZで、20.9%がSGDで幻覚する。
参考スコア（独自算出の注目度）: 1.9116784879310027
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large language models used in task-oriented dialogue often produce fluent but unsafe responses when backend database calls fail, return empty results, or surface mismatched information, inventing venues, confirmations, or booking details not grounded in the database. We study a lightweight prompting-based recovery approach that improves robustness without retraining or additional model calls. We compare three response strategies, including a guided recovery prompt conditioned on structured database status, across six open-weight model families (DeepSeek-R1, Gemma-2, Llama-3, Mistral, Phi-3, and Qwen-2.5) and four database conditions: empty result, wrong-domain retrieval, API error, and clean retrieval. Using fault-injected benchmarks built on two structurally different datasets, MultiWOZ 2.2 (5 domains) and SGD (20 domains), we find that naive agents hallucinate on 30.5% of failure turns on MultiWOZ and 20.9% on SGD. Our Guided-Retry strategy reduces hallucination by 50% on MultiWOZ (30.5 to 15.3%) and by 42% on SGD (20.9 to 12.2%) without retraining. However, residual hallucination remains substantial (6-37% across models), with wrong-domain failures the hardest case. Results are consistent across both datasets and all six model families, and human annotation shows substantial agreement while supporting the validity of the automatic commitment-safety metric.
Abstract（参考訳）: タスク指向の対話で使用される大きな言語モデルは、バックエンドデータベースの呼び出しが失敗したり、空の結果を返したり、ミスマッチした情報を表面的に表示したり、場所の発明、確認、データベースに根ざしていない予約の詳細を作成できる。本稿では,リトレーニングや追加のモデルコールを伴わずにロバスト性を向上させる軽量なプロンプトベースのリカバリ手法について検討する。提案手法は,構造化データベースの状態に基づくガイド付きリカバリプロンプト,6つのオープンウェイトモデルファミリー(DeepSeek-R1,Gemma-2,Llama-3,Mistral,Phi-3,Qwen-2.5),および4つのデータベース条件(空き結果,誤ドメイン検索,APIエラー,クリーン検索)を比較した。構造的に異なる2つのデータセット、MultiWOZ 2.2(5ドメイン)とSGD(20ドメイン)上に構築されたフォールトインジェクトベンチマークを用いて、30.5%の障害がMultiWOZで、20.9%の障害がSGDで幻覚することを発見した。また,MultiWOZ(30.5～15.3%)とSGD(20.9～12.2%)を50%減らした。しかし、残存する幻覚は(モデル全体で6～37%)かなり残っており、誤ったドメイン障害が最も難しい。結果はデータセットと6つのモデルファミリで一致しており、人間のアノテーションは自動コミットメントセーフティメトリックの有効性をサポートしながら、かなりの一致を示している。

関連論文リスト

SPIEval: Evaluating Large Language Models as Mobile Assistants over Scattered Personal Information [61.41881137371855]
大規模言語モデル(LLM)のベンチマークであるSPIEvalを紹介する。 SPIEvalは、10のアプリに分散された4,335の個人レコードにまたがる250のタスクで構成され、21のツールによるマルチターンインタラクションをサポートする。最高のパフォーマンスモデルであるGPT-5.5(xhigh)は57.3%の精度しか達成せず、最も弱いモデルは16.4%である。
論文参考訳（メタデータ） (2026-08-11T09:14:53Z)
SearchAuditor: Auditing and Attributing Failures in Long-Horizon Search Agents [56.400332595452966]
我々は、監査人が検索エージェントの障害をローカライズ、属性付け、修復できるかどうかを評価するベンチマークであるSearchAuditBenchを紹介する。 SearchAuditBenchは1,243の障害トラックで構成され、平均73.1メッセージと65.1Kトークンを5つのディープサーチベンチマークで8つのオープンウェイトモデルから収集している。本稿では,検索エージェントの障害を効果的にローカライズ,属性,修復するマルチパースペクティブ監査フレームワークであるSearchAuditorを提案する。
論文参考訳（メタデータ） (2026-08-05T09:09:00Z)
DBA-Bench: A Production-Fidelity Benchmark for LLM-Based Database Operations Agents [11.99420231543344]
LLMベースのデータベースエージェントは、将来性を示すが、タスクスコープ、テストベッド、メトリクスが比較を妨げている。 DBA-Benchは、生産効率、結果優先評価、制御シナリオを通じてこれらのギャップに対処するベンチマークである。ベンチマークには7つのタスクドメインにわたる106のシナリオが含まれており、参照パスの深さと環境の複雑さに基づいた2つの公開困難ラベルがある。
論文参考訳（メタデータ） (2026-07-24T10:11:24Z)
Rewarding the Scientific Process: Process-Level Reward Modeling for Agentic Data Analysis [68.28714988482703]
プロセス・リワード・モデル(PRM)は、LLM(Large Language Models)の推論能力を増強することに成功した。本稿では,一般ドメインのPRMがデータ分析エージェントの監督に苦慮していることを示す。本稿では,新しい環境対応生成プロセス報酬モデルであるDataPRMを紹介する。
論文参考訳（メタデータ） (2026-04-27T09:00:30Z)
APEX-EM: Non-Parametric Online Learning for Autonomous Agents via Structured Procedural-Episodic Experience Replay [7.370176470430802]
LLMベースの自律エージェントは、永続的な手続き記憶を欠いている。我々は,構造化手続き計画の蓄積,検索,再利用を行う非パラメトリックオンライン学習フレームワークであるAPEX-EMを提案する。
論文参考訳（メタデータ） (2026-03-31T00:24:56Z)
Can Small Language Models Use What They Retrieve? An Empirical Study of Retrieval Utilization Across Model Scale [0.0]
アーキテクチャファミリSmolLM2 Qwen2.5とLlama 3.1の5つのモデルサイズを360Mから8Bまで評価した。その結果、7Bパラメータ以下のモデルでは、RAGの主な制限は、検索品質よりもコンテキスト利用であることがわかった。
論文参考訳（メタデータ） (2026-03-12T03:59:42Z)
TestExplora: Benchmarking LLMs for Proactive Bug Discovery via Repository-Level Test Generation [19.43198506241428]
提案するTestExploraは,大規模言語モデルを積極的なテスタとして評価するためのベンチマークである。 TestExploraには482リポジトリから2,389のタスクが含まれており、すべての欠陥関連信号を隠している。現状のモデルでは、F2P(Fail-to-Pass)の最大率は16.06%である。
論文参考訳（メタデータ） (2026-02-11T03:22:51Z)
Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文参考訳（メタデータ） (2025-09-25T14:05:55Z)
Retrieval-Augmented Generation with Conflicting Evidence [57.66282463340297]
大規模言語モデル (LLM) エージェントは、応答の事実性を改善するために、検索強化世代 (RAG) をますます採用している。実際には、これらのシステムは曖昧なユーザクエリを処理し、複数のソースからの情報に衝突する可能性がある。 RAMDocs(Retrieval with Ambiguity and Misinformation in Documents)は,ユーザクエリのエビデンスを矛盾させるような,複雑で現実的なシナリオをシミュレートする新しいデータセットである。
論文参考訳（メタデータ） (2025-04-17T16:46:11Z)
Out of Style: RAG's Fragility to Linguistic Variation [29.59506089890902]
ユーザクエリは言語的なバリエーションが大きく、依存するRAGコンポーネント間のカスケードエラーを引き起こす可能性がある。我々は,4つの言語的次元(形式性,可読性,丁寧性,文法的正しさ)がRAG性能に与える影響を分析する。
論文参考訳（メタデータ） (2025-04-11T03:30:26Z)
"Knowing When You Don't Know": A Multilingual Relevance Assessment Dataset for Robust Retrieval-Augmented Generation [90.09260023184932]
Retrieval-Augmented Generation (RAG) は、外部の知識源を活用して、事実の幻覚を減らすことで、Large Language Model (LLM) を出力する。 NoMIRACLは18言語にまたがるRAGにおけるLDM堅牢性を評価するための人為的アノテーション付きデータセットである。本研究は,Halucination rate,Halucination rate,Halucination rate,Sorucination rate,Sorucination rate,Sorucination rate,Sorucination rate,Sorucination rate,Sorucination rate,Sr。
論文参考訳（メタデータ） (2023-12-18T17:18:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。