論文の概要: DiagFlowBench: Evaluating How Language Models Handle Off-Procedure Inputs in Grounded Diagnostic Dialogue
- arxiv url: http://arxiv.org/abs/2606.17904v1
- Date: Tue, 16 Jun 2026 13:28:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-17 17:15:32.447885
- Title: DiagFlowBench: Evaluating How Language Models Handle Off-Procedure Inputs in Grounded Diagnostic Dialogue
- Title（参考訳）: DiagFlowBench: 接地診断対話における言語モデルによるオフプロシージャ入力の処理方法の評価
- Authors: Guillermo Gil de Avalle, Laura Maruster, Shaina Raza, Christos Emmanouilidis,
- Abstract要約: 言語モデルは、メンテナンス運用におけるアドバイザリシステムとしての役割をますます高めている。
近年のシステムでは、これらのモデルを手続き的な文書化して、承認されたステップに制限している。
しかし、実際には、オペレータークエリは、しばしばこの経路から分岐し、モデルが会話の途中でスコープ外の入力を認識する必要がある。
- 参考スコア（独自算出の注目度）: 6.005080651260776
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language models increasingly serve as advisory systems in maintenance operations. To prevent hallucination, recent systems ground these models in procedural documentation to constrain them to approved steps. In practice, however, operator queries frequently stray from this path, requiring models to recognise out-of-scope inputs mid-conversation, a dynamic that current benchmarks rarely prioritise. We introduce DiagFlowBench, a dataset of 50 industrial diagnostic flowcharts from a consumer manufacturer converted into 1,676 multi-turn conversations that contrast compliant with out-of-scope utterances. Evaluating a panel of ten commercial and open-weight models reveals high variability in abstention rates, with models commonly selecting a real but contextually inadequate step rather than fabricating facts. The inherent plausibility and authority of this mapped but wrong advice exposes a challenging vulnerability for grounding systems.
- Abstract（参考訳）: 言語モデルは、メンテナンス運用におけるアドバイザリシステムとしての役割をますます高めている。
幻覚を防ぐため、近年のシステムでは、これらのモデルを手続き文書に置き、承認されたステップに制限している。
しかし実際には、オペレータークエリは、しばしばこの経路から分岐し、モデルがスコープ外の入力を認識する必要がある。
本稿では,50の産業用診断フローチャートのデータセットであるDiagFlowBenchを,スコープ外発話と対比した1,676のマルチターン会話に変換する。
10の商用モデルとオープンウェイトモデルのパネルを評価すると、保持率のばらつきが高く、モデルが事実を作るのではなく、現実的だが文脈的に不十分なステップを選択するのが一般的である。
このマップの本質的な妥当性と権威は、間違ったアドバイスは、システムを構築する上で困難な脆弱性を露呈する。
関連論文リスト
- LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。
CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
論文 参考訳（メタデータ） (2026-05-02T11:31:33Z) - A Systematic Approach for Large Language Models Debugging [9.144050771609637]
大規模言語モデル(LLM)は、オープンエンドテキスト生成から複雑なエージェントベースの推論に至るまで、現代のAIの中心となっている。
本稿では,モデルを可観測系として扱うLLMデバッグの体系的アプローチを提案する。
本手法は,評価,解釈可能性,誤り分析を統一することにより,モデルの弱点を反復的に診断することを可能にする。
論文 参考訳（メタデータ） (2026-04-24T21:30:33Z) - End-to-End Chatbot Evaluation with Adaptive Reasoning and Uncertainty Filtering [3.2434811678562685]
大規模言語モデル(LLM)と検索拡張生成を組み合わせることで、ドメイン固有のチャットボットのデプロイが可能になったが、これらのシステムはサポートされていない、あるいは誤った回答を生成する傾向にある。
本研究では,人的労力を大幅に削減するエンド・ツー・エンド自動評価器を提案する。
本システムでは,基礎となる知識ベースから直接Q&Aペアを生成し,LLMを用いて参照応答に対する応答を判定し,不確実な事例を強調するために信頼度に基づくフィルタリングを適用する。
論文 参考訳（メタデータ） (2026-03-11T09:25:35Z) - Detect, Explain, Escalate: Low-Carbon Dialogue Breakdown Management for LLM-Powered Agents [30.13634341221476]
大規模言語モデル(LLM)は、多くのアプリケーションを変えつつありますが、会話のブレークダウンへの感受性は、ユーザ信頼を損なう重要な課題です。
本稿では,低炭素運転を重視したLDMエージェントの対話分解を管理するためのフレームワーク「Detect, Explain, Escalate」を提案する。
論文 参考訳（メタデータ） (2025-04-26T07:51:05Z) - Dialogue is Better Than Monologue: Instructing Medical LLMs via Strategical Conversations [74.83732294523402]
実世界の診断シナリオをシミュレートし,USMLE標準に適合するノイズと難易度を統合する新しいベンチマークを導入する。
また、対話に基づく微調整についても検討し、静的データセットを会話形式に変換し、反復的推論プロセスをよりよく捉える。
実験の結果、対話調整されたモデルは従来の手法よりも優れており、マルチラウンド推論のシナリオでは9.64%、ノイズの多い環境では6.18%の精度で改善されている。
論文 参考訳（メタデータ） (2025-01-29T18:58:48Z) - Unsupervised Model Diagnosis [49.36194740479798]
本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。
提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
論文 参考訳（メタデータ） (2024-10-08T17:59:03Z) - Automated Fact-Checking in Dialogue: Are Specialized Models Needed? [10.124277130068329]
対話と典型的事実チェックの両方に同じモデルを使用できる技術を提案する。
これらは主に、検索適応と会話入力の変換に焦点を当てている。
これらの手法を取り入れた典型的なファクトチェックモデルは、対話用に微調整された最先端のモデルと競合することを示す。
論文 参考訳（メタデータ） (2023-11-14T14:29:00Z) - Pre-training Multi-party Dialogue Models with Latent Discourse Inference [85.9683181507206]
我々は、多人数対話の会話構造、すなわち、各発話が応答する相手を理解するモデルを事前訓練する。
ラベル付きデータを完全に活用するために,談話構造を潜在変数として扱い,それらを共同で推論し,談話認識モデルを事前学習することを提案する。
論文 参考訳（メタデータ） (2023-05-24T14:06:27Z) - GODEL: Large-Scale Pre-Training for Goal-Directed Dialog [119.1397031992088]
ダイアログのための大規模事前学習言語モデルであるGODELを紹介する。
GODELは、数ショットの微調整設定で、最先端の事前訓練ダイアログモデルより優れていることを示す。
評価手法の新たな特徴は,応答の有用性を評価するユーティリティの概念の導入である。
論文 参考訳（メタデータ） (2022-06-22T18:19:32Z) - Plug-and-Play Conversational Models [62.77150879036442]
我々はデコード時にさらなる計算を必要としないアプローチを導入し、また大きな言語モデルの微調整も必要としない。
我々は、広範囲な自動的・人的評価を通じて、複数の望ましい属性について、生成した会話応答に対する高い制御を実証する。
論文 参考訳（メタデータ） (2020-10-09T03:17:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。