論文の概要: Ask an Expert: Leveraging Language Models to Improve Strategic Reasoning in Goal-Oriented Dialogue Models

• arxiv url: http://arxiv.org/abs/2305.17878v1
• Date: Mon, 29 May 2023 04:19:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-30 16:07:48.832199
• Title: Ask an Expert: Leveraging Language Models to Improve Strategic Reasoning in Goal-Oriented Dialogue Models
• Title（参考訳）: Ask an Expert: 目標指向対話モデルにおける戦略的推論を改善するために言語モデルを活用する
• Authors: Qiang Zhang, Jason Naradowsky, Yusuke Miyao
• Abstract要約: モデルに各ターンで相談可能な"エキスパート"へのアクセスをトレーニングする"エキスパートを尋ねる"フレームワークを提案する。 アドバイスは専門家との構造化された対話を通じて提供され、コンテキストと対話履歴が与えられた場合、モデルを選択的に利用(または無視)するために最適化される。 この枠組みを、専門家の会話の構造を、現場の実践者に教えられた推論戦略を反映した事前に特定されたプロンプトによって概説する精神保健支援領域において評価する。
• 参考スコア（独自算出の注目度）: 15.476899850339395
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Existing dialogue models may encounter scenarios which are not well-represented in the training data, and as a result generate responses that are unnatural, inappropriate, or unhelpful. We propose the "Ask an Expert" framework in which the model is trained with access to an "expert" which it can consult at each turn. Advice is solicited via a structured dialogue with the expert, and the model is optimized to selectively utilize (or ignore) it given the context and dialogue history. In this work the expert takes the form of an LLM. We evaluate this framework in a mental health support domain, where the structure of the expert conversation is outlined by pre-specified prompts which reflect a reasoning strategy taught to practitioners in the field. Blenderbot models utilizing "Ask an Expert" show quality improvements across all expert sizes, including those with fewer parameters than the dialogue model itself. Our best model provides a $\sim 10\%$ improvement over baselines, approaching human-level scores on "engingingness" and "helpfulness" metrics.
• Abstract（参考訳）: 既存の対話モデルは、トレーニングデータによく表現されていないシナリオに遭遇し、結果として、不自然、不適切、あるいは不健康な応答を生成する。 我々は、モデルが各ターンで相談できる「専門家」にアクセスしてトレーニングされる「専門家としてのリスク」フレームワークを提案する。 アドバイスは専門家との構造化された対話を通じて提供され、コンテキストと対話履歴が与えられた場合、モデルを選択的に利用(または無視)するために最適化される。 この作業では、専門家はLLMの形式を取ります。 この枠組みを、専門家の会話の構造を、現場の実践者に教えられた推論戦略を反映した事前に特定されたプロンプトによって概説する精神保健支援領域において評価する。 Ask an Expert"を利用するブレンダーボットモデルは、対話モデル自体よりも少ないパラメータを含む、すべての専門家サイズの品質改善を示している。 私たちの最良のモデルは、ベースラインよりも$\sim 10\%$の改善を提供し、"エンゲージメント"と"ヘルプフルネス"のメトリクスで人間レベルのスコアに近づいています。

関連論文リスト

• MoIN: Mixture of Introvert Experts to Upcycle an LLM [15.182215869841789]
  本稿では,フルモデルの事前学習を継続することなく,既存の大規模言語モデルを改善することを目的とする。 このアイデアは、事前学習データを意味のあるグループに分割し、各サブセットで専門家を訓練する。 推論中、入力されたクエリは、最初に最も関連する専門家にルーティングされ、その後、フォワードパスのためにベースモデルにロードされる。
  論文  参考訳（メタデータ） (2024-10-13T01:11:04Z)
• Debating with More Persuasive LLMs Leads to More Truthful Answers [45.0343254517401]
  議論は、非専門家モデルと人間の両方が、それぞれ76%と88%の精度で質問に答えるのを一貫して助けていることに気付きました。 以上の結果から,基礎的真理の欠如によるモデルと議論の整合性に関する実証的証拠が得られた。
  論文  参考訳（メタデータ） (2024-02-09T21:05:01Z)
• Don't Copy the Teacher: Data and Model Challenges in Embodied Dialogue [92.01165203498299]
  後続の身体的対話命令は、自然言語交換から複雑なタスクのシーケンスを完了させるエージェントを必要とする。 本稿では,模倣学習(IL)と関連する低レベルメトリクスが,実際には誤解を招くものであり,具体的対話研究の目標と一致していないことを論じる。
  論文  参考訳（メタデータ） (2022-10-10T05:51:40Z)
• GODEL: Large-Scale Pre-Training for Goal-Directed Dialog [119.1397031992088]
  ダイアログのための大規模事前学習言語モデルであるGODELを紹介する。 GODELは、数ショットの微調整設定で、最先端の事前訓練ダイアログモデルより優れていることを示す。 評価手法の新たな特徴は,応答の有用性を評価するユーティリティの概念の導入である。
  論文  参考訳（メタデータ） (2022-06-22T18:19:32Z)
• DialogZoo: Large-Scale Dialog-Oriented Task Learning [52.18193690394549]
  我々は,多種多様な対話課題を解くための統合基盤モデルの構築を目指している。 この目的を達成するために、73の公開データセットから、まず大規模なラベル付き対話データセットを収集する。
  論文  参考訳（メタデータ） (2022-05-25T11:17:16Z)
• Are Metrics Enough? Guidelines for Communicating and Visualizing Predictive Models to Subject Matter Experts [7.768301998812552]
  本稿では,コミュニケーションのギャップを理解するために,課題の専門家とデータ科学者の双方による反復的研究について述べる。 モデルの強みと弱みを伝達するための共通媒体として可視化を利用する一連のコミュニケーションガイドラインを導出する。
  論文  参考訳（メタデータ） (2022-05-11T19:40:24Z)
• Response Generation with Context-Aware Prompt Learning [19.340498579331555]
  本稿では,対話生成問題を素早い学習課題とする,事前学習型対話モデリングのための新しい手法を提案する。 限られた対話データを微調整する代わりに、我々のアプローチであるDialogPromptは、対話コンテキストに最適化された連続的なプロンプト埋め込みを学習する。 提案手法は,微調整ベースラインと汎用的なプロンプト学習法を著しく上回っている。
  論文  参考訳（メタデータ） (2021-11-04T05:40:13Z)
• Enhancing Dialogue Generation via Multi-Level Contrastive Learning [57.005432249952406]
  質問に対する応答のきめ細かい品質をモデル化するマルチレベルコントラスト学習パラダイムを提案する。 Rank-aware (RC) ネットワークはマルチレベルコントラスト最適化の目的を構築するために設計されている。 本研究では,知識推論(KI)コンポーネントを構築し,学習中の参照からキーワードの知識を抽出し,そのような情報を活用して情報的単語の生成を促す。
  論文  参考訳（メタデータ） (2020-09-19T02:41:04Z)
• Learning an Effective Context-Response Matching Model with Self-Supervised Tasks for Retrieval-based Dialogues [88.73739515457116]
  我々は,次のセッション予測,発話復元,不整合検出,一貫性判定を含む4つの自己教師型タスクを導入する。 我々はPLMに基づく応答選択モデルとこれらの補助タスクをマルチタスク方式で共同で訓練する。 実験結果から,提案した補助的自己教師型タスクは,多ターン応答選択において大きな改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-09-14T08:44:46Z)
• Ranking Enhanced Dialogue Generation [77.8321855074999]
  対話履歴を効果的に活用する方法は、マルチターン対話生成において重要な問題である。 これまでの研究は通常、歴史をモデル化するために様々なニューラルネットワークアーキテクチャを使用していた。 本稿では,ランキング拡張対話生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-08-13T01:49:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。