論文の概要: Self-seeding and Multi-intent Self-instructing LLMs for Generating
Intent-aware Information-Seeking dialogs
- arxiv url: http://arxiv.org/abs/2402.11633v1
- Date: Sun, 18 Feb 2024 16:20:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 19:55:00.597656
- Title: Self-seeding and Multi-intent Self-instructing LLMs for Generating
Intent-aware Information-Seeking dialogs
- Title（参考訳）: インテント認識情報参照ダイアログ生成のためのセルフシーディングおよびマルチインテント自己指示llm
- Authors: Arian Askari, Roxana Petcu, Chuan Meng, Mohammad Aliannejadi, Amin
Abolghasemi, Evangelos Kanoulas, Suzan Verberne
- Abstract要約: 大規模言語モデル (LLM) は合成データの生成に有効であることが示されている。
本稿では,新しい自己探索型多目的自己指導方式であるSOLIDを提案する。
我々は、SOLIDとSOLID-RLを使用して300万以上の意図認識ダイアログを生成し、既存のデータセットのサイズを超える。
- 参考スコア（独自算出の注目度）: 18.102066943918473
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Identifying user intents in information-seeking dialogs is crucial for a
system to meet user's information needs. Intent prediction (IP) is challenging
and demands sufficient dialogs with human-labeled intents for training.
However, manually annotating intents is resource-intensive. While large
language models (LLMs) have been shown to be effective in generating synthetic
data, there is no study on using LLMs to generate intent-aware
information-seeking dialogs. In this paper, we focus on leveraging LLMs for
zero-shot generation of large-scale, open-domain, and intent-aware
information-seeking dialogs. We propose SOLID, which has novel self-seeding and
multi-intent self-instructing schemes. The former improves the generation
quality by using the LLM's own knowledge scope to initiate dialog generation;
the latter prompts the LLM to generate utterances sequentially, and mitigates
the need for manual prompt design by asking the LLM to autonomously adapt its
prompt instruction when generating complex multi-intent utterances.
Furthermore, we propose SOLID-RL, which is further trained to generate a dialog
in one step on the data generated by SOLID. We propose a length-based quality
estimation mechanism to assign varying weights to SOLID-generated dialogs based
on their quality during the training process of SOLID-RL. We use SOLID and
SOLID-RL to generate more than 300k intent-aware dialogs, surpassing the size
of existing datasets. Experiments show that IP methods trained on dialogs
generated by SOLID and SOLID-RL achieve better IP quality than ones trained on
human-generated dialogs.
- Abstract（参考訳）: 情報検索ダイアログにおけるユーザ意図の特定は,ユーザの情報ニーズを満たすシステムにとって極めて重要である。
意図予測(ip)は困難であり、トレーニングのための人間ラベルの意図と十分な対話を要求する。
しかし、手動でアノテートするインテントはリソース集約である。
大規模言語モデル(llm)は合成データの生成に有効であることが示されているが、意図認識情報参照ダイアログを生成するためにllmを使用する研究はない。
本稿では,大規模・オープンドメイン・インテント対応情報検索ダイアログのゼロショット生成にLLMを活用することに焦点を当てる。
本稿では,新しいセルフシーディングとマルチインテント・セルフインストラクションスキームを持つsolidを提案する。
前者は、LLM自身の知識スコープを用いてダイアログ生成を開始し、後者は、LLMに順次発声を発生させるよう促し、複雑な多言語発声を発生させる際に、LLMにそのプロンプト命令を自律的に適応させることで、手動のプロンプト設計の必要性を緩和する。
さらに,solidが生成するデータに対して1ステップでダイアログを生成するように訓練したsolid-rlを提案する。
そこで本研究では,SOLID-RLの学習過程において,SOLID生成ダイアログに様々な重みを割り当てる長さに基づく品質推定機構を提案する。
我々は、SOLIDとSOLID-RLを使用して300万以上の意図認識ダイアログを生成し、既存のデータセットのサイズを超える。
実験により、SOLIDとSOLID-RLによって生成されたダイアログに基づいて訓練されたIPメソッドは、人為的なダイアログよりも優れたIP品質を実現することが示された。
関連論文リスト
- Hello Again! LLM-powered Personalized Agent for Long-term Dialogue [63.65128176360345]
モデルに依存しない長期対話エージェント(LD-Agent)を導入する。
イベント認識、ペルソナ抽出、応答生成のための3つの独立した調整可能なモジュールが組み込まれている。
LD-Agentの有効性, 汎用性, クロスドメイン性について実験的に検証した。
論文 参考訳（メタデータ） (2024-06-09T21:58:32Z) - Bootstrapping LLM-based Task-Oriented Dialogue Agents via Self-Talk [11.706292228586332]
大規模言語モデル(LLM)は強力な対話エージェントであるが、特定の機能の実現に特化することは困難である。
本稿では,様々な役割における会話に係わるLLMを通して,より効果的なデータ収集手法を提案する。
このアプローチはLLMの“セルフトーク”を通じてトレーニングデータを生成し,教師付き微調整に利用することができる。
論文 参考訳（メタデータ） (2024-01-10T09:49:10Z) - DialCLIP: Empowering CLIP as Multi-Modal Dialog Retriever [83.33209603041013]
マルチモーダルダイアログ検索のためのパラメータ効率の高いプロンプトチューニング手法であるDialCLIPを提案する。
提案手法では,事前学習された視覚言語モデルCLIP内のプロンプトに抽出された文脈特徴を学習するためのマルチモーダルコンテキスト生成手法を提案する。
様々なタイプの検索を容易にするために,CLIP出力からマルチモーダル表現空間へのマッピングを学習するために,複数の専門家を設計する。
論文 参考訳（メタデータ） (2024-01-02T07:40:12Z) - LMRL Gym: Benchmarks for Multi-Turn Reinforcement Learning with Language
Models [56.25156596019168]
本稿では,LMRL-Gymベンチマークを用いて,大規模言語モデル(LLM)のマルチターンRLの評価を行う。
我々のベンチマークは8つの異なる言語タスクで構成されており、複数ラウンドの言語相互作用が必要であり、オープンエンド対話やテキストゲームにおける様々なタスクをカバーする。
論文 参考訳（メタデータ） (2023-11-30T03:59:31Z) - Zero-Shot Goal-Directed Dialogue via RL on Imagined Conversations [70.7884839812069]
大規模言語モデル(LLM)は、多くの自然言語タスクに対する強力で一般的な解決策として登場した。
しかしながら、言語生成の最も重要なアプリケーションの多くは対話的であり、エージェントは望ましい結果に達するために相手と話し合わなければならない。
本研究では,そのような目標指向対話に対して,RLでLLMを適応させる新しい手法について検討する。
論文 参考訳（メタデータ） (2023-11-09T18:45:16Z) - Frugal Prompting for Dialog Models [17.048111072193933]
本研究では,大規模言語モデル(LLM)を用いた対話システム構築のための異なるアプローチについて検討する。
即時チューニングの一環として、インストラクション、例題、現在のクエリ、追加のコンテキストを提供する様々な方法を試行する。
この研究は、最適な使用情報密度を持つダイアログ履歴の表現も分析する。
論文 参考訳（メタデータ） (2023-05-24T09:06:49Z) - GLM-Dialog: Noise-tolerant Pre-training for Knowledge-grounded Dialogue
Generation [21.91914619107555]
GLM-Dialogは、中国語で知識に基づく会話ができる10Bパラメータを持つ大規模言語モデル(LLM)である。
我々は,オープンソースモデルと信頼性のある対話評価システムの開発を促進するために,評価プラットフォームをオンラインで提供します。
論文 参考訳（メタデータ） (2023-02-28T08:35:28Z) - Check Your Facts and Try Again: Improving Large Language Models with
External Knowledge and Automated Feedback [127.75419038610455]
大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。
本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
論文 参考訳（メタデータ） (2023-02-24T18:48:43Z) - A Mixture-of-Expert Approach to RL-based Dialogue Management [56.08449336469477]
我々は、強化学習を用いて、近視性(一般的な発話の出力)を回避し、全体的なユーザ満足度を最大化する対話エージェントを開発する。
既存のRLアプローチのほとんどは、単語レベルでエージェントを訓練するので、中規模の語彙であっても、非常に複雑なアクション空間を扱う必要がある。
i)会話履歴の多様な意味を学習できるLMと、(ii)対応する発話を生成できる専門的なLM(または専門家)からなる、新しい専門家言語モデル(MoE-LM)を用いたRLベースのDMを開発する。
論文 参考訳（メタデータ） (2022-05-31T19:00:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。