論文の概要: Into the Unknown Unknowns: Engaged Human Learning through Participation in Language Model Agent Conversations
- arxiv url: http://arxiv.org/abs/2408.15232v2
- Date: Thu, 17 Oct 2024 20:43:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-21 14:23:03.260288
- Title: Into the Unknown Unknowns: Engaged Human Learning through Participation in Language Model Agent Conversations
- Title(参考訳): 未知の未知へ:言語モデルエージェント会話への参加を通してのヒューマンラーニング
- Authors: Yucheng Jiang, Yijia Shao, Dekun Ma, Sina J. Semnani, Monica S. Lam,
- Abstract要約: 協調的なSTORMは、複数のLMエージェント間の会話を観察し、管理することを可能にする。
エージェントはユーザの代理として質問を行い、未知の未知をセレンディピティーに発見する。
自動評価のために,実際の情報検索記録をユーザ目標として収集し,WildSeekデータセットを構築する。
- 参考スコア(独自算出の注目度): 8.848859080368799
- License:
- Abstract: While language model (LM)-powered chatbots and generative search engines excel at answering concrete queries, discovering information in the terrain of unknown unknowns remains challenging for users. To emulate the common educational scenario where children/students learn by listening to and participating in conversations of their parents/teachers, we create Collaborative STORM (Co-STORM). Unlike QA systems that require users to ask all the questions, Co-STORM lets users observe and occasionally steer the discourse among several LM agents. The agents ask questions on the user's behalf, allowing the user to discover unknown unknowns serendipitously. To facilitate user interaction, Co-STORM assists users in tracking the discourse by organizing the uncovered information into a dynamic mind map, ultimately generating a comprehensive report as takeaways. For automatic evaluation, we construct the WildSeek dataset by collecting real information-seeking records with user goals. Co-STORM outperforms baseline methods on both discourse trace and report quality. In a further human evaluation, 70% of participants prefer Co-STORM over a search engine, and 78% favor it over a RAG chatbot.
- Abstract(参考訳): 言語モデル(LM)を利用したチャットボットと生成検索エンジンは具体的な質問に答えるのに優れているが、未知の地形の情報を見つけることはユーザにとって依然として困難である。
子どもや生徒が親や教師の会話に耳を傾け,参加することで学習する一般的な教育シナリオをエミュレートするために,協調的STORM(Co-STORM)を作成する。
ユーザがすべての質問をしなければならないQAシステムとは異なり、Co-STORMでは、複数のLMエージェント間の会話を観察し、時には操縦することができる。
エージェントはユーザの代理として質問を行い、未知の未知をセレンディピティーに発見する。
Co-STORMは、ユーザとの対話を容易にするために、発見された情報をダイナミックマインドマップに整理することで、ユーザによる会話の追跡を支援し、最終的には、テイクアウトとして包括的なレポートを生成する。
自動評価のために,実際の情報検索記録をユーザ目標として収集し,WildSeekデータセットを構築する。
Co-STORMは、談話トレースとレポート品質の両方でベースラインメソッドより優れています。
さらに人間による評価では、70%の参加者が検索エンジンよりもCo-STORMを好み、78%がRAGチャットボットよりもCo-STORMを好んでいる。
関連論文リスト
- Knowledge-Augmented Large Language Models for Personalized Contextual
Query Suggestion [16.563311988191636]
我々は,Web上での検索と閲覧活動に基づいて,各ユーザを対象としたエンティティ中心の知識ストアを構築した。
この知識ストアは、公的な知識グラフ上の興味と知識のユーザ固有の集約予測のみを生成するため、軽量である。
論文 参考訳(メタデータ) (2023-11-10T01:18:47Z) - AutoConv: Automatically Generating Information-seeking Conversations
with Large Language Models [74.10293412011455]
合成会話生成のためのAutoConvを提案する。
具体的には,会話生成問題を言語モデリングタスクとして定式化する。
我々は、情報探索プロセスの特徴を捉えるために、人間同士の会話でLLMを微調整する。
論文 参考訳(メタデータ) (2023-08-12T08:52:40Z) - Search-Engine-augmented Dialogue Response Generation with Cheaply
Supervised Query Production [98.98161995555485]
応答生成のために,任意の検索エンジンから膨大な動的情報にアクセス可能な対話モデルを提案する。
コアモジュールとして、クエリプロデューサを使用して、対話コンテキストからクエリを生成して、検索エンジンと対話する。
R@1とR@5のレートを62.4%と74.8%で達成できることを示す実験を行った。
論文 参考訳(メタデータ) (2023-02-16T01:58:10Z) - INSCIT: Information-Seeking Conversations with Mixed-Initiative
Interactions [47.90088587508672]
InSCItは、混合開始型インタラクションによる情報探索会話のためのデータセットである。
ユーザーエージェントは805対人会話から4.7Kである。
対話型知識認識とオープンドメイン質問応答の最先端モデルに基づく2つのシステムの結果を報告する。
論文 参考訳(メタデータ) (2022-07-02T06:18:12Z) - KETOD: Knowledge-Enriched Task-Oriented Dialogue [77.59814785157877]
対話システム研究における既存の研究は、主にタスク指向の対話とチャットを独立したドメインとして扱う。
本研究では,タスク指向対話と知識ベースチップチャットを一つのモデルに効果的に統合する方法について検討する。
論文 参考訳(メタデータ) (2022-05-11T16:01:03Z) - Evaluating Mixed-initiative Conversational Search Systems via User
Simulation [9.066817876491053]
このような検索システムの自動評価のための対話型ユーザシミュレータUSiを提案する。
Ui が生成した応答は,その基盤となる情報要求と同等であり,人間による回答に匹敵するものであることを示す。
論文 参考訳(メタデータ) (2022-04-17T16:27:33Z) - Training Conversational Agents with Generative Conversational Networks [74.9941330874663]
我々は、生成会話ネットワークを使用して、自動的にデータを生成し、社会的会話エージェントを訓練する。
自動メトリクスと人的評価器を用いてTopicalChatのアプローチを評価し、10%のシードデータで100%のデータを使用するベースラインに近いパフォーマンスを示す。
論文 参考訳(メタデータ) (2021-10-15T21:46:39Z) - Information Seeking in the Spirit of Learning: a Dataset for
Conversational Curiosity [10.409312809724458]
我々は、ユーザが知っていることに関連する事実を提示されると、エンゲージメントが増加するという仮説をテストするウィザード・オブ・オズ・ダイアログタスクを設計する。
ユーザとアシスタントが地理的話題について会話する14Kダイアログ(181K発声)を収集・リリースする。
このデータセットには、既存のユーザ知識、メッセージレベルのダイアログアクション、ウィキペディアへの接地、メッセージに対するユーザ反応が注釈付けされている。
論文 参考訳(メタデータ) (2020-05-01T01:55:09Z) - Conversations with Search Engines: SERP-based Conversational Response
Generation [77.1381159789032]
我々は、検索エンジンと対話するためのパイプラインを開発するために、適切なデータセット、検索・アズ・ア・会話(SaaC)データセットを作成します。
また、このデータセットを用いて、検索エンジンと対話するための最先端パイプライン(Conversations with Search Engines (CaSE))も開発しています。
CaSEは、サポートされたトークン識別モジュールとプリア・アウェア・ポインタージェネレータを導入することで最先端を向上する。
論文 参考訳(メタデータ) (2020-04-29T13:07:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。