論文の概要: Synthetic Clarification and Correction Dialogues about Data-Centric Tasks -- A Teacher-Student Approach
- arxiv url: http://arxiv.org/abs/2503.14167v1
- Date: Tue, 18 Mar 2025 11:37:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-19 14:16:42.168529
- Title: Synthetic Clarification and Correction Dialogues about Data-Centric Tasks -- A Teacher-Student Approach
- Title（参考訳）: データ中心課題に関する総合的明確化と訂正対話-教師と学生のアプローチ-
- Authors: Christian Poelitz, Nick McKenna,
- Abstract要約: 我々は、ユーザとAIアシスタント間の制御されたマルチターン会話を合成的に生成する新しいフレームワークを開発する。
各会話は、共同作業を通じてテーブルベースの推論問題を解決することを目的としている。
我々は,合成会話の正確性を検証するために,強力な教師LLMを採用している。
- 参考スコア（独自算出の注目度）: 0.052617184697694476
- License:
- Abstract: Real dialogues with AI assistants for solving data-centric tasks often follow dynamic, unpredictable paths due to imperfect information provided by the user or in the data, which must be caught and handled. Developing datasets which capture such user-AI interactions is difficult and time-consuming. In this work, we develop a novel framework for synthetically generating controlled, multi-turn conversations between a user and AI assistant for the task of table-based question answering, which can be generated from an existing dataset with fully specified table QA examples for any target domain. Each conversation aims to solve a table-based reasoning question through collaborative effort, modeling one of two real-world scenarios: (1) an AI-initiated clarification, or (2) a user-initiated correction. Critically, we employ a strong teacher LLM to verify the correctness of our synthetic conversations, ensuring high quality. We demonstrate synthetic datasets generated from TAT-QA and WikiTableQuestions as benchmarks of frontier LLMs. We find that even larger models struggle to effectively issuing clarification questions and accurately integrate user feedback for corrections.
- Abstract（参考訳）: データ中心のタスクを解決するためのAIアシスタントとの実際の対話は、ユーザやデータから提供される不完全な情報によって、動的で予測不可能なパスに従うことが多い。
このようなユーザとAIのインタラクションをキャプチャするデータセットの開発は難しく、時間を要する。
本研究では,テーブルベースの質問応答処理のタスクに対して,ユーザとAIアシスタント間の制御されたマルチターン会話を合成的に生成する新しいフレームワークを開発する。
各会話は,(1)AI開始の明確化,(2)ユーザ開始の修正の2つの現実シナリオの1つをモデル化し,協調作業を通じてテーブルベースの推論問題を解くことを目的としている。
批判的に、我々は強力な教師のLSMを用いて、合成会話の正しさを検証し、高品質を保証します。
我々は、フロンティアLSMのベンチマークとして、TAT-QAとWikiTableQuestionsから生成された合成データセットを実証する。
より大規模なモデルでも、明確化の質問を効果的に発行し、修正のためのユーザのフィードバックを正確に統合するのに苦労していることがわかった。
関連論文リスト
- REALTALK: A 21-Day Real-World Dataset for Long-Term Conversation [51.97224538045096]
本稿では、21日間のメッセージアプリ対話のコーパスであるREALTALKを紹介する。
EI属性とペルソナの整合性を比較し,現実世界の対話による課題を理解する。
その結果,モデルでは対話履歴のみからユーザをシミュレートすることが困難であり,特定のユーザチャットの微調整はペルソナのエミュレーションを改善することがわかった。
論文 参考訳（メタデータ） (2025-02-18T20:29:01Z) - Interactive Agents to Overcome Ambiguity in Software Engineering [61.40183840499932]
AIエージェントは、あいまいで不明確なユーザー指示に基づいて、タスクを自動化するためにますますデプロイされている。
不安定な仮定をし、明確な質問をしないことは、最適以下の結果につながる可能性がある。
対話型コード生成設定において,LLMエージェントが不明瞭な命令を処理する能力について,プロプライエタリモデルとオープンウェイトモデルを評価して検討する。
論文 参考訳（メタデータ） (2025-02-18T17:12:26Z) - TARGA: Targeted Synthetic Data Generation for Practical Reasoning over Structured Data [9.390415313514762]
TARGAは、手動のアノテーションなしで高関連性合成データを生成するフレームワークである。
これは、クローズソースモデルを使用する既存の非微調整手法よりも大幅に優れている。
非I.I.D.設定下では、優れたサンプル効率、堅牢性、一般化能力を示す。
論文 参考訳（メタデータ） (2024-12-27T09:16:39Z) - CoPrUS: Consistency Preserving Utterance Synthesis towards more realistic benchmark dialogues [0.27309692684728604]
自動パイプラインにおける合成通信エラーの生成について検討する。
実世界の対話では起こりうるが、ベンチマークデータセットでは表現できない3種類のコミュニケーションに焦点をあてる。
我々の2段階のアプローチは、最先端のLarge Language Model (LLM) を使用して、まずエラーを生成し、次に補修発話を作成します。
論文 参考訳（メタデータ） (2024-12-10T13:51:55Z) - Long-Span Question-Answering: Automatic Question Generation and QA-System Ranking via Side-by-Side Evaluation [65.16137964758612]
大規模言語モデルにおける長文文の活用について検討し,本書全体の読解データを作成する。
我々の目的は、長いテキストの詳細な理解を必要とする問題を分析し、理解し、推論するLLMの能力をテストすることである。
論文 参考訳（メタデータ） (2024-05-31T20:15:10Z) - Efficient Data Generation for Source-grounded Information-seeking Dialogs: A Use Case for Meeting Transcripts [10.829227084902428]
本稿では,Large Language Models (LLMs) を用いたソースグラウンド情報検索ダイアログにおけるデータ生成の実現可能性と有効性について検討する。
私たちはMISeD -- Meeting Information Seeking Dialogsデータセットを作ります。
MISeDの微調整は、完全な手動データによる微調整に匹敵する応答生成品質を提供すると同時に、属性品質を改善し、時間と労力を削減する。
論文 参考訳（メタデータ） (2024-05-02T09:35:06Z) - ChatGPT as your Personal Data Scientist [0.9689893038619583]
本稿では,ChatGPTを用いた対話型データサイエンスフレームワークについて紹介する。
データビジュアライゼーション、タスクの定式化、予測エンジニアリング、結果概要と勧告の4つのダイアログ状態を中心に、私たちのモデルが中心になっています。
要約して,会話データ科学の新たな概念が実現可能であることを証明するとともに,複雑なタスクを解く上でLLMが有効であることを示すエンド・ツー・エンド・エンド・システムを開発した。
論文 参考訳（メタデータ） (2023-05-23T04:00:16Z) - The StatCan Dialogue Dataset: Retrieving Data Tables through
Conversations with Genuine Intents [26.2497150683291]
StatCan Dialogueデータセットは、Statistics Canadaで働くエージェントと、公開されたデータテーブルを探しているオンラインユーザの間の19,379の会話ターンで構成されている。
本研究では,(1)現在進行中の会話に基づいて関連するテーブルを自動的に検索し,(2)各ターンで適切なエージェント応答を自動生成する2つのタスクを提案する。
論文 参考訳（メタデータ） (2023-04-03T23:18:30Z) - CGoDial: A Large-Scale Benchmark for Chinese Goal-oriented Dialog
Evaluation [75.60156479374416]
CGoDialは、Goal指向のダイアログ評価のための、新しい挑戦的で包括的な中国のベンチマークである。
96,763のダイアログセッションと574,949のダイアログがすべて含まれており、異なる知識ソースを持つ3つのデータセットをカバーする。
学術ベンチマークと音声対話のシナリオのギャップを埋めるために、実際の会話からデータを収集したり、クラウドソーシングを通じて既存のデータセットに音声機能を追加する。
論文 参考訳（メタデータ） (2022-11-21T16:21:41Z) - Learning an Effective Context-Response Matching Model with
Self-Supervised Tasks for Retrieval-based Dialogues [88.73739515457116]
我々は,次のセッション予測,発話復元,不整合検出,一貫性判定を含む4つの自己教師型タスクを導入する。
我々はPLMに基づく応答選択モデルとこれらの補助タスクをマルチタスク方式で共同で訓練する。
実験結果から,提案した補助的自己教師型タスクは,多ターン応答選択において大きな改善をもたらすことが示された。
論文 参考訳（メタデータ） (2020-09-14T08:44:46Z) - Generating Diverse and Consistent QA pairs from Contexts with
Information-Maximizing Hierarchical Conditional VAEs [62.71505254770827]
非構造化テキストを文脈として与えられたQAペアを生成するための条件付き変分オートエンコーダ(HCVAE)を提案する。
我々のモデルは、トレーニングにわずかなデータしか使わず、両方のタスクの全てのベースラインに対して印象的なパフォーマンス向上が得られる。
論文 参考訳（メタデータ） (2020-05-28T08:26:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。