論文の概要: STaR-GATE: Teaching Language Models to Ask Clarifying Questions

• arxiv url: http://arxiv.org/abs/2403.19154v3
• Date: Wed, 7 Aug 2024 19:44:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-09 20:26:30.914922
• Title: STaR-GATE: Teaching Language Models to Ask Clarifying Questions
• Title（参考訳）: STaR-GATE: 言語モデルによる質問の明確化
• Authors: Chinmaya Andukuri, Jan-Philipp Fränken, Tobias Gerstenberg, Noah D. Goodman,
• Abstract要約: 有用な質問を生成するために,言語モデルの自己改善能力について検討する。 25,500のユニークなペルソナ・タスク・プロンプトの合成データセットを生成する。 より良い質問をするために言語モデルを教えることは、よりパーソナライズされた回答につながる。
• 参考スコア（独自算出の注目度）: 32.71841885198304
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When prompting language models to complete a task, users often leave important aspects unsaid. While asking questions could resolve this ambiguity (GATE; Li et al., 2023), models often struggle to ask good questions. We explore a language model's ability to self-improve (STaR; Zelikman et al., 2022) by rewarding the model for generating useful questions-a simple method we dub STaR-GATE. We generate a synthetic dataset of 25,500 unique persona-task prompts to simulate conversations between a pretrained language model-the Questioner-and a Roleplayer whose preferences are unknown to the Questioner. By asking questions, the Questioner elicits preferences from the Roleplayer. The Questioner is iteratively finetuned on questions that increase the probability of high-quality responses to the task, which are generated by an Oracle with access to the Roleplayer's latent preferences. After two iterations of self-improvement, the Questioner asks better questions, allowing it to generate responses that are preferred over responses from the initial model on 72% of tasks. Our results indicate that teaching a language model to ask better questions leads to better personalized responses.
• Abstract（参考訳）: 言語モデルにタスクを完了するよう促すと、ユーザーはしばしば重要な側面を残します。 質問は曖昧さ(GATE; Li et al , 2023)を解消する可能性があるが、モデルはしばしば良い質問をするのに苦労する。 本稿では,言語モデルの自己改善能力(STaR, Zelikman et al , 2022)について検討する。 本研究では,事前学習した言語モデル-質問者-とロールプレイヤ間の会話をシミュレートするために,25,500のユニークなペルソナタスクの合成データセットを生成する。 質問によって、質問者はロールプレイヤから好みを導き出す。 質問者は、そのタスクに対する高品質なレスポンスの確率を増加させる質問を反復的に微調整します。 2回の自己改善の後、質問者はより良い質問をし、タスクの72%で初期モデルからのレスポンスよりも好まれる回答を生成する。 以上の結果から,より良い質問をするために言語モデルを教えることで,よりパーソナライズされた回答が得られることが示唆された。

関連論文リスト

• CLARINET: Augmenting Language Models to Ask Clarification Questions for Retrieval [52.134133938779776]
  CLARINETは,回答が正しい候補の確実性を最大化する質問を選択することで,情報的明確化を問うシステムである。 提案手法は,大規模言語モデル(LLM)を検索分布の条件付きで拡張し,各ターンで真の候補のランクを最大化する問題を生成する。
  論文  参考訳（メタデータ） (2024-04-28T18:21:31Z)
• Don't Just Say "I don't know"! Self-aligning Large Language Models for Responding to Unknown Questions with Explanations [70.6395572287422]
  自己調整法は,回答を拒否するだけでなく,未知の質問の解答不能を説明できる。 我々は, LLM自体を微調整し, 未知の質問に対する応答を所望の通りに調整するために, 偏差駆動による自己計算を行い, 有資格データを選択する。
  論文  参考訳（メタデータ） (2024-02-23T02:24:36Z)
• Qsnail: A Questionnaire Dataset for Sequential Question Generation [76.616068047362]
  質問紙作成作業に特化して構築された最初のデータセットについて述べる。 我々はQsnailの実験を行い、その結果、検索モデルと従来の生成モデルが与えられた研究トピックや意図と完全に一致していないことが明らかとなった。 チェーン・オブ・シークレット・プロンプトと微調整による改善にもかかわらず、言語モデルによるアンケートは、人間の手書きのアンケートには及ばない。
  論文  参考訳（メタデータ） (2024-02-22T04:14:10Z)
• Weakly Supervised Visual Question Answer Generation [2.7605547688813172]
  視覚情報とキャプションから手続き的に質問応答対を合成的に生成する弱教師付き手法を提案する。 我々は,VQAデータセットの総合的な実験分析を行い,BLEUスコアのSOTA手法を著しく上回る結果を得た。
  論文  参考訳（メタデータ） (2023-06-11T08:46:42Z)
• Evaluating Mixed-initiative Conversational Search Systems via User Simulation [9.066817876491053]
  このような検索システムの自動評価のための対話型ユーザシミュレータUSiを提案する。 Ui が生成した応答は,その基盤となる情報要求と同等であり,人間による回答に匹敵するものであることを示す。
  論文  参考訳（メタデータ） (2022-04-17T16:27:33Z)
• Asking Questions Like Educational Experts: Automatically Generating Question-Answer Pairs on Real-World Examination Data [10.353009081072992]
  本稿では,実世界の検査データ上での質問応答対生成課題に対処し,RASに関する新たな統合フレームワークを提案する。 本稿では,質問文とキーフレーズを反復的に生成・最適化するマルチエージェント通信モデルを提案する。 実験結果から,質問応答対生成タスクにおいて,本モデルが大きなブレークスルーをもたらすことが明らかとなった。
  論文  参考訳（メタデータ） (2021-09-11T04:10:57Z)
• Generating Answer Candidates for Quizzes and Answer-Aware Question Generators [16.44011627249311]
  そこで本研究では,テキストの文通しに対して,所定の数の回答候補を生成できるモデルを提案する。 実験の結果,提案する回答候補生成モデルは,いくつかのベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2021-08-29T19:33:51Z)
• Generative Context Pair Selection for Multi-hop Question Answering [60.74354009152721]
  マルチホップ質問応答のための生成コンテキスト選択モデルを提案する。 提案した生成経路選択モデルは,対向保留集合上でのより良い性能(ベースラインより4.9%高い)を有する。
  論文  参考訳（メタデータ） (2021-04-18T07:00:48Z)
• MultiModalQA: Complex Question Answering over Text, Tables and Images [52.25399438133274]
  テキスト,テーブル,画像に対する共同推論を必要とするデータセットであるMultiModalQAを提案する。 大規模で複雑なマルチモーダル質問を生成するための新しいフレームワークを使用してMMQAを作成します。 次に、単一のモダリティから回答できる質問を受け取り、それらを組み合わせてクロスモーダルな質問を生成する形式言語を定義します。
  論文  参考訳（メタデータ） (2021-04-13T09:14:28Z)
• Inquisitive Question Generation for High Level Text Comprehension [60.21497846332531]
  InQUISITIVEは、文書を読みながら19K質問を抽出するデータセットである。 我々は,読者が情報を求めるための実践的な戦略に携わることを示す。 我々は, GPT-2に基づく質問生成モデルを評価し, 妥当な質問を生成することができることを示す。
  論文  参考訳（メタデータ） (2020-10-04T19:03:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。