論文の概要: Learning to Simulate Natural Language Feedback for Interactive Semantic Parsing

• arxiv url: http://arxiv.org/abs/2305.08195v2
• Date: Sun, 4 Jun 2023 21:05:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 01:18:24.072132
• Title: Learning to Simulate Natural Language Feedback for Interactive Semantic Parsing
• Title（参考訳）: 対話型意味解析のための自然言語フィードバックのシミュレーション
• Authors: Hao Yan, Saurabh Srivastava, Yintao Tai, Sida I. Wang, Wen-tau Yih, Ziyu Yao
• Abstract要約: 対話型意味解析のためのNLフィードバックをシミュレーションするタスクを提案する。 私たちはそのタスクに新しいフィードバック評価器を伴います。 我々のフィードバックシミュレータは、コストがかかる人間のアノテーションの完全なセットを用いてトレーニングされたように、同等のエラー修正性能を達成するのに役立ちます。
• 参考スコア（独自算出の注目度）: 30.609805601567178
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Interactive semantic parsing based on natural language (NL) feedback, where users provide feedback to correct the parser mistakes, has emerged as a more practical scenario than the traditional one-shot semantic parsing. However, prior work has heavily relied on human-annotated feedback data to train the interactive semantic parser, which is prohibitively expensive and not scalable. In this work, we propose a new task of simulating NL feedback for interactive semantic parsing. We accompany the task with a novel feedback evaluator. The evaluator is specifically designed to assess the quality of the simulated feedback, based on which we decide the best feedback simulator from our proposed variants. On a text-to-SQL dataset, we show that our feedback simulator can generate high-quality NL feedback to boost the error correction ability of a specific parser. In low-data settings, our feedback simulator can help achieve comparable error correction performance as trained using the costly, full set of human annotations.
• Abstract（参考訳）: 自然言語(nl)フィードバックに基づく対話的意味解析は、ユーザーがパーサーの間違いを修正するためのフィードバックを提供するもので、従来のワンショット意味解析よりも実用的なシナリオとして登場している。 しかし、従来の作業は、対話型セマンティックパーサをトレーニングするために、人間に注釈付けされたフィードバックデータに大きく依存している。 本研究では,対話型意味解析のためのNLフィードバックをシミュレーションするタスクを提案する。 私たちはそのタスクに新しいフィードバック評価器を伴います。 evaluatorはシミュレーションされたフィードバックの品質を評価するために特別に設計されており、提案手法から最適なフィードバックシミュレータを決定する。 テキストからSQLへのデータセットでは、フィードバックシミュレータが高品質なNLフィードバックを生成し、特定のパーサの誤り訂正能力を向上できることを示す。 低データ設定で、私たちのフィードバックシミュレータは、コストがかかるフルヒューマンアノテーションを使用してトレーニングされたエラー修正のパフォーマンスを同等に達成できます。

関連論文リスト

• Beyond Thumbs Up/Down: Untangling Challenges of Fine-Grained Feedback for Text-to-Image Generation [67.88747330066049]
  きめ細かいフィードバックは、画像の品質と迅速な調整におけるニュアンスドの区別を捉えます。 粗いフィードバックに対する優位性を示すことは、自動ではないことを示す。 きめ細かいフィードバックを抽出し活用する上で重要な課題を特定します。
  論文  参考訳（メタデータ） (2024-06-24T17:19:34Z)
• RLVF: Learning from Verbal Feedback without Overgeneralization [94.19501420241188]
  本稿では,このような過度な一般化を伴わずに,言語フィードバックを取り入れることの課題について検討する。 制約付き選好最適化(C3PO)を用いた新しい文脈的批評手法を開発した。 提案手法は,他の文脈に対する既存行動を維持しながら,関連するシナリオに対して効果的な言語フィードバックを適用する。
  論文  参考訳（メタデータ） (2024-02-16T18:50:24Z)
• Constructive Large Language Models Alignment with Diverse Feedback [76.9578950893839]
  本稿では,大規模言語モデルのアライメント向上のための新しい手法として,コンストラクティブ・ディバース・フィードバック(CDF)を導入する。 我々は,簡単な問題に対する批判的フィードバック,中級問題に対する改善的フィードバック,難題に対する選好的フィードバックを利用する。 このような多様なフィードバックでモデルをトレーニングすることで、トレーニングデータの少ない使用でアライメント性能を向上させることができる。
  論文  参考訳（メタデータ） (2023-10-10T09:20:14Z)
• UltraFeedback: Boosting Language Models with Scaled AI Feedback [99.4633351133207]
  大規模で高品質で多様なAIフィードバックデータセットである textscUltraFeedback を提示する。 我々の研究は、強力なオープンソースのチャット言語モデルを構築する上で、スケールしたAIフィードバックデータの有効性を検証する。
  論文  参考訳（メタデータ） (2023-10-02T17:40:01Z)
• System-Level Natural Language Feedback [83.24259100437965]
  システムレベルの設計決定を人為的なループプロセスで形式化する上で,フィードバックの活用方法を示す。 検索クエリと対話応答生成を改善するために,本手法のケーススタディを2つ実施する。 システムレベルのフィードバックとインスタンスレベルのフィードバックの組み合わせは、さらなる利益をもたらします。
  論文  参考訳（メタデータ） (2023-06-23T16:21:40Z)
• Training Language Models with Language Feedback at Scale [50.70091340506957]
  我々は、より情報的な言語フィードバックを利用する新しいアプローチであるLanguage Feedback (ILF)から学習を導入する。 ILFは3つのステップから成り、まず言語モデルを入力に条件付けし、最初のLM出力を出力し、改善を生成する。 理論的には、ILFは人間からのフィードバックによる強化学習と同様、ベイズ推論とみなすことができる。
  論文  参考訳（メタデータ） (2023-03-28T17:04:15Z)
• NL-EDIT: Correcting semantic parse errors through natural language interaction [28.333860779302306]
  インタラクションコンテキストにおける自然言語フィードバックの解釈モデルであるNL-EDITを提案する。 NL-EDITは1回補正するだけで、既存のテキスト対アリーの精度を最大20%向上できることを示す。
  論文  参考訳（メタデータ） (2021-03-26T15:45:46Z)
• Speak to your Parser: Interactive Text-to-SQL with Natural Language Feedback [39.45695779589969]
  本研究では,自然言語フィードバックを用いた意味的パース補正の課題について検討する。 本稿では,人間がさらにシステムと対話できる,よりインタラクティブなシナリオについて検討する。
  論文  参考訳（メタデータ） (2020-05-05T23:58:09Z)
• An Imitation Game for Learning Semantic Parsers from User Interaction [43.66945504686796]
  ユーザから直接セマンティックアノテーションを学習するための代替手段として,Human-in-the-loop法を提案する。 セマンティクスはイントロスペクティブで、不確実な場合にはユーザデモをプロンプトする必要がある。 そうすることで、ユーザの振る舞いを模倣し、自らを自律的に改善し続けます。
  論文  参考訳（メタデータ） (2020-05-02T03:30:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。