論文の概要: Interscript: A dataset for interactive learning of scripts through error feedback

• arxiv url: http://arxiv.org/abs/2112.07867v2
• Date: Thu, 16 Dec 2021 03:31:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-17 12:20:34.983600
• Title: Interscript: A dataset for interactive learning of scripts through error feedback
• Title（参考訳）: Interscript: エラーフィードバックによるスクリプトのインタラクティブ学習のためのデータセット
• Authors: Niket Tandon, Aman Madaan, Peter Clark, Keisuke Sakaguchi, Yiming Yang
• Abstract要約: デプロイされたモデルに対するユーザからのフィードバックを含む新しいデータセットであるInterscriptを提示する。 入力はおそらく誤ったスクリプトであり、ユーザのフィードバックであり、出力は修正されたスクリプトである。
• 参考スコア（独自算出の注目度）: 41.80443050716796
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How can an end-user provide feedback if a deployed structured prediction model generates inconsistent output, ignoring the structural complexity of human language? This is an emerging topic with recent progress in synthetic or constrained settings, and the next big leap would require testing and tuning models in real-world settings. We present a new dataset, Interscript, containing user feedback on a deployed model that generates complex everyday tasks. Interscript contains 8,466 data points -- the input is a possibly erroneous script and a user feedback, and the output is a modified script. We posit two use-cases of \ours that might significantly advance the state-of-the-art in interactive learning. The dataset is available at: https://github.com/allenai/interscript.
• Abstract（参考訳）: エンドユーザは、人間の言語の構造的複雑さを無視して、デプロイされた構造化予測モデルが一貫性のない出力を生成する場合、どのようにフィードバックを提供できるか? これは、最近、合成または制約された設定が進歩し、新しいトピックであり、次の大きな飛躍は、実世界の設定におけるモデルのテストとチューニングである。 我々は、複雑な日常的なタスクを生成するデプロイモデルのユーザフィードバックを含む新しいデータセット、Interscriptを提案する。 Interscriptには8,466のデータポイント -- 入力はおそらく誤ったスクリプトであり、ユーザのフィードバックであり、出力は修正されたスクリプトである。 対話型学習の最先端を飛躍的に前進させる2つのユースケースを仮定する。 データセットは、https://github.com/allenai/interscript.com/で入手できる。

関連論文リスト

• Learning From Free-Text Human Feedback -- Collect New Datasets Or Extend Existing Ones? [57.16050211534735]
  一般的な対話データセットにおける自由文フィードバックのタイプと頻度について検討する。 この結果から, エラータイプ, ユーザ応答タイプ, それらの関係性など, 調査したデータセットの構成に関する新たな知見が得られた。
  論文  参考訳（メタデータ） (2023-10-24T12:01:11Z)
• Evaluating Factual Consistency of Texts with Semantic Role Labeling [3.1776833268555134]
  本稿では,テキスト要約を念頭に設計した参照不要評価指標SRLScoreを紹介する。 最終事実度スコアは、調整可能なスコアリング機構により算出される。 英語の要約データセットにおける人間の判断との相関は、SRLScoreが最先端の手法と競合していることを示している。
  論文  参考訳（メタデータ） (2023-05-22T17:59:42Z)
• Learning to Simulate Natural Language Feedback for Interactive Semantic Parsing [30.609805601567178]
  対話型意味解析のためのNLフィードバックをシミュレーションするタスクを提案する。 私たちはそのタスクに新しいフィードバック評価器を伴います。 我々のフィードバックシミュレータは、コストがかかる人間のアノテーションの完全なセットを用いてトレーニングされたように、同等のエラー修正性能を達成するのに役立ちます。
  論文  参考訳（メタデータ） (2023-05-14T16:20:09Z)
• proScript: Partially Ordered Scripts Generation via Pre-trained Language Models [49.03193243699244]
  我々は、トレーニング済みのニューラルネットワークモデル(LM)が高品質なスクリプトを生成するために微調整できることを初めて実証した。 クラウドソースされた部分的に順序付けられたスクリプト(proScriptという名前)を収集しました。 私たちの実験では、これまでのスクリプトコレクションの障壁を克服するための新しいアプローチを示す(例えば、タスク(i)中のf1=75.7)。
  論文  参考訳（メタデータ） (2021-04-16T17:35:10Z)
• Syntax-Enhanced Pre-trained Model [49.1659635460369]
  BERTやRoBERTaなどの学習済みモデルを強化するために、テキストの構文構造を活用するという問題を研究する。 既存の手法では、事前学習段階または微調整段階のいずれかでテキストの構文を利用しており、両者の区別に苦しむ。 事前学習と微調整の両方の段階でテキストのシンタックスを利用するモデルを提示する。
  論文  参考訳（メタデータ） (2020-12-28T06:48:04Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)
• ORB: An Open Reading Benchmark for Comprehensive Evaluation of Machine Reading Comprehension [53.037401638264235]
  我々は,7種類の読解データセットの性能を報告する評価サーバORBを提案する。 評価サーバは、モデルのトレーニング方法に制限を課さないため、トレーニングパラダイムや表現学習の探索に適したテストベッドである。
  論文  参考訳（メタデータ） (2019-12-29T07:27:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。