論文の概要: XATU: A Fine-grained Instruction-based Benchmark for Explainable Text Updates

• arxiv url: http://arxiv.org/abs/2309.11063v1
• Date: Wed, 20 Sep 2023 04:58:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-21 17:12:46.565188
• Title: XATU: A Fine-grained Instruction-based Benchmark for Explainable Text Updates
• Title（参考訳）: XATU: 説明可能なテキスト更新のためのきめ細かいインストラクションベースのベンチマーク
• Authors: Haopeng Zhang, Hayate Iso, Sairam Gurajada, Nikita Bhutani
• Abstract要約: 本稿では,微粒な命令ベースの説明可能なテキスト編集用に設計された最初のベンチマークであるXATUを紹介する。 XATUは、語彙、構文、意味論、知識集約的な編集を取り入れ、幅広いトピックやテキストタイプをカバーしている。 既存のオープンおよびクローズドな大規模言語モデルをベンチマークに対して評価することにより、命令チューニングの有効性と、様々な編集タスクにおける基礎となるアーキテクチャの影響を実証する。
• 参考スコア（独自算出の注目度）: 8.368558087934101
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text editing is a crucial task that involves modifying text to better align with user intents. However, existing text editing benchmark datasets have limitations in providing only coarse-grained instructions. Consequently, although the edited output may seem reasonable, it often deviates from the intended changes outlined in the gold reference, resulting in low evaluation scores. To comprehensively investigate the text editing capabilities of large language models, this paper introduces XATU, the first benchmark specifically designed for fine-grained instruction-based explainable text editing. XATU covers a wide range of topics and text types, incorporating lexical, syntactic, semantic, and knowledge-intensive edits. To enhance interpretability, we leverage high-quality data sources and human annotation, resulting in a benchmark that includes fine-grained instructions and gold-standard edit explanations. By evaluating existing open and closed large language models against our benchmark, we demonstrate the effectiveness of instruction tuning and the impact of underlying architecture across various editing tasks. Furthermore, extensive experimentation reveals the significant role of explanations in fine-tuning language models for text editing tasks. The benchmark will be open-sourced to support reproduction and facilitate future research.
• Abstract（参考訳）: テキスト編集は、ユーザの意図に合うようにテキストを変更することを含む重要なタスクである。 しかし、既存のテキスト編集ベンチマークデータセットには、粗い指示のみを提供する制限がある。 したがって、編集された出力は合理的に思えるかもしれないが、しばしば金の基準で概説された意図された変更から逸脱し、評価スコアが低くなる。 本稿では,大規模言語モデルのテキスト編集能力を包括的に検討するため,微粒な命令ベースの説明可能なテキスト編集のためのベンチマークXATUを紹介する。 XATUは、語彙、構文、意味論、知識集約的な編集を取り入れ、幅広いトピックやテキストタイプをカバーしている。 解釈性を高めるために,高品質なデータソースとヒューマンアノテーションを活用し,詳細なインストラクションとゴールド標準の編集説明を含むベンチマークを行った。 既存のオープンおよびクローズドな大規模言語モデルをベンチマークに対して評価することにより、命令チューニングの有効性と、様々な編集タスクにまたがる基盤アーキテクチャの影響を実証する。 さらに、広範な実験により、テキスト編集タスクの微調整言語モデルにおける説明の重要性が明らかになった。 このベンチマークは、再生をサポートし、将来の研究を促進するためにオープンソース化される。

関連論文リスト

• InstructEdit: Instruction-based Knowledge Editing for Large Language Models [39.2147118489123]
  InstructEditと呼ばれる命令ベースの編集技術を開発し、簡単な命令を使って様々なタスクパフォーマンスへのエディタの適応を容易にする。 予期せぬタスクを含む実験は、InstructEditが以前の強いベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2024-02-25T15:46:33Z)
• WikiIns: A High-Quality Dataset for Controlled Text Editing by Natural Language Instruction [56.196512595940334]
  WikiInsは高品質な制御されたテキスト編集データセットで、情報性が向上している。 高品質なアノテートデータセットを用いて,大規模な銀のトレーニングセットを生成するための自動アプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-08T04:46:39Z)
• Beyond the Chat: Executable and Verifiable Text-Editing with LLMs [87.84199761550634]
  近年,Large Language Models (LLMs) を利用した会話インタフェースが,文書編集時にフィードバックを得る手段として人気になっている。 InkSyncは、編集中のドキュメント内で直接実行可能な編集を推奨する編集インターフェースである。
  論文  参考訳（メタデータ） (2023-09-27T00:56:17Z)
• TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
  Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。 TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。 分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
  論文  参考訳（メタデータ） (2023-06-06T03:37:41Z)
• CoEdIT: Text Editing by Task-Specific Instruction Tuning [18.824571167583432]
  CoEdIT (CoEdIT) は、テキスト編集システムである。 所望のテキストの属性を指定するユーザから命令を受け取り、編集されたテキストを出力する。 テキスト編集のためのタスク固有の命令の多種多様なコレクションに基づいて,大規模言語モデルを提案する。
  論文  参考訳（メタデータ） (2023-05-17T00:05:24Z)
• Improving Iterative Text Revision by Learning Where to Edit from Other Revision Tasks [11.495407637511878]
  反復的テキストリビジョンは文法的誤りの修正、読みやすさの向上や文脈的適切性の向上、文書全体の文構造の再編成によってテキスト品質を改善する。 近年の研究では、人間によるテキストからの反復的な修正プロセスにおいて、様々な種類の編集の理解と分類に焦点が当てられている。 我々は,編集可能なスパンを対応する編集意図で明示的に検出することにより,有用な編集を反復的に生成するエンド・ツー・エンドテキスト・リビジョン・システムの構築を目指している。
  論文  参考訳（メタデータ） (2022-12-02T18:10:43Z)
• EditEval: An Instruction-Based Benchmark for Text Improvements [73.5918084416016]
  編集機能の自動評価のためのインストラクションベース、ベンチマーク、評価スイートであるEditEvalを提示する。 InstructGPTとPEERが最良であることを示す事前学習モデルをいくつか評価するが,ほとんどのベースラインは教師付きSOTA以下である。 我々の分析は、タスクの編集によく使われるメトリクスが必ずしも相関しているとは限らないことを示し、最高の性能を持つプロンプトに対する最適化は、必ずしも異なるモデルに対して強い堅牢性を持つとは限らないことを示唆している。
  論文  参考訳（メタデータ） (2022-09-27T12:26:05Z)
• Text Revision by On-the-Fly Representation Optimization [76.11035270753757]
  現在の最先端手法は、これらのタスクをシーケンスからシーケンスまでの学習問題として定式化している。 並列データを必要としないテキストリビジョンのための反復的なインプレース編集手法を提案する。 テキストの単純化に関する最先端の教師付き手法よりも、競争力があり、パフォーマンスも向上する。
  論文  参考訳（メタデータ） (2022-04-15T07:38:08Z)
• Text Editing by Command [82.50904226312451]
  ニューラルテキスト生成における一般的なパラダイムは、単一のステップでテキストを生成するワンショット生成である。 この制限をユーザが既存のテキストを編集するコマンドを発行することでシステムと対話するインタラクティブテキスト生成設定で解決する。 このデータセットに基づいてトレーニングされたトランスフォーマーベースモデルであるInteractive Editorは,ベースラインを上回り,自動評価と人的評価の両方において肯定的な結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-10-24T08:00:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。