論文の概要: XATU: A Fine-grained Instruction-based Benchmark for Explainable Text Updates
- arxiv url: http://arxiv.org/abs/2309.11063v2
- Date: Thu, 14 Mar 2024 22:23:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-19 04:20:31.610018
- Title: XATU: A Fine-grained Instruction-based Benchmark for Explainable Text Updates
- Title(参考訳): XATU: 説明可能なテキスト更新のためのきめ細かいインストラクションベースのベンチマーク
- Authors: Haopeng Zhang, Hayate Iso, Sairam Gurajada, Nikita Bhutani,
- Abstract要約: 本稿では,微粒な命令ベースの説明可能なテキスト編集用に設計された最初のベンチマークであるXATUを紹介する。
XATUは、語彙、構文、意味論、知識集約的な編集といった難易度の細かいテキスト編集タスクについて検討している。
各種編集タスクにおける命令チューニングの有効性と基礎となるアーキテクチャの影響を実証する。
- 参考スコア(独自算出の注目度): 7.660511135287692
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text editing is a crucial task of modifying text to better align with user intents. However, existing text editing benchmark datasets contain only coarse-grained instructions and lack explainability, thus resulting in outputs that deviate from the intended changes outlined in the gold reference. To comprehensively investigate the text editing capabilities of large language models (LLMs), this paper introduces XATU, the first benchmark specifically designed for fine-grained instruction-based explainable text editing. XATU considers finer-grained text editing tasks of varying difficulty (simplification, grammar check, fact-check, etc.), incorporating lexical, syntactic, semantic, and knowledge-intensive edit aspects. To enhance interpretability, we combine LLM-based annotation and human annotation, resulting in a benchmark that includes fine-grained instructions and gold-standard edit explanations. By evaluating existing LLMs against our benchmark, we demonstrate the effectiveness of instruction tuning and the impact of underlying architecture across various editing tasks. Furthermore, extensive experimentation reveals the significant role of explanations in fine-tuning language models for text editing tasks. The benchmark will be open-sourced to support reproduction and facilitate future research at~\url{https://github.com/megagonlabs/xatu}.
- Abstract(参考訳): テキスト編集は、ユーザの意図に合わせてテキストを修正するための重要なタスクである。
しかし、既存のテキスト編集ベンチマークデータセットには、粗い指示のみが含まれており、説明性の欠如があるため、ゴールド基準に概説された意図された変更から逸脱するアウトプットが発生する。
本稿では,大規模言語モデル (LLM) のテキスト編集機能について包括的に検討するため,微粒な命令ベースの説明可能なテキスト編集に特化して設計された最初のベンチマークであるXATUを紹介する。
XATUは、よりきめ細かいテキスト編集タスク(単純化、文法チェック、事実チェックなど)について、語彙、構文、意味、知識集約的な編集の側面を取り入れている。
解釈可能性を高めるために,LLMベースのアノテーションと人間のアノテーションを組み合わせることで,詳細な説明とゴールドスタンダードの編集説明を含むベンチマークを行う。
既存のLCMをベンチマークに対して評価することにより、各種編集タスクにおける命令チューニングの有効性と基礎となるアーキテクチャの影響を実証する。
さらに、広範な実験により、テキスト編集タスクの微調整言語モデルにおける説明の役割が明らかにされた。
このベンチマークは、複製をサポートし、~\url{https://github.com/megagonlabs/xatu}で将来の研究を促進するためにオープンソース化される。
関連論文リスト
- InstructEdit: Instruction-based Knowledge Editing for Large Language Models [39.2147118489123]
InstructEditと呼ばれる命令ベースの編集技術を開発し、簡単な命令を使って様々なタスクパフォーマンスへのエディタの適応を容易にする。
予期せぬタスクを含む実験は、InstructEditが以前の強いベースラインを一貫して上回っていることを示している。
論文 参考訳(メタデータ) (2024-02-25T15:46:33Z) - WikiIns: A High-Quality Dataset for Controlled Text Editing by Natural
Language Instruction [56.196512595940334]
WikiInsは高品質な制御されたテキスト編集データセットで、情報性が向上している。
高品質なアノテートデータセットを用いて,大規模な銀のトレーニングセットを生成するための自動アプローチを提案する。
論文 参考訳(メタデータ) (2023-10-08T04:46:39Z) - Beyond the Chat: Executable and Verifiable Text-Editing with LLMs [87.84199761550634]
近年,Large Language Models (LLMs) を利用した会話インタフェースが,文書編集時にフィードバックを得る手段として人気になっている。
InkSyncは、編集中のドキュメント内で直接実行可能な編集を推奨する編集インターフェースである。
論文 参考訳(メタデータ) (2023-09-27T00:56:17Z) - TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。
TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。
分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
論文 参考訳(メタデータ) (2023-06-06T03:37:41Z) - CoEdIT: Text Editing by Task-Specific Instruction Tuning [18.824571167583432]
CoEdIT (CoEdIT) は、テキスト編集システムである。
所望のテキストの属性を指定するユーザから命令を受け取り、編集されたテキストを出力する。
テキスト編集のためのタスク固有の命令の多種多様なコレクションに基づいて,大規模言語モデルを提案する。
論文 参考訳(メタデータ) (2023-05-17T00:05:24Z) - Improving Iterative Text Revision by Learning Where to Edit from Other
Revision Tasks [11.495407637511878]
反復的テキストリビジョンは文法的誤りの修正、読みやすさの向上や文脈的適切性の向上、文書全体の文構造の再編成によってテキスト品質を改善する。
近年の研究では、人間によるテキストからの反復的な修正プロセスにおいて、様々な種類の編集の理解と分類に焦点が当てられている。
我々は,編集可能なスパンを対応する編集意図で明示的に検出することにより,有用な編集を反復的に生成するエンド・ツー・エンドテキスト・リビジョン・システムの構築を目指している。
論文 参考訳(メタデータ) (2022-12-02T18:10:43Z) - EditEval: An Instruction-Based Benchmark for Text Improvements [73.5918084416016]
編集機能の自動評価のためのインストラクションベース、ベンチマーク、評価スイートであるEditEvalを提示する。
InstructGPTとPEERが最良であることを示す事前学習モデルをいくつか評価するが,ほとんどのベースラインは教師付きSOTA以下である。
我々の分析は、タスクの編集によく使われるメトリクスが必ずしも相関しているとは限らないことを示し、最高の性能を持つプロンプトに対する最適化は、必ずしも異なるモデルに対して強い堅牢性を持つとは限らないことを示唆している。
論文 参考訳(メタデータ) (2022-09-27T12:26:05Z) - Text Revision by On-the-Fly Representation Optimization [76.11035270753757]
現在の最先端手法は、これらのタスクをシーケンスからシーケンスまでの学習問題として定式化している。
並列データを必要としないテキストリビジョンのための反復的なインプレース編集手法を提案する。
テキストの単純化に関する最先端の教師付き手法よりも、競争力があり、パフォーマンスも向上する。
論文 参考訳(メタデータ) (2022-04-15T07:38:08Z) - Text Editing by Command [82.50904226312451]
ニューラルテキスト生成における一般的なパラダイムは、単一のステップでテキストを生成するワンショット生成である。
この制限をユーザが既存のテキストを編集するコマンドを発行することでシステムと対話するインタラクティブテキスト生成設定で解決する。
このデータセットに基づいてトレーニングされたトランスフォーマーベースモデルであるInteractive Editorは,ベースラインを上回り,自動評価と人的評価の両方において肯定的な結果が得られることを示す。
論文 参考訳(メタデータ) (2020-10-24T08:00:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。