論文の概要: Assessing Human Editing Effort on LLM-Generated Texts via Compression-Based Edit Distance

• arxiv url: http://arxiv.org/abs/2412.17321v1
• Date: Mon, 23 Dec 2024 06:29:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 16:00:58.554968
• Title: Assessing Human Editing Effort on LLM-Generated Texts via Compression-Based Edit Distance
• Title（参考訳）: 圧縮型編集距離を用いたLLMテキストの編集作業の評価
• Authors: Nicolas Devatine, Louis Abraham,
• Abstract要約: Levenshtein、BLEU、ROUGE、TERといった既存の編集距離のメトリクスは、後編集に必要な労力を正確に測定できないことが多い。 本稿では,Lempel-Ziv-77アルゴリズムに基づく新しい圧縮ベース編集距離測定手法を提案する。
• 参考スコア（独自算出の注目度）: 2.1792283995628465
• License:
• Abstract: Assessing the extent of human edits on texts generated by Large Language Models (LLMs) is crucial to understanding the human-AI interactions and improving the quality of automated text generation systems. Existing edit distance metrics, such as Levenshtein, BLEU, ROUGE, and TER, often fail to accurately measure the effort required for post-editing, especially when edits involve substantial modifications, such as block operations. In this paper, we introduce a novel compression-based edit distance metric grounded in the Lempel-Ziv-77 algorithm, designed to quantify the amount of post-editing applied to LLM-generated texts. Our method leverages the properties of text compression to measure the informational difference between the original and edited texts. Through experiments on real-world human edits datasets, we demonstrate that our proposed metric is highly correlated with actual edit time and effort. We also show that LLMs exhibit an implicit understanding of editing speed, that aligns well with our metric. Furthermore, we compare our metric with existing ones, highlighting its advantages in capturing complex edits with linear computational efficiency. Our code and data are available at: https://github.com/NDV-tiime/CompressionDistance
• Abstract（参考訳）: 大規模言語モデル(LLM)が生成するテキストに対する人為的編集の程度を評価することは,人間とAIの相互作用を理解し,自動テキスト生成システムの品質を向上させるために重要である。 Levenshtein, BLEU, ROUGE, TERといった既存の編集距離のメトリクスは、特に編集がブロック操作のような実質的な修正を伴う場合、後編集に必要な労力を正確に測定できないことが多い。 本稿では,LLM生成テキストに適用される後編集量の定量化を目的とした,Lempel-Ziv-77アルゴリズムに基づく新しい圧縮ベース編集距離測定手法を提案する。 本手法は,テキスト圧縮の特性を利用して,原文と編集文の情報的差異を計測する。 実世界の人間がデータセットを編集する実験を通して、提案手法が実際の編集時間と労力と高い相関があることを実証した。 また、LLMは編集速度の暗黙的な理解を示しており、我々の測定値とよく一致していることを示す。 さらに、我々のメトリクスを既存のメトリクスと比較し、複雑な編集を線形計算効率で捉える利点を強調した。 私たちのコードとデータは、https://github.com/NDV-tiime/CompressionDistance.comで利用可能です。

関連論文リスト

• Edit Distances and Their Applications to Downstream Tasks in Research and Commercial Contexts [7.629053304626553]
  チュートリアルでは、研究や商業の文脈に適用される編集距離について記述している。 我々は,翻訳編集率 (TER), Levenshtein, Damerau-Levenshtein, Longest Common Subsequence and $n$-gram distances を用いて,テキスト列の比較における統計指標の脆弱さを示す。
  論文  参考訳（メタデータ） (2024-10-08T10:21:22Z)
• ParSEL: Parameterized Shape Editing with Language [17.312928067096543]
  ParSELは、自然言語から高品質な3Dアセットを制御可能な編集を可能にするシステムである。 プログラムパラメータを調整することで、ユーザーは編集の規模を正確に制御して形状のバリエーションを探索できる。
  論文  参考訳（メタデータ） (2024-05-30T17:55:46Z)
• Learning to Edit: Aligning LLMs with Knowledge Editing [101.96620267293731]
  本稿では,大規模言語モデルに新たな知識を入力問題に適用する学習 to LTE(Learning to Edit)フレームワークを提案する。 LTEには2段階のプロセスがある: (i) アライメントフェーズ(アライメントフェーズ)。 LTEの知識編集性能の優位性、バッチおよびシーケンシャルな編集の堅牢性、一般的なタスクに対する最小限の干渉、高速な編集速度を示す。
  論文  参考訳（メタデータ） (2024-02-19T07:45:17Z)
• Improving Cross-Domain Low-Resource Text Generation through LLM Post-Editing: A Programmer-Interpreter Approach [50.400999859808984]
  後編集は、大規模言語モデル(LLM)によって生成されたテキストの品質向上に有効であることが証明された。 本稿では,LLMの領域一般化能力を保持するニューラルプログラマ・解釈手法を提案する。 実験により,プログラマ・インタプリタは論理形式変換や低リソース機械翻訳において,GPT-3.5の性能を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2024-02-07T06:13:14Z)
• Object-aware Inversion and Reassembly for Image Editing [61.19822563737121]
  オブジェクトレベルのきめ細かい編集を可能にするために,オブジェクト認識型インバージョンと再アセンブリ(OIR)を提案する。 画像の編集時に各編集ペアに対して最適な反転ステップを見つけるために,検索基準を用いる。 本手法は,オブジェクトの形状,色,材料,カテゴリなどの編集において,特に多目的編集シナリオにおいて優れた性能を発揮する。
  論文  参考訳（メタデータ） (2023-10-18T17:59:02Z)
• WikiIns: A High-Quality Dataset for Controlled Text Editing by Natural Language Instruction [56.196512595940334]
  WikiInsは高品質な制御されたテキスト編集データセットで、情報性が向上している。 高品質なアノテートデータセットを用いて,大規模な銀のトレーニングセットを生成するための自動アプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-08T04:46:39Z)
• XATU: A Fine-grained Instruction-based Benchmark for Explainable Text Updates [7.660511135287692]
  本稿では,微粒な命令ベースの説明可能なテキスト編集用に設計された最初のベンチマークであるXATUを紹介する。 XATUは、語彙、構文、意味論、知識集約的な編集といった難易度の細かいテキスト編集タスクについて検討している。 各種編集タスクにおける命令チューニングの有効性と基礎となるアーキテクチャの影響を実証する。
  論文  参考訳（メタデータ） (2023-09-20T04:58:59Z)
• Reducing Sequence Length by Predicting Edit Operations with Large Language Models [50.66922361766939]
  本稿では,ローカルなシーケンス変換タスクに対して,ソーステキストの編集スパンを予測することを提案する。 編集スパンの監督データに大規模言語モデルに対する命令チューニングを適用する。 実験の結果,提案手法は4つのタスクにおいて,ベースラインに匹敵する性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2023-05-19T17:51:05Z)
• Improving Iterative Text Revision by Learning Where to Edit from Other Revision Tasks [11.495407637511878]
  反復的テキストリビジョンは文法的誤りの修正、読みやすさの向上や文脈的適切性の向上、文書全体の文構造の再編成によってテキスト品質を改善する。 近年の研究では、人間によるテキストからの反復的な修正プロセスにおいて、様々な種類の編集の理解と分類に焦点が当てられている。 我々は,編集可能なスパンを対応する編集意図で明示的に検出することにより,有用な編集を反復的に生成するエンド・ツー・エンドテキスト・リビジョン・システムの構築を目指している。
  論文  参考訳（メタデータ） (2022-12-02T18:10:43Z)
• Text Editing by Command [82.50904226312451]
  ニューラルテキスト生成における一般的なパラダイムは、単一のステップでテキストを生成するワンショット生成である。 この制限をユーザが既存のテキストを編集するコマンドを発行することでシステムと対話するインタラクティブテキスト生成設定で解決する。 このデータセットに基づいてトレーニングされたトランスフォーマーベースモデルであるInteractive Editorは,ベースラインを上回り,自動評価と人的評価の両方において肯定的な結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-10-24T08:00:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。