論文の概要: New Evaluation Paradigm for Lexical Simplification

• arxiv url: http://arxiv.org/abs/2501.15268v1
• Date: Sat, 25 Jan 2025 16:31:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:57:23.207941
• Title: New Evaluation Paradigm for Lexical Simplification
• Title（参考訳）: 語彙的単純化のための新しい評価パラダイム
• Authors: Jipeng Qiang, Minjiang Huang, Yi Zhu, Yunhao Yuan, Chaowei Zhang, Xiaoye Ouyang,
• Abstract要約: Lexical Simplification (LS)法では、複雑な単語識別、代用生成、代用ランキングという3段階のパイプラインを使用する。 大規模な言語モデル(LLM)は、単一のプロンプトで文を直接単純化し、従来のパイプラインをバイパスできることがわかった。 本稿では,人間と機械の協調によるオールインワンLSデータセット構築のための新しいアノテーション手法を提案する。
• 参考スコア（独自算出の注目度）: 15.890439726439276
• License:
• Abstract: Lexical Simplification (LS) methods use a three-step pipeline: complex word identification, substitute generation, and substitute ranking, each with separate evaluation datasets. We found large language models (LLMs) can simplify sentences directly with a single prompt, bypassing the traditional pipeline. However, existing LS datasets are not suitable for evaluating these LLM-generated simplified sentences, as they focus on providing substitutes for single complex words without identifying all complex words in a sentence. To address this gap, we propose a new annotation method for constructing an all-in-one LS dataset through human-machine collaboration. Automated methods generate a pool of potential substitutes, which human annotators then assess, suggesting additional alternatives as needed. Additionally, we explore LLM-based methods with single prompts, in-context learning, and chain-of-thought techniques. We introduce a multi-LLMs collaboration approach to simulate each step of the LS task. Experimental results demonstrate that LS based on multi-LLMs approaches significantly outperforms existing baselines.
• Abstract（参考訳）: Lexical Simplification (LS)法では、複雑な単語識別、代用生成、代用ランキングという3段階のパイプラインをそれぞれ別々の評価データセットで使用する。 大規模な言語モデル(LLM)は、単一のプロンプトで文を直接単純化し、従来のパイプラインをバイパスできることがわかった。 しかし、既存のLSデータセットは、文中のすべての複雑な単語を特定することなく、単一の複雑な単語の代用を提供することに集中するため、これらのLLM生成された単純化された文を評価するには適していない。 このギャップに対処するため、人間と機械の協調によりオールインワンLSデータセットを構築するための新しいアノテーション手法を提案する。 自動化された方法は潜在的な代替品のプールを生成し、人間のアノテータがそれを評価し、必要に応じて追加の代替品を提案する。 さらに、単一プロンプト、文脈内学習、チェーン・オブ・シント技術を用いたLCMに基づく手法についても検討する。 LSタスクの各ステップをシミュレートするマルチLLMs協調手法を提案する。 実験の結果,マルチLLMのアプローチに基づくLSは,既存のベースラインを著しく上回ることがわかった。

関連論文リスト

• Redefining Simplicity: Benchmarking Large Language Models from Lexical to Document Simplification [21.727596753351072]
  テキスト単純化(英: Text simplification, TS)とは、テキストの複雑さを減らし、本来の意味とキー情報を保持する過程である。 既存の研究は、大きな言語モデル(LLM)が、文の単純化に関する非LLMベースの手法よりも優れていることを示しているだけである。
  論文  参考訳（メタデータ） (2025-02-12T10:38:22Z)
• LLM-AutoDiff: Auto-Differentiate Any LLM Workflow [58.56731133392544]
  自動プロンプト工学(APE)のための新しいフレームワーク LLM-AutoDiff について紹介する。 LLMs-AutoDiffは、各テキスト入力をトレーニング可能なパラメータとして扱い、フリーズした後方エンジンを使用して、テキスト勾配に対するフィードバック・アキンを生成する。 精度とトレーニングコストの両方において、既存のテキスト勾配ベースラインを一貫して上回ります。
  論文  参考訳（メタデータ） (2025-01-28T03:18:48Z)
• RepEval: Effective Text Evaluation with LLM Representation [55.26340302485898]
  RepEvalは、評価のためにLarge Language Models(LLM)表現の投影を利用するメトリクスである。 我々の研究は、LLM表現に埋め込まれたテキスト品質に関する情報の豊かさを強調し、新しいメトリクスの開発のための洞察を提供する。
  論文  参考訳（メタデータ） (2024-04-30T13:50:55Z)
• PromptReps: Prompting Large Language Models to Generate Dense and Sparse Representations for Zero-Shot Document Retrieval [76.50690734636477]
  本稿では,PmptRepsを提案する。このPmptRepsは,トレーニングを必要とせず,コーパス全体から検索できる機能である。 検索システムは、高密度テキスト埋め込みとスパースバッグ・オブ・ワード表現の両方を利用する。
  論文  参考訳（メタデータ） (2024-04-29T04:51:30Z)
• An LLM-Enhanced Adversarial Editing System for Lexical Simplification [10.519804917399744]
  Lexical Simplificationは、語彙レベルでのテキストの簡略化を目的としている。 既存のメソッドはアノテーション付きデータに大きく依存している。 並列コーパスのない新しいLS法を提案する。
  論文  参考訳（メタデータ） (2024-02-22T17:04:30Z)
• A Simple yet Efficient Ensemble Approach for AI-generated Text Detection [0.5840089113969194]
  大規模言語モデル(LLM)は、人間の文章によく似たテキストを生成する際、顕著な能力を示した。 人工的に生成されたテキストと人間が作成したテキストを区別できる自動化アプローチを構築することが不可欠である。 本稿では,複数の構成 LLM からの予測をまとめて,シンプルで効率的な解を提案する。
  論文  参考訳（メタデータ） (2023-11-06T13:11:02Z)
• Large Language Models can Contrastively Refine their Generation for Better Sentence Representation Learning [57.74233319453229]
  大規模言語モデル(LLM)は画期的な技術として登場し、それらの非並列テキスト生成能力は、基本的な文表現学習タスクへの関心を喚起している。 コーパスを生成するためにLLMの処理を分解するマルチレベルコントラスト文表現学習フレームワークであるMultiCSRを提案する。 実験の結果,MultiCSRはより高度なLCMをChatGPTの性能を超えつつ,ChatGPTに適用することで最先端の成果を得られることがわかった。
  論文  参考訳（メタデータ） (2023-10-17T03:21:43Z)
• SeqXGPT: Sentence-Level AI-Generated Text Detection [62.3792779440284]
  大規模言語モデル(LLM)を用いた文書の合成による文レベル検出の課題について紹介する。 次に,文レベルのAIGT検出機能として,ホワイトボックスLEMのログ確率リストを利用した textbfSequence textbfX (Check) textbfGPT を提案する。
  論文  参考訳（メタデータ） (2023-10-13T07:18:53Z)
• Large Language Models are Strong Zero-Shot Retriever [89.16756291653371]
  ゼロショットシナリオにおける大規模検索に大規模言語モデル(LLM)を適用するための簡単な手法を提案する。 我々の手法であるRetriever(LameR)は,LLM以外のニューラルモデルに基づいて構築された言語モデルである。
  論文  参考訳（メタデータ） (2023-04-27T14:45:55Z)
• Sentence Simplification via Large Language Models [15.07021692249856]
  文の単純化は、複雑な文を本来の意味を保ちながら、より単純な文に言い換えることを目的としている。 大規模言語モデル(LLM)は、様々な自然言語処理タスクを実行する能力を示した。
  論文  参考訳（メタデータ） (2023-02-23T12:11:58Z)
• Chinese Lexical Simplification [29.464388721085548]
  中国の語彙単純化(CLS)に関する研究は行われていない。 アノテーション取得の難しさを回避するため,我々はCLSの最初のベンチマークデータセットを手作業で作成する。 複雑な単語の代用候補を生成するために,5種類のメソッドをベースラインとして提示する。
  論文  参考訳（メタデータ） (2020-10-14T12:55:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。