論文の概要: Analysing Zero-Shot Readability-Controlled Sentence Simplification

• arxiv url: http://arxiv.org/abs/2409.20246v1
• Date: Mon, 30 Sep 2024 12:36:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-02 11:58:29.543931
• Title: Analysing Zero-Shot Readability-Controlled Sentence Simplification
• Title（参考訳）: ゼロショット可読性制御文の簡易化解析
• Authors: Abdullah Barayan, Jose Camacho-Collados, Fernando Alva-Manchego,
• Abstract要約: 本研究では,異なる種類の文脈情報が,所望の可読性を持つ文を生成するモデルの能力に与える影響について検討する。 結果から,全ての試験されたモデルは,原文の制限や特徴のため,文の簡略化に苦慮していることがわかった。 実験では、RCTSに合わせたより良い自動評価指標の必要性も強調した。
• 参考スコア（独自算出の注目度）: 54.09069745799918
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Readability-controlled text simplification (RCTS) rewrites texts to lower readability levels while preserving their meaning. RCTS models often depend on parallel corpora with readability annotations on both source and target sides. Such datasets are scarce and difficult to curate, especially at the sentence level. To reduce reliance on parallel data, we explore using instruction-tuned large language models for zero-shot RCTS. Through automatic and manual evaluations, we examine: (1) how different types of contextual information affect a model's ability to generate sentences with the desired readability, and (2) the trade-off between achieving target readability and preserving meaning. Results show that all tested models struggle to simplify sentences (especially to the lowest levels) due to models' limitations and characteristics of the source sentences that impede adequate rewriting. Our experiments also highlight the need for better automatic evaluation metrics tailored to RCTS, as standard ones often misinterpret common simplification operations, and inaccurately assess readability and meaning preservation.
• Abstract（参考訳）: 可読性制御されたテキスト単純化(RCTS)は、テキストを低可読性レベルに書き直し、その意味を保っている。 RCTSモデルはソースとターゲットの両方で可読性アノテーションを持つ並列コーパスに依存していることが多い。 このようなデータセットは乏しく、特に文レベルではキュレートが難しい。 並列データへの依存を軽減するため,ゼロショットRCTSのための命令調整型大規模言語モデルについて検討する。 自動的および手動的な評価を通じて,(1)異なる種類の文脈情報が,所望の可読性を持つ文を生成するモデルの能力にどのように影響するか,(2)目的の可読性の実現と保存の意味のトレードオフについて検討する。 結果から,全ての試験されたモデルは,適切な書き直しを阻害する原文の制限や特徴のため,文(特に低レベル)を単純化するのに苦労していることがわかった。 また,本実験では,一般的な単純化操作を誤解釈し,可読性や保存の意味を不正確に評価するため,RCTSに適合する優れた自動評価指標の必要性も強調した。

関連論文リスト

• Factual Dialogue Summarization via Learning from Large Language Models [35.63037083806503]
  大規模言語モデル(LLM)に基づく自動テキスト要約モデルは、より現実的に一貫した要約を生成する。 ゼロショット学習を用いて、LLMから記号的知識を抽出し、事実整合性(正)および矛盾性(負)の要約を生成する。 各種自動評価指標で確認したように,コヒーレンス,フラレンシ,関連性を保ちながら,より優れた事実整合性を実現する。
  論文  参考訳（メタデータ） (2024-06-20T20:03:37Z)
• Generating Summaries with Controllable Readability Levels [67.34087272813821]
  テキストの複雑さ、主題、読者の背景知識など、可読性レベルに影響を与える要因がいくつかある。 現在のテキスト生成アプローチでは制御が洗練されておらず、結果として読者の習熟度にカスタマイズされないテキストが作られる。 可読性を制御するための3つのテキスト生成手法を開発した。命令ベースの可読性制御,要求される可読性と観測される可読性の間のギャップを最小限に抑える強化学習,および,ルックアヘッドを用いて今後の復号化ステップの可読性を評価する復号手法である。
  論文  参考訳（メタデータ） (2023-10-16T17:46:26Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)
• Evaluating Factual Consistency of Texts with Semantic Role Labeling [3.1776833268555134]
  本稿では,テキスト要約を念頭に設計した参照不要評価指標SRLScoreを紹介する。 最終事実度スコアは、調整可能なスコアリング機構により算出される。 英語の要約データセットにおける人間の判断との相関は、SRLScoreが最先端の手法と競合していることを示している。
  論文  参考訳（メタデータ） (2023-05-22T17:59:42Z)
• Zero-Shot Text Classification via Self-Supervised Tuning [46.9902502503747]
  ゼロショットテキスト分類タスクを解決するための自己教師付き学習に基づく新しいパラダイムを提案する。 自己教師付きチューニングという,ラベルのないデータで言語モデルをチューニングする。 我々のモデルは10タスク中7タスクで最先端のベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-05-19T05:47:33Z)
• SNaC: Coherence Error Detection for Narrative Summarization [73.48220043216087]
  SNaCは長文の微粒化アノテーションに根ざした物語コヒーレンス評価フレームワークである。 本稿では,生成した物語要約におけるコヒーレンスエラーの分類法を開発し,150冊の本や映画の脚本要約にまたがる6.6k文のスパンレベルアノテーションを収集する。 我々の研究は、最先端の要約モデルによって生成されるコヒーレンスエラーの最初の特徴と、群衆アノテータからコヒーレンス判断を引き出すためのプロトコルを提供する。
  論文  参考訳（メタデータ） (2022-05-19T16:01:47Z)
• Evaluating Factuality in Text Simplification [43.94402649899681]
  標準的な単純化データセットから抽出された参照と最先端のモデル出力の両方を解析するために,エラーの分類を導入する。 既存の評価指標では捉えられないエラーが、両方に現れることがよくあります。
  論文  参考訳（メタデータ） (2022-04-15T17:37:09Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)
• Small but Mighty: New Benchmarks for Split and Rephrase [18.959219419951083]
  Split and Rephraseは、複雑な文をシンプルに書き換えるテキスト単純化タスクである。 広く使われているベンチマークデータセットは、簡単に利用できる構文的手がかりを普遍的に含んでいることがわかった。 単純なルールベースモデルであっても,最先端モデルと同等に動作可能であることを示す。
  論文  参考訳（メタデータ） (2020-09-17T23:37:33Z)
• ReClor: A Reading Comprehension Dataset Requiring Logical Reasoning [85.33459673197149]
  標準化された大学院受験試験から抽出した論理的推論(ReClor)を必要とする新たな読解データセットを提案する。 本稿では、偏りのあるデータポイントを識別し、それらをEASY集合と残りをHARD集合に分離することを提案する。 実験結果によると、最先端のモデルでは、データセットに含まれるバイアスをEASYセット上で高精度にキャプチャする能力に優れていた。 しかし、彼らはランダムな推測に近い性能のHARDセットに苦慮しており、現在のモデルの論理的推論能力を本質的に向上させるためには、より多くの研究が必要であることを示している。
  論文  参考訳（メタデータ） (2020-02-11T11:54:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。