論文の概要: Readability Measures and Automatic Text Simplification: In the Search of a Construct

• arxiv url: http://arxiv.org/abs/2511.09536v1
• Date: Thu, 13 Nov 2025 02:01:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-13 22:34:54.611904
• Title: Readability Measures and Automatic Text Simplification: In the Search of a Construct
• Title（参考訳）: 可読性対策とテキストの簡易化--コンストラクタの探索において
• Authors: Rémi Cardon, A. Seza Doğruöz,
• Abstract要約: 本研究では,可読性尺度と人的判断,可読性尺度とATS評価指標の相関について検討した。 単純化を評価できる3つの異なる角度は、互いにかなり低い相関関係を示す傾向があるため、ATSにおける構造を明確に定義する必要がある。
• 参考スコア（独自算出の注目度）: 0.77296105909377
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Readability is a key concept in the current era of abundant written information. To help making texts more readable and make information more accessible to everyone, a line of researched aims at making texts accessible for their target audience: automatic text simplification (ATS). Lately, there have been studies on the correlations between automatic evaluation metrics in ATS and human judgment. However, the correlations between those two aspects and commonly available readability measures (such as readability formulas or linguistic features) have not been the focus of as much attention. In this work, we investigate the place of readability measures in ATS by complementing the existing studies on evaluation metrics and human judgment, on English. We first discuss the relationship between ATS and research in readability, then we report a study on correlations between readability measures and human judgment, and between readability measures and ATS evaluation metrics. We identify that in general, readability measures do not correlate well with automatic metrics and human judgment. We argue that as the three different angles from which simplification can be assessed tend to exhibit rather low correlations with one another, there is a need for a clear definition of the construct in ATS.
• Abstract（参考訳）: 可読性(Readability)は、豊富な文書情報の時代において重要な概念である。 テキストをより読みやすくし、情報を誰にでもアクセスしやすいものにするために、研究対象のテキストをターゲットとする:自動テキスト単純化(ATS:Automatic Text simplification)。 近年,ATSにおける自動評価指標と人的判断の相関関係が研究されている。 しかし、これら2つの側面と可読性(可読性公式や言語的特徴など)の相関は、それほど注目されていない。 本研究では,評価指標と人的判断に関する既存の研究を英語で補完することにより,ATSにおける可読性測定の場所について検討する。 まず, ATS と可読性研究の関係について検討し, 可読性尺度と人的判断, 可読性尺度とATS 評価指標の相関について報告する。 一般に可読性尺度は自動測定値と人的判断値とよく相関しない。 単純化を評価できる3つの異なる角度は、互いにかなり低い相関関係を示す傾向があるため、ATSにおける構造を明確に定義する必要がある。

関連論文リスト

• Readability Reconsidered: A Cross-Dataset Analysis of Reference-Free Metrics [4.729984735375468]
  本研究は, 可読性に対する人間の知覚を形作る要因について, 897の判断分析を通して検討した。 5つの英データセットにまたがる15の可読性メトリクスを評価し、それらを6つのよりニュアンスなモデルベースのメトリクスと比較した。 モデルに基づく4つの指標は、ランクと人間の判断の相関において上位4つに一貫して含まれ、最も優れた伝統的な指標は平均8.6である。
  論文  参考訳（メタデータ） (2025-10-17T06:17:21Z)
• Readability Formulas, Systems and LLMs are Poor Predictors of Reading Ease [4.868319717279586]
  我々は、視線追跡を用いたオンライン読解手段を用いて、読みやすさとリアルタイム読みやすさの基本的な側面に焦点を当てた。 この評価を従来の可読性の公式、現代の機械学習システム、教育で使用される商用システムに適用すると、これらはすべて英語で読みやすいという予測が下手であることを示唆している。
  論文  参考訳（メタデータ） (2025-02-16T14:51:44Z)
• Analysing Zero-Shot Readability-Controlled Sentence Simplification [54.09069745799918]
  本研究では,異なる種類の文脈情報が,所望の可読性を持つ文を生成するモデルの能力に与える影響について検討する。 結果から,全ての試験されたモデルは,原文の制限や特徴のため,文の簡略化に苦慮していることがわかった。 実験では、RCTSに合わせたより良い自動評価指標の必要性も強調した。
  論文  参考訳（メタデータ） (2024-09-30T12:36:25Z)
• Exploring the Correlation between Human and Machine Evaluation of Simultaneous Speech Translation [0.9576327614980397]
  本研究では,人間の評価と相関関係を解析することにより,同時解釈評価における自動メトリクスの信頼性を評価することを目的とする。 ベンチマークでは,言語専門家による人間の評価を用いて,文の埋め込みと大規模言語モデルとの相関性を評価する。 その結果, GPTモデル, 特に直接的プロンプトを用いた GPT-3.5 は, ソーステキストとターゲットテキストのセマンティックな類似性の観点から, 人間の判断と最強の相関を示すことが示唆された。
  論文  参考訳（メタデータ） (2024-06-14T14:47:19Z)
• Generating Summaries with Controllable Readability Levels [67.34087272813821]
  テキストの複雑さ、主題、読者の背景知識など、可読性レベルに影響を与える要因がいくつかある。 現在のテキスト生成アプローチでは制御が洗練されておらず、結果として読者の習熟度にカスタマイズされないテキストが作られる。 可読性を制御するための3つのテキスト生成手法を開発した。命令ベースの可読性制御,要求される可読性と観測される可読性の間のギャップを最小限に抑える強化学習,および,ルックアヘッドを用いて今後の復号化ステップの可読性を評価する復号手法である。
  論文  参考訳（メタデータ） (2023-10-16T17:46:26Z)
• ROSCOE: A Suite of Metrics for Scoring Step-by-Step Reasoning [63.77667876176978]
  大規模言語モデルでは、最終回答を正当化するためにステップバイステップの推論を生成するように促された場合、ダウンストリームタスクの解釈可能性が改善されている。 これらの推論ステップは、モデルの解釈可能性と検証を大幅に改善するが、客観的にそれらの正確性を研究することは困難である。 本稿では、従来のテキスト生成評価指標を改善し拡張する、解釈可能な教師なし自動スコアのスイートであるROSを提案する。
  論文  参考訳（メタデータ） (2022-12-15T15:52:39Z)
• On the Interpretability and Significance of Bias Metrics in Texts: a PMI-based Approach [3.2326259807823026]
  我々は、テキスト中のバイアスを定量化するために、別のPMIベースのメトリクスを分析する。 これは条件付き確率の関数として表すことができ、単語共起の言葉で簡単に解釈できる。
  論文  参考訳（メタデータ） (2021-04-13T19:34:17Z)
• GO FIGURE: A Meta Evaluation of Factuality in Summarization [131.1087461486504]
  本稿では,現実性評価指標を評価するメタ評価フレームワークGO FIGUREを紹介する。 10個の実測値のベンチマーク分析により、我々のフレームワークが堅牢で効率的な評価を提供することが明らかとなった。 また、QAメトリクスは、ドメイン間の事実性を測定する標準的なメトリクスよりも一般的に改善されているが、パフォーマンスは、質問を生成する方法に大きく依存していることも明らかにしている。
  論文  参考訳（メタデータ） (2020-10-24T08:30:20Z)
• Extending Text Informativeness Measures to Passage Interestingness Evaluation (Language Model vs. Word Embedding) [1.2998637003026272]
  本稿では、インフォマティヴネスの概念をインフォマティヴネスの一般化として定義する。 次に、この一般化に対応するために、アートインフォーマティヴネス対策の状態を調査する。 CLEF-INEX Tweet Contextualization 2012 Logarithm similarity measure が最適であることを示す。
  論文  参考訳（メタデータ） (2020-04-14T18:22:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。