論文の概要: Assessing Readability with LLMs: The Role of Reasoning and Few-Shot Prompting

• arxiv url: http://arxiv.org/abs/2609.24650v1
• Date: Mon, 21 Sep 2026 14:22:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.3249
• Title: Assessing Readability with LLMs: The Role of Reasoning and Few-Shot Prompting
• Title（参考訳）: LLMの可読性を評価する: 推論とFew-Shot Promptingの役割
• Abstract要約: 大規模言語モデル(LLM)は、タスク固有のトレーニングを必要としない、高度にスケーラブルで多言語的な代替手段を提供する。 従来の教師なしメトリクスや最先端の教師付きベースラインと比較する。 我々は,言語間可読性評価器として,アウト・オブ・ザ・ボックス LLM の実現可能性を確立する。
• 参考スコア（独自算出の注目度）: 0.8653410099478304
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Readability assessment is essential for tailoring texts to intended audiences across educational, healthcare, and information retrieval domains. However, traditional readability formulas struggle to generalize across genres and languages, while supervised machine learning models rely on scarce, domain-specific annotated corpora, limiting their applicability--particularly for less-resourced languages. Large Language Models (LLMs) offer a highly scalable, multilingual alternative that requires no task-specific training, yet the impact of advanced prompting strategies on their performance remains underexplored. In this paper, we conduct a systematic benchmark of diverse open-source LLMs for multilingual readability assessment, focusing on the prediction of discrete readability levels required by educational frameworks. In addition to English, we evaluate our approach on a less-resourced language, Slovenian, to establish whether LLMs remain effective in low-resource settings. Specifically, we investigate the influence of explicit reasoning, demonstrating that Chain-of-Thought (CoT) prompting and reasoning-oriented models yield significant improvements over direct answering. Furthermore, our exploration of few-shot in-context learning reveals that providing just one labelled example per category (1-shot) substantially enhances prediction quality compared to zero-shot settings, with additional examples offering diminishing returns. By comprehensively comparing these approaches against traditional unsupervised metrics and state-of-the-art supervised baselines, we establish the viability of out-of-the-box LLMs as robust, cross-lingual readability assessors.
• Abstract（参考訳）: 可読性の評価は、教育、医療、情報検索の領域にまたがる対象の聴衆にテキストを調整するために不可欠である。 しかし、従来の可読性の公式はジャンルや言語をまたいだ一般化に苦慮し、一方、教師付き機械学習モデルは貧弱でドメイン固有の注釈付きコーパスに依存しており、特に低リソースの言語では適用性が制限されている。 大規模言語モデル(LLM)は、タスク固有のトレーニングを必要としない、高度にスケーラブルで多言語的な代替手段を提供する。 本稿では,多言語可読性評価のための多様なオープンソース LLM の体系的ベンチマークを行い,教育フレームワークが必要とする個別可読性レベルの予測に焦点をあてる。 我々は,LLMが低リソース環境において有効であるかどうかを確かめるために,低リソース言語であるSlovenianに対する我々のアプローチを評価する。 具体的には、明示的推論の影響を調査し、CoT(Chain-of-Thought)が直接応答よりも顕著な改善をもたらすことを示す。 さらに,各カテゴリ毎にラベル付けされた1つの例(1ショット)を提供することで,ゼロショット設定よりも予測品質が著しく向上し,さらにリターンが低下する例も見出された。 従来の教師なしのメトリクスと最先端の教師付きベースラインとを総合的に比較することにより、アウト・オブ・ザ・ボックスのLCMを頑健で言語横断的な可読性評価器として有効性を確立する。

関連論文リスト

• LLM Probe: Evaluating LLMs for Low-Resource Languages [6.177998679139308]
  本稿では,低リソース言語における大規模言語モデル (LLM) の言語能力を評価するための語彙ベースアセスメントフレームワークを提案する。 このフレームワークは、語彙アライメント、音声認識、モルフォシンタクティック・プロービング、翻訳精度の4つの領域にわたるモデルを分析する。
  論文  参考訳（メタデータ） (2026-03-31T10:03:38Z)
• Evaluating Linguistic Capabilities of Multimodal LLMs in the Lens of Few-Shot Learning [15.919493497867567]
  本研究では,VALSEベンチマークを用いたマルチモーダル大規模言語モデル(MLLM)の性能評価を目的とした。 我々は,モデルサイズや事前学習データセットの異なる最先端MLLMの包括的評価を行った。
  論文  参考訳（メタデータ） (2024-07-17T11:26:47Z)
• LLMs Are Few-Shot In-Context Low-Resource Language Learners [59.74451570590808]
  In-context Learning (ICL) は、大規模言語モデル(LLM)に、表現不足の言語で多様なタスクを実行する権限を与える。 ICLとその言語間変動(X-ICL)を25の低リソース言語と7の比較的高リソース言語で検討した。 本研究は,LLMの低リソース理解品質向上における文脈内情報の重要性を論じる。
  論文  参考訳（メタデータ） (2024-03-25T07:55:29Z)
• Analyzing and Adapting Large Language Models for Few-Shot Multilingual NLU: Are We There Yet? [82.02076369811402]
  教師付きファインチューニング(SFT)、教師付きインストラクションチューニング(SIT)、インコンテキストラーニング(ICL)は、3つの代替であり、事実上の標準的アプローチである。 提案手法は,6つの高・低リソース言語,3つの異なるNLUタスク,多種多様な言語とドメインのセットアップを用いて,3つのアプローチを網羅的かつ体系的に比較する。 そこで本研究では,教師あり指導のチューニングが,性能とリソース要件の最良のトレードオフであることを示す。
  論文  参考訳（メタデータ） (2024-03-04T10:48:13Z)
• Self-Augmented In-Context Learning for Unsupervised Word Translation [23.495503962839337]
  大規模言語モデル (LLMs) は、強力な単語翻訳やバイリンガル語彙誘導(BLI)機能を示す。 教師なしBLIのための自己拡張型インコンテキスト学習(SAIL)を提案する。 提案手法は,2つの確立したBLIベンチマーク上でのLDMのゼロショットプロンプトよりも大幅に向上することを示す。
  論文  参考訳（メタデータ） (2024-02-15T15:43:05Z)
• From Classification to Generation: Insights into Crosslingual Retrieval Augmented ICL [8.065775937617417]
  クロスランガル検索強化インコンテキスト学習(CREA-ICL)を利用した新しい手法を提案する。 高ソース言語から意味論的に類似したプロンプトを抽出することにより、多言語事前学習言語モデル(MPLM)のゼロショット性能の向上を目指す。 我々の手法は分類タスクを着実に改善するが、生成タスクでは課題に直面している。
  論文  参考訳（メタデータ） (2023-11-11T15:40:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。