論文の概要: Measuring Contextual Informativeness in Child-Directed Text
- arxiv url: http://arxiv.org/abs/2412.17427v1
- Date: Mon, 23 Dec 2024 09:45:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-24 15:59:38.506262
- Title: Measuring Contextual Informativeness in Child-Directed Text
- Title(参考訳): 児童向けテキストにおける文脈的インフォーマル性の測定
- Authors: Maria Valentini, Téa Wright, Ali Marashian, Jennifer Weber, Eliana Colunga, Katharina von der Wense,
- Abstract要約: 本研究は,子どもの物語における文脈的情報度測定という課題を動機づけるものである。
大規模言語モデル(LLM)を用いたタスクの自動化手法を提案する。
追加分析の結果,成人向けテキストにおける文脈情報性の測定にLLMベースのアプローチが適用可能であることがわかった。
- 参考スコア(独自算出の注目度): 0.7351161122478707
- License:
- Abstract: To address an important gap in creating children's stories for vocabulary enrichment, we investigate the automatic evaluation of how well stories convey the semantics of target vocabulary words, a task with substantial implications for generating educational content. We motivate this task, which we call measuring contextual informativeness in children's stories, and provide a formal task definition as well as a dataset for the task. We further propose a method for automating the task using a large language model (LLM). Our experiments show that our approach reaches a Spearman correlation of 0.4983 with human judgments of informativeness, while the strongest baseline only obtains a correlation of 0.3534. An additional analysis shows that the LLM-based approach is able to generalize to measuring contextual informativeness in adult-directed text, on which it also outperforms all baselines.
- Abstract(参考訳): 語彙豊か化のための子どもの物語作成における重要なギャップに対処するため,目的語の意味をいかにうまく伝達するかを自動評価し,教育内容の生成に重大な意味を持つ課題について検討した。
我々は,この課題を,子どもの物語における文脈的情報性の測定と呼び,その課題のデータセットとして,形式的なタスク定義を提供する。
さらに,大規模言語モデル(LLM)を用いてタスクを自動化する手法を提案する。
実験の結果,本手法は人間の情報性判断とスピアマンの相関が0.4983であり,最強のベースラインは0.3534であることがわかった。
さらなる分析により、LLMベースのアプローチは、成人向けテキストにおける文脈的情報性の測定を一般化することができ、全てのベースラインを上回ります。
関連論文リスト
- Evaluating LLMs for Targeted Concept Simplification for Domain-Specific Texts [53.421616210871704]
コンテクストの欠如と難解な概念に対する不慣れさは、大人の読者がドメイン固有のテキストに難渋する大きな理由である。
テキストの書き直しを簡略化し,不慣れな概念を含むテキストの理解を支援する「目標概念の簡略化」を提案する。
本研究は,オープンソースおよび商用LLMの性能と,この課題に対する簡単な辞書ベースラインのベンチマークを行う。
論文 参考訳(メタデータ) (2024-10-28T05:56:51Z) - Exploration of Masked and Causal Language Modelling for Text Generation [6.26998839917804]
本稿では,テキスト生成タスクにおける因果言語モデリング手法の広範な比較を行う。
まず、定量的な指標を用いて、コヒーレンスと文法的正当性を分析する定性的な人的評価を行う。
その結果、すべてのデータセットでテキスト生成において、CLMは一貫して上回っていることがわかった。
論文 参考訳(メタデータ) (2024-05-21T09:33:31Z) - Enhancing Argument Structure Extraction with Efficient Leverage of
Contextual Information [79.06082391992545]
本稿では,コンテキスト情報を完全に活用する効率的なコンテキスト認識モデル(ECASE)を提案する。
文脈情報や議論情報を集約するために,シーケンスアテンションモジュールと距離重み付き類似度損失を導入する。
各種ドメインの5つのデータセットに対する実験により,我々のモデルが最先端の性能を達成することを示す。
論文 参考訳(メタデータ) (2023-10-08T08:47:10Z) - LLM Based Multi-Document Summarization Exploiting Main-Event Biased
Monotone Submodular Content Extraction [42.171703872560286]
マルチドキュメントの要約は、その固有の主観的バイアスのために難しい課題である。
我々は,関連ニュース資料群の主要イベントに着目し,ニュース要約の客観性を高めることを目的としている。
論文 参考訳(メタデータ) (2023-10-05T09:38:09Z) - Factually Consistent Summarization via Reinforcement Learning with
Textual Entailment Feedback [57.816210168909286]
我々は,この問題を抽象的な要約システムで解くために,テキストエンテーメントモデルの最近の進歩を活用している。
我々は、事実整合性を最適化するために、レファレンスフリーのテキストエンターメント報酬を用いた強化学習を用いる。
自動測定と人的評価の両結果から,提案手法は生成した要約の忠実さ,サリエンス,簡潔さを著しく向上させることが示された。
論文 参考訳(メタデータ) (2023-05-31T21:04:04Z) - Coarse-to-Fine: Hierarchical Multi-task Learning for Natural Language
Understanding [51.31622274823167]
本稿では,各タスクの下位レベルを全タスクに共有し,中間レベルを異なるグループに分割し,上位レベルを各タスクに割り当てる,粗大なパラダイムを持つ階層型フレームワークを提案する。
これにより、すべてのタスクから基本言語特性を学習し、関連するタスクのパフォーマンスを高め、無関係なタスクから負の影響を減らすことができる。
論文 参考訳(メタデータ) (2022-08-19T02:46:20Z) - An Attention-Based Model for Predicting Contextual Informativeness and
Curriculum Learning Applications [11.775048147405725]
文の指導的側面に着目し,文脈的情報度を推定するモデルを構築した。
対象単語に対する読者の理解に最も寄与する可能性のある文中の重要な文脈要素を,我々のモデルがいかに認識するかを示す。
我々は,人間と機械の学習者の両方に言語学習をサポートするアプリケーションに対して,新たな可能性を開くと信じている。
論文 参考訳(メタデータ) (2022-04-21T05:17:49Z) - Positioning yourself in the maze of Neural Text Generation: A
Task-Agnostic Survey [54.34370423151014]
本稿では, ストーリーテリング, 要約, 翻訳など, 世代ごとのタスクインパクトをリレーする手法の構成要素について検討する。
本稿では,学習パラダイム,事前学習,モデリングアプローチ,復号化,各分野における重要な課題について,命令的手法の抽象化を提案する。
論文 参考訳(メタデータ) (2020-10-14T17:54:42Z) - Improving Machine Reading Comprehension with Contextualized Commonsense
Knowledge [62.46091695615262]
我々は、機械読解の理解を改善するために、常識知識を抽出することを目指している。
構造化知識を文脈内に配置することで,関係を暗黙的に表現することを提案する。
我々は,教師の学習パラダイムを用いて,複数種類の文脈的知識を学生機械読取機に注入する。
論文 参考訳(メタデータ) (2020-09-12T17:20:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。