論文の概要: KnowledgeGain: Evaluating and Optimizing Science News Generation for Reader Learning
- arxiv url: http://arxiv.org/abs/2605.31099v1
- Date: Fri, 29 May 2026 10:12:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.529352
- Title: KnowledgeGain: Evaluating and Optimizing Science News Generation for Reader Learning
- Title（参考訳）: KnowledgeGain: 読者学習のための科学ニュース生成の評価と最適化
- Abstract要約: 本稿では,科学ニュースの質を評価する指標であるKnowledgeGainを紹介する。
評価のために,まず制御された人体実験を行い,異なるタイプの科学メディアを読解して得られた差分知識を計測できることを実証した。
第2の人間による研究では、このシミュレータで選択された記事は、強力な生成ベースライン上での読み上げ精度と正規化知識ゲインを改善することが示されている。
- 参考スコア（独自算出の注目度）: 22.038787979338895
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Science news is an important medium to communicate discoveries between the research communities and the public. Yet, most metrics for generated or summarized text evaluate semantic similarity and factual consistency, but do not measure how much knowledge readers learn from the news. We introduce KnowledgeGain, a metric that evaluates the quality of science news by measuring how much knowledge readers gained after reading it. To evaluate the metric, we first performed a controlled human study and showed that the metric successfully captures the differential knowledge gained by human readers reading different types of science media. The data allowed us to calibrate a prompt-only LLM reader simulator. We use it to rank and filter candidate articles before human evaluation. A second human study shows that articles selected with this simulator improve post-reading accuracy and normalized KnowledgeGain over a strong generation baseline. Our work is a step toward generating science news that better meets the knowledge and comprehension goals of Bloom's Taxonomy.
- Abstract（参考訳）: 科学ニュースは、研究コミュニティと公衆の間で発見を伝える重要なメディアである。
しかし、生成あるいは要約されたテキストのほとんどのメトリクスは、意味的類似性と事実的整合性を評価するが、読者がニュースからどれだけの知識を学ぶかは測らない。
本稿では,科学ニュースの質を評価する指標であるKnowledgeGainを紹介する。
評価のために,まず制御された人体実験を行い,異なるタイプの科学メディアを読解して得られた差分知識を計測できることを実証した。
このデータにより、プロンプトのみのLCMリーダーシミュレータの校正が可能になった。
人間の評価の前に、候補記事のランク付けとフィルタリングに使用します。
第2の人間による研究では、このシミュレータで選択された記事は、強力な生成ベースライン上での読み上げ精度と正規化知識ゲインを改善することが示されている。
私たちの研究は、ブルームの分類学の知識と理解の目的を満たす科学的なニュースを生み出すための一歩です。
関連論文リスト
- SciCustom: A Framework for Custom Evaluation of Scientific Capabilities in Large Language Models [63.357710580101894]
大規模言語モデル(LLM)は、科学研究にますます応用されているが、既存の評価は、実際に必要とされる詳細な能力の反映に失敗することが多い。
この問題に対処するため、SciCustomという新しいフレームワークを提案する。
大規模な科学的データからベンチマークのカスタム構築を可能にし、LLMの応用固有の科学的能力を評価する。
論文 参考訳（メタデータ） (2026-05-19T04:41:43Z) - APRES: An Agentic Paper Revision and Evaluation System [44.44345338738518]
科学者が自身の仕事を伝え、コミュニティからフィードバックを受け取るための第一の方法は、ピアレビューである。
本稿では,Large Language Models (LLMs) を利用した新しいAPRES手法を提案する。
提案手法は,将来的な引用数を高い精度で予測できるルーリックを発見し,APRESと統合して論文を改訂し,その品質と影響を高める。
論文 参考訳（メタデータ） (2026-03-03T16:29:13Z) - Enhancing Information Retrieval in Digital Libraries through Unit Harmonisation in Scholarly Knowledge Graphs [3.2034139843532894]
本稿では,学術知識グラフにおける計測データの比較とフィルタリングのための,新しい顔付き検索エンファン構造化コンテンツを提案する。
我々の顔付き検索システムを利用することで、ユーザは科学論文の内容を検索するだけでなく、異種データの比較やフィルタリングを行うことができる。
論文 参考訳（メタデータ） (2025-12-06T10:58:17Z) - Machine Understanding of Scientific Language [3.094414120832024]
この論文は、科学言語の機械的理解のためのデータセット、方法、ツールの育成に関するものである。
自然言語処理と機械学習の3分野 – 自動事実チェック,限定データによる学習,科学テキスト処理 – において,いくつかのコントリビューションを提示した。
論文 参考訳（メタデータ） (2025-06-30T15:55:10Z) - ScienceMeter: Tracking Scientific Knowledge Updates in Language Models [79.33626657942169]
大規模言語モデル(LLM)は、科学研究を支援するためにますます使われているが、科学的進歩に関する彼らの知識は急速に時代遅れになる。
我々は,過去,現在,未来にまたがる科学的知識の更新手法を評価するための新しいフレームワークであるScienceMeterを紹介する。
論文 参考訳（メタデータ） (2025-05-30T07:28:20Z) - Computational Fact-Checking of Online Discourse: Scoring scientific accuracy in climate change related news articles [0.14999444543328289]
本研究は,オンラインメディアの科学的精度の定量化を目的とする。
未知の正確性のメディアをセマンティフィケーションすることで、それらのステートメントを等しく処理された信頼できるソースと比較することができる。
論文 参考訳（メタデータ） (2025-05-12T10:03:15Z) - Beyond Factuality: A Comprehensive Evaluation of Large Language Models
as Knowledge Generators [78.63553017938911]
大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。
しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。
本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
論文 参考訳（メタデータ） (2023-10-11T08:22:37Z) - CitationIE: Leveraging the Citation Graph for Scientific Information
Extraction [89.33938657493765]
引用論文と引用論文の参照リンクの引用グラフを使用する。
最先端技術に対するエンド・ツー・エンドの情報抽出の大幅な改善を観察する。
論文 参考訳（メタデータ） (2021-06-03T03:00:12Z) - Semantic Analysis for Automated Evaluation of the Potential Impact of
Research Articles [62.997667081978825]
本稿では,情報理論に基づくテキスト意味のベクトル表現のための新しい手法を提案する。
この情報意味論がLeicester Scientific Corpusに基づいてテキスト分類にどのように使用されるかを示す。
テキストの意味を表現するための情報的アプローチは,研究論文の科学的影響を効果的に予測する方法であることを示す。
論文 参考訳（メタデータ） (2021-04-26T20:37:13Z) - TransOMCS: From Linguistic Graphs to Commonsense Knowledge [109.36596335148091]
従来のコモンセンス知識を取得するには、手間と費用のかかる人間のアノテーションが必要である。
我々は,言語パターンから得られた安価な知識を高価なコモンセンス知識に移行することを目的として,言語グラフからコモンセンス知識をマイニングする実践的な方法を探究する。
実験により,言語知識のコモンセンス知識への伝達可能性や,量,新規性,品質の観点から提案手法の有効性が示された。
論文 参考訳（メタデータ） (2020-05-01T04:03:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。