論文の概要: Impacts Towards a comprehensive assessment of the book impact by
integrating multiple evaluation sources
- arxiv url: http://arxiv.org/abs/2107.10434v1
- Date: Thu, 22 Jul 2021 03:11:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-23 23:05:40.337658
- Title: Impacts Towards a comprehensive assessment of the book impact by
integrating multiple evaluation sources
- Title（参考訳）: 複数の評価資料の統合による書籍影響の包括的評価に向けて
- Authors: Qingqing Zhou, Chengzhi Zhang
- Abstract要約: 本稿では,複数の評価源を統合することで構築された評価システムに基づいて,書籍の影響を測定する。
様々な技術(トピック抽出、感情分析、テキスト分類など)を用いて、対応する評価指標を抽出した。
評価システムの信頼性を専門家評価の結果と比較して検証した。
- 参考スコア（独自算出の注目度）: 6.568523667580746
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The surge in the number of books published makes the manual evaluation
methods difficult to efficiently evaluate books. The use of books' citations
and alternative evaluation metrics can assist manual evaluation and reduce the
cost of evaluation. However, most existing evaluation research was based on a
single evaluation source with coarse-grained analysis, which may obtain
incomprehensive or one-sided evaluation results of book impact. Meanwhile,
relying on a single resource for book assessment may lead to the risk that the
evaluation results cannot be obtained due to the lack of the evaluation data,
especially for newly published books. Hence, this paper measured book impact
based on an evaluation system constructed by integrating multiple evaluation
sources. Specifically, we conducted finer-grained mining on the multiple
evaluation sources, including books' internal evaluation resources and external
evaluation resources. Various technologies (e.g. topic extraction, sentiment
analysis, text classification) were used to extract corresponding evaluation
metrics from the internal and external evaluation resources. Then, Expert
evaluation combined with analytic hierarchy process was used to integrate the
evaluation metrics and construct a book impact evaluation system. Finally, the
reliability of the evaluation system was verified by comparing with the results
of expert evaluation, detailed and diversified evaluation results were then
obtained. The experimental results reveal that differential evaluation
resources can measure the books' impacts from different dimensions, and the
integration of multiple evaluation data can assess books more comprehensively.
Meanwhile, the book impact evaluation system can provide personalized
evaluation results according to the users' evaluation purposes. In addition,
the disciplinary differences should be considered for assessing books' impacts.
- Abstract（参考訳）: 出版される書籍数の増加は、手作業による評価方法の効率的な評価を困難にしている。
書籍の引用と代替評価指標を使用することで、手作業による評価を支援し、評価コストを削減できる。
しかし、既存の評価研究のほとんどは、粗粒度分析を用いた単一評価源に基づいており、不包括的あるいは一方的な書籍影響評価結果が得られる可能性がある。
一方、書籍評価のための単一の資源に依存することは、評価データが不足していること、特に新刊書籍では評価結果が得られないリスクにつながる可能性がある。
そこで本論文では,複数の評価源を統合した評価システムを用いて,本書の影響を測定した。
具体的には,本書の内部評価資源や外部評価資源を含む複数の評価資料について,きめ細かいマイニングを行った。
様々な技術(例)
トピック抽出,感情分析,テキスト分類)を用いて,内部および外部評価資源から対応する評価指標を抽出した。
次に,評価指標の統合と書籍影響評価システムの構築に,分析階層プロセスと組み合わせた専門家評価を用いた。
そして, 専門家評価結果と比較し, 評価システムの信頼性を検証するとともに, 詳細な評価結果, 多様化評価結果を得た。
実験結果から, 異なる次元から異なる評価資源が書籍に与える影響を計測でき, 複数評価データの統合により, 書籍をより包括的に評価できることがわかった。
一方、書籍影響評価システムは、ユーザの評価目的に応じてパーソナライズされた評価結果を提供できる。
また,本書の影響評価には,学際的差異を考慮する必要がある。
関連論文リスト
- A Critical Look at Meta-evaluating Summarisation Evaluation Metrics [11.541368732416506]
私たちは、より堅牢な評価指標の開発を可能にする、より多様なベンチマークを構築するのに時間がかかっていると論じています。
我々は、生成された要約のコミュニケーション目標を考慮に入れた、ユーザ中心の品質次元に焦点を当てた研究を求めている。
論文 参考訳（メタデータ） (2024-09-29T01:30:13Z) - A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [58.6354685593418]
本稿では, レビューを評価するために, 記事レベル, フィールド正規化, 大規模言語モデルを用いた書誌指標を提案する。
新たに登場したAI生成の文献レビューも評価されている。
この研究は、文学レビューの現在の課題についての洞察を与え、彼らの開発に向けた今後の方向性を思い起こさせる。
論文 参考訳（メタデータ） (2024-02-20T11:28:50Z) - Evaluation in Neural Style Transfer: A Review [0.7614628596146599]
既存の評価手法の詳細な分析を行い、現在の評価手法の不整合と限界を特定し、標準化された評価手法の推奨を行う。
我々は、ロバストな評価フレームワークの開発により、より有意義で公平な比較が可能になるだけでなく、この分野における研究成果の理解と解釈を高めることができると考えている。
論文 参考訳（メタデータ） (2024-01-30T15:45:30Z) - Evaluation and Measurement of Software Process Improvement -- A
Systematic Literature Review [6.973622134568803]
ソフトウェアプロセス改善(Software Process Improvement, SPI)は、ソフトウェア開発組織の効率性と効率性を高めるための体系的なアプローチである。
本研究の目的は、異なるSPIイニシアチブの効果を評価するために用いられる評価戦略と測定値を特定し、特徴付けることである。
論文 参考訳（メタデータ） (2023-07-24T21:51:15Z) - Multi-Dimensional Evaluation of Text Summarization with In-Context
Learning [79.02280189976562]
本稿では,テキスト内学習を用いた多次元評価器として,大規模言語モデルの有効性について検討する。
実験の結果,テキスト要約作業において,文脈内学習に基づく評価手法が学習評価フレームワークと競合していることが判明した。
次に、テキスト内サンプルの選択や数などの要因がパフォーマンスに与える影響を分析する。
論文 参考訳（メタデータ） (2023-06-01T23:27:49Z) - Revisiting the Gold Standard: Grounding Summarization Evaluation with
Robust Human Evaluation [136.16507050034755]
要約のための既存の人間の評価研究は、アノテータ間の合意が低かったり、スケールが不十分だったりしている。
細粒度セマンティック・ユニットをベースとした改良された要約サリエンス・プロトコルであるAtomic Content Units (ACUs)を提案する。
ロバスト・サムライゼーション・アセスメント(RoSE)ベンチマークは,28の上位性能システム上で22,000の要約レベルのアノテーションからなる大規模な人的評価データセットである。
論文 参考訳（メタデータ） (2022-12-15T17:26:05Z) - Social Biases in Automatic Evaluation Metrics for NLG [53.76118154594404]
本稿では,単語埋め込みアソシエーションテスト(WEAT)と文埋め込みアソシエーションテスト(SEAT)に基づく評価手法を提案する。
我々は、画像キャプションやテキスト要約タスクにおける性別バイアスの影響を調査するために、性別対応メタ評価データセットを構築した。
論文 参考訳（メタデータ） (2022-10-17T08:55:26Z) - Ranking Scientific Papers Using Preference Learning [48.78161994501516]
我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。
ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-02T19:41:47Z) - How to Evaluate a Summarizer: Study Design and Statistical Analysis for
Manual Linguistic Quality Evaluation [3.624563211765782]
評価手法の最良の選択は、ある側面から別の側面まで様々であることを示す。
その結果,アノテータの総数は研究力に強い影響を及ぼす可能性が示唆された。
現在の統計解析手法では、I型エラー率を最大8倍にすることができる。
論文 参考訳（メタデータ） (2021-01-27T10:14:15Z) - User and Item-aware Estimation of Review Helpfulness [4.640835690336653]
有用性決定因子としてのレビューの性質における逸脱の役割について検討する。
本稿では,従来のものを拡張した新しい有用性推定モデルを提案する。
そこで本モデルは,意思決定におけるユーザフィードバックの選択に有効なツールである。
論文 参考訳（メタデータ） (2020-11-20T15:35:56Z) - Re-evaluating Evaluation in Text Summarization [77.4601291738445]
トップスコアシステム出力を用いたテキスト要約の評価手法を再評価する。
古いデータセットにおける評価指標に関する結論は、現代データセットやシステムに必ずしも当てはまらない。
論文 参考訳（メタデータ） (2020-10-14T13:58:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。