論文の概要: A Content-Based Novelty Measure for Scholarly Publications: A Proof of
Concept
- arxiv url: http://arxiv.org/abs/2401.03642v2
- Date: Tue, 16 Jan 2024 01:05:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-17 23:34:12.115755
- Title: A Content-Based Novelty Measure for Scholarly Publications: A Proof of
Concept
- Title(参考訳): 学術出版物のコンテンツに基づく新規性尺度:概念実証
- Authors: Haining Wang
- Abstract要約: 学術出版物にノベルティの情報理論尺度を導入する。
この尺度は、学術談話の単語分布を表す言語モデルによって知覚される「サプライズ」の度合いを定量化する。
- 参考スコア(独自算出の注目度): 9.148691357200216
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Novelty, akin to gene mutation in evolution, opens possibilities for
scholarly advancement. Although peer review remains the gold standard for
evaluating novelty in scholarly communication and resource allocation, the vast
volume of submissions necessitates an automated measure of scholarly novelty.
Adopting a perspective that views novelty as the atypical combination of
existing knowledge, we introduce an information-theoretic measure of novelty in
scholarly publications. This measure quantifies the degree of 'surprise'
perceived by a language model that represents the word distribution of
scholarly discourse. The proposed measure is accompanied by face and construct
validity evidence; the former demonstrates correspondence to scientific common
sense, and the latter is endorsed through alignment with novelty evaluations
from a select panel of domain experts. Additionally, characterized by its
interpretability, fine granularity, and accessibility, this measure addresses
gaps prevalent in existing methods. We believe this measure holds great
potential to benefit editors, stakeholders, and policymakers, and it provides a
reliable lens for examining the relationship between novelty and academic
dynamics such as creativity, interdisciplinarity, and scientific advances.
- Abstract(参考訳): 進化における遺伝子変異に似た新規性は、学術的な進歩の可能性を開く。
ピアレビューは学術的コミュニケーションと資源配分のノベルティを評価するためのゴールドスタンダードであり続けているが、大量の投稿は学術的ノベルティの自動測定を必要としている。
既存の知識の非典型的組み合わせとしてノベルティを捉える視点を取り入れ,学術出版物にノベルティの情報理論尺度を導入する。
この尺度は、学術的談話の単語分布を表す言語モデルによって認識される「サーピゼーション」の程度を定量化する。
前者は科学的常識に対応することを示し、後者はドメイン専門家の選抜パネルによる斬新な評価と一致して支持される。
さらに、その解釈可能性、粒度、アクセシビリティによって特徴づけられるこの測定は、既存の手法でよく見られるギャップに対処する。
我々は、この尺度が編集者、利害関係者、政策立案者にとって大きな利益をもたらすと信じており、創造性、学際性、科学的進歩といった学問的ダイナミクスと新規性との関係を調べるための信頼できるレンズを提供する。
関連論文リスト
- Automated Fact-Checking of Climate Change Claims with Large Language
Models [3.1080484250243425]
本稿では、気候変動の主張の事実チェックを自動化するために設計された、新しいAIベースのツールであるCliminatorを提案する。
Climinatorは、様々な科学的視点を合成するために、革新的なMediator-Advocateフレームワークを使用している。
我々のモデルは、気候フィードバックと懐疑的な科学から収集されたクレームをテストする際に、顕著な精度を示す。
論文 参考訳(メタデータ) (2024-01-23T08:49:23Z) - BBScore: A Brownian Bridge Based Metric for Assessing Text Coherence [20.507596002357655]
コヒーレントテキストは本質的に文間の連続的かつ密着的な相互作用を示す。
BBScore(英: BBScore)は、ブラウン橋理論において、テキストコヒーレンスを評価するための基準のない計量である。
論文 参考訳(メタデータ) (2023-12-28T08:34:17Z) - AHAM: Adapt, Help, Ask, Model -- Harvesting LLMs for literature mining [3.8384235322772864]
本稿では、BERTopicトピックモデリングフレームワークのドメイン固有のテキストbfadaptationをガイドするAHAMの方法論とメトリクスについて述べる。
LLaMa2生成言語モデルを利用することで、ワンショット学習によるトピック定義を生成する。
トピック間の類似度評価には、言語生成および翻訳プロセスからのメトリクスを利用する。
論文 参考訳(メタデータ) (2023-12-25T18:23:03Z) - A Systematic Review on Fostering Appropriate Trust in Human-AI
Interaction [19.137907393497848]
人工知能の適切な信頼(AI)システムは、研究者と実践者の両方にとって、急速に重要な領域になってきた。
信頼度スコア、説明、信頼度基準、不確実性通信など、様々なアプローチがそれを達成するために使われてきた。
本稿では、適切な信頼を構築するための現在の実践、それを測定するためのさまざまな方法、使用するタスクの種類、それに関連する潜在的な課題を特定するための体系的なレビューを示す。
論文 参考訳(メタデータ) (2023-11-08T12:19:58Z) - Knowledge Graph Context-Enhanced Diversified Recommendation [55.98773629788986]
本研究では,知識グラフ(KG)の複雑な文脈における多角化RecSys領域について検討する。
私たちのコントリビューションには、革新的なメトリック、エンティティカバレッジ、KGドメイン内の多様性を効果的に定量化するリレーショナルカバレッジの導入が含まれています。
そこで本稿では,文脈整合性を維持しつつ,KG項目の埋め込みを符号化するCAU(Conditional Alignment and Uniformity)という新しい手法を紹介する。
論文 参考訳(メタデータ) (2023-10-20T03:18:57Z) - Exploring and Verbalizing Academic Ideas by Concept Co-occurrence [42.16213986603552]
本研究は,学術的アイデアインスピレーションのための概念共起に基づく枠組みを考案する。
我々は20の分野やトピックから概念の共起関係に基づき、進化する概念グラフを構築する。
我々は、共起励磁法と呼ばれる新しいデータ構造に基づくアイデアの記述を生成する。
論文 参考訳(メタデータ) (2023-06-04T07:01:30Z) - SciMON: Scientific Inspiration Machines Optimized for Novelty [74.78803157606083]
文献に基づく新たな科学的方向を生成するために,ニューラルランゲージモデルを探索し,拡張する。
モデルが入力背景コンテキストとして使用される新しい設定で、劇的な出発をとっています。
本稿では,過去の科学的論文から「吸入」を抽出するモデリングフレームワークであるSciMONを紹介する。
論文 参考訳(メタデータ) (2023-05-23T17:12:08Z) - Investigating Fairness Disparities in Peer Review: A Language Model
Enhanced Approach [77.61131357420201]
我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。
我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。
我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
論文 参考訳(メタデータ) (2022-11-07T16:19:42Z) - Revise and Resubmit: An Intertextual Model of Text-based Collaboration
in Peer Review [52.359007622096684]
ピアレビューは、ほとんどの科学分野における出版プロセスの重要な要素である。
既存のNLP研究は個々のテキストの分析に重点を置いている。
編集補助は、しばしばテキストのペア間の相互作用をモデル化する必要がある。
論文 参考訳(メタデータ) (2022-04-22T16:39:38Z) - A Latent-Variable Model for Intrinsic Probing [94.61336186402615]
固有プローブ構築のための新しい潜在変数定式化を提案する。
我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
論文 参考訳(メタデータ) (2022-01-20T15:01:12Z) - What's New? Summarizing Contributions in Scientific Literature [85.95906677964815]
本稿では,論文のコントリビューションと作業状況について,個別の要約を生成するために,論文要約のアンタングル化という新たなタスクを導入する。
本稿では,学術論文のS2ORCコーパスを拡張し,コントリビューション・コントリビューション・コントリビューション・レファレンス・ラベルを付加する。
本稿では, 生成した出力の関連性, 新規性, 絡み合いを報告する総合的自動評価プロトコルを提案する。
論文 参考訳(メタデータ) (2020-11-06T02:23:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。