論文の概要: Research Paper Quality Recognition Through Textual Feature Analysis

• arxiv url: http://arxiv.org/abs/2608.20368v1
• Date: Fri, 19 Jun 2026 01:35:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 14:48:16.073151
• Title: Research Paper Quality Recognition Through Textual Feature Analysis
• Title（参考訳）: テクスト特徴分析による紙品質認識に関する研究
• Abstract要約: 本稿では,研究論文を良(高引用)と非良(減算)の2つのカテゴリに分類するベンチマークを紹介する。 我々は、SBERT、Word2Vec、FastText、USE、TF-IDFを含む複数の埋め込み技術を評価する。 実験の結果、SBERT埋め込みのニューラルネットワークは87.22%の精度を達成し、FastTextとSVMの組み合わせは91.12%に達した。
• 参考スコア（独自算出の注目度）: 18.021717653537305
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Knowledge and innovations are shaped by using the quality and credibility of the scientific research. Yet, distinguishing between impactful, high-quality work and flawed studies remains a challenge. This paper introduces a benchmark for classifying research papers into two categories: good (highly cited) and non-good (retracted), using only textual features from titles and abstracts. We evaluate multiple embedding techniques, including SBERT, Word2Vec, FastText, USE, and TF-IDF, combined with classifiers such as Support Vector Machines (SVM), Random Forests, and Neural Networks. Our contributions include: (1) hyperparameter transparency, (2) feature space visualizations using t-SNE, (3) model interpretability analysis with SHAP, and (4) detailed examination of error cases. Experimental results show that a neural network with SBERT embeddings achieves 87.22\% accuracy, while FastText combined with SVM reaches 91.12\%. These findings highlight the value of textual information in assessing research quality, with ethical considerations for deployment. This work contributes toward the development of academic integrity tools that promote trustworthy scholarship.
• Abstract（参考訳）: 知識と革新は、科学研究の質と信頼性を利用して形成されている。 しかし、インパクトのある、高品質な仕事と欠陥のある研究の区別は依然として難しい。 本稿では,研究論文を「良」と「非良」の2つのカテゴリに分類するベンチマークを,タイトルや要約のテキスト的特徴のみを用いて紹介する。 我々は、SBERT、Word2Vec、FastText、USE、TF-IDFといった複数の埋め込み技術と、SVM(Support Vector Machines)、ランダムフォレスト、ニューラルネットワークなどの分類器を組み合わせて評価する。 コントリビューションには,(1)ハイパーパラメータの透過性,(2)t-SNEを用いた特徴空間の可視化,(3)SHAPを用いたモデル解釈可能性分析,(4)エラー事例の詳細な検査などが含まれている。 実験の結果、SBERT埋め込みを持つニューラルネットワークは87.22\%の精度を達成し、FastTextとSVMを組み合わせると91.12\%に達することが示された。 これらの知見は, 研究の質を評価する上でのテキスト情報の価値, 展開に対する倫理的考察を浮き彫りにした。 この研究は、信頼できる奨学金を促進する学術的整合性ツールの開発に貢献する。

関連論文リスト

• How Do LLMs Encode Scientific Quality? An Empirical Study Using Monosemantic Features from Sparse Autoencoders [0.8633013637160062]
  本稿では,大規模言語モデル (LLM) が科学的品質の概念をどう符号化するかを検討する。 我々は、異なる実験条件下でこれらの特徴を導き、予測器として機能する能力を評価する。 研究品質の表現のキーとなる側面を捉えた4種類の特徴を同定する。
  論文  参考訳（メタデータ） (2026-02-22T10:12:20Z)
• Machine Text Detectors are Membership Inference Attacks [55.07733196689313]
  我々は,あるタスクに対してもともと開発された手法が,他方でどのように機能するかを理論的,実証的に検討する。 7つの最先端MIA法と5つの最先端マシンテキスト検出器を含む大規模実験は、クロスタスク性能において非常に強いランク相関(rho >)を示す。 この結果から,両研究コミュニティ間のクロスタスク意識とコラボレーションの必要性が示唆された。
  論文  参考訳（メタデータ） (2025-10-22T11:39:01Z)
• SciSage: A Multi-Agent Framework for High-Quality Scientific Survey Generation [2.985620880452744]
  SciSageはリフレクション・ワン・ユー・ライト・パラダイムを使ったマルチエージェント・フレームワークである。 アウトライン、セクション、ドキュメントレベルでのドラフトを批判的に評価し、クエリの解釈、コンテンツ検索、洗練のための特別なエージェントと協調する。 また、11のコンピュータサイエンス領域にわたる46のハイインパクト論文(2020-2025)のベンチマークであるSurveyScopeをリリースしています。
  論文  参考訳（メタデータ） (2025-06-15T02:23:47Z)
• Investigating Persuasion Techniques in Arabic: An Empirical Study Leveraging Large Language Models [0.13980986259786224]
  本稿では、アラビアのソーシャルメディアコンテンツにおける説得的手法の同定に焦点をあてた総合的な実証的研究について述べる。 我々は、プレトレーニング言語モデル(PLM)を利用し、ArAlEvalデータセットを活用する。 本研究では,PLMの力を活用した3つの学習手法について検討した。
  論文  参考訳（メタデータ） (2024-05-21T15:55:09Z)
• A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [51.26815896167173]
  本稿では,3つの相補的な側面からPAMIレビューを総合的に分析する。 我々の分析は、現在のレビューの実践において、独特の組織パターンと永続的なギャップを明らかにします。 最後に、最先端のAI生成レビューの評価は、コヒーレンスと組織の進歩を奨励していることを示している。
  論文  参考訳（メタデータ） (2024-02-20T11:28:50Z)
• OCRBench: On the Hidden Mystery of OCR in Large Multimodal Models [122.27878464009181]
  テキスト関連視覚タスクにおいて, GPT4V や Gemini などの大規模マルチモーダルモデルの包括的評価を行った。 OCRBenchには29のデータセットがあり、最も包括的なOCR評価ベンチマークが利用できる。
  論文  参考訳（メタデータ） (2023-05-13T11:28:37Z)
• Evaluating BERT-based Scientific Relation Classifiers for Scholarly Knowledge Graph Construction on Digital Library Collections [5.8962650619804755]
  関連する科学的概念間の意味的関係を推測することは重要なステップである。 BERTベースの事前学習モデルは、自動関係分類のために広く研究されている。 既存の手法は主にクリーンテキストで評価される。 これらの制限に対処するため、私たちはOCRノイズの多いテキストを作成しました。
  論文  参考訳（メタデータ） (2023-05-03T17:32:16Z)
• On the Possibilities of AI-Generated Text Detection [76.55825911221434]
  機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。 GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
  論文  参考訳（メタデータ） (2023-04-10T17:47:39Z)
• Exploring the Use of Large Language Models for Reference-Free Text Quality Evaluation: An Empirical Study [63.27346930921658]
  ChatGPTは、参照なしで様々な視点からテキスト品質を効果的に評価することができる。 ChatGPTを用いてテキスト品質を測定するExplicit Scoreは、3つの手法の中で最も効果的で信頼性の高い方法である。
  論文  参考訳（メタデータ） (2023-04-03T05:29:58Z)
• Be More with Less: Hypergraph Attention Networks for Inductive Text Classification [56.98218530073927]
  グラフニューラルネットワーク(GNN)は、研究コミュニティで注目され、この標準タスクで有望な結果を実証している。 成功にもかかわらず、それらのパフォーマンスは、単語間の高次相互作用をキャプチャできないため、実際は大部分が危険に晒される可能性がある。 本稿では,テキスト表現学習において,少ない計算量でより表現力の高いハイパーグラフアテンションネットワーク(HyperGAT)を提案する。
  論文  参考訳（メタデータ） (2020-11-01T00:21:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。