論文の概要: CC30k: A Citation Contexts Dataset for Reproducibility-Oriented Sentiment Analysis

• arxiv url: http://arxiv.org/abs/2511.07790v1
• Date: Wed, 12 Nov 2025 01:18:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-12 20:17:03.479253
• Title: CC30k: A Citation Contexts Dataset for Reproducibility-Oriented Sentiment Analysis
• Title（参考訳）: CC30k:再現性指向感分析のためのCitation Contextsデータセット
• Authors: Rochana R. Obadage, Sarah M. Rajtmajer, Jian Wu,
• Abstract要約: 機械学習論文では、合計30,734の引用コンテキストを含むCC30kデータセットを紹介した。 得られたデータセットは、ラベル付け精度が94%に達する。 このデータセットは、機械学習論文の大規模評価の基礎を成している。
• 参考スコア（独自算出の注目度）: 3.4246771373930187
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Sentiments about the reproducibility of cited papers in downstream literature offer community perspectives and have shown as a promising signal of the actual reproducibility of published findings. To train effective models to effectively predict reproducibility-oriented sentiments and further systematically study their correlation with reproducibility, we introduce the CC30k dataset, comprising a total of 30,734 citation contexts in machine learning papers. Each citation context is labeled with one of three reproducibility-oriented sentiment labels: Positive, Negative, or Neutral, reflecting the cited paper's perceived reproducibility or replicability. Of these, 25,829 are labeled through crowdsourcing, supplemented with negatives generated through a controlled pipeline to counter the scarcity of negative labels. Unlike traditional sentiment analysis datasets, CC30k focuses on reproducibility-oriented sentiments, addressing a research gap in resources for computational reproducibility studies. The dataset was created through a pipeline that includes robust data cleansing, careful crowd selection, and thorough validation. The resulting dataset achieves a labeling accuracy of 94%. We then demonstrated that the performance of three large language models significantly improves on the reproducibility-oriented sentiment classification after fine-tuning using our dataset. The dataset lays the foundation for large-scale assessments of the reproducibility of machine learning papers. The CC30k dataset and the Jupyter notebooks used to produce and analyze the dataset are publicly available at https://github.com/lamps-lab/CC30k .
• Abstract（参考訳）: 下流文学における引用論文の再現性に関する感覚は、コミュニティの視点を提供し、公表された結果の実際の再現性を示す有望なシグナルとして示されてきた。 再現性指向の感情を効果的に予測する効果的なモデルをトレーニングし、再現性との相関関係を体系的に研究するために、機械学習論文に合計30,734の引用コンテキストを含むCC30kデータセットを導入する。 各引用コンテキストは、3つの再現性指向の感情ラベルの1つにラベル付けされる: 肯定的、否定的、中立的であり、引用された論文の再現性または複製性に反映される。 そのうち25,829はクラウドソーシングを通じてラベル付けされ、負ラベルの不足に対処するため、制御パイプラインを通じて生成されるネガティブが補足されている。 従来の感情分析データセットとは異なり、CC30kは再現性指向の感情に焦点を当て、計算再現性研究のためのリソースのギャップに対処する。 データセットは、堅牢なデータのクリーニング、慎重な群衆の選択、徹底的な検証を含むパイプラインを通じて作成された。 得られたデータセットは、ラベル付け精度が94%に達する。 そして,3つの大規模言語モデルの性能が,データセットを用いた微調整後の再現性指向の感情分類において有意に向上することが実証された。 このデータセットは、機械学習論文の再現性に関する大規模な評価の基礎となる。 CC30kデータセットとデータセットの生成と分析に使われるJupyterノートブックは、https://github.com/lamps-lab/CC30k で公開されている。

関連論文リスト

• When in Doubt, Cascade: Towards Building Efficient and Capable Guardrails [19.80434777786657]
  ターゲットデータとラベルデータを生成する合成パイプラインを開発した。 提案手法は,計算コストのごく一部で競争性能を達成できることを示す。
  論文  参考訳（メタデータ） (2024-07-08T18:39:06Z)
• Predicting Scientific Impact Through Diffusion, Conformity, and Contribution Disentanglement [11.684776349325887]
  既存のモデルは、引用数推定に静的グラフに依存するのが一般的である。 論文の拡散, コンフォーマル性, コントリビューション値に潜在的影響を分散させる新しいモデルDPPDCCを導入する。
  論文  参考訳（メタデータ） (2023-11-15T07:21:11Z)
• TRIAGE: Characterizing and auditing training data for improved regression [80.11415390605215]
  TRIAGEは回帰タスクに適した新しいデータキャラクタリゼーションフレームワークで、広範囲の回帰器と互換性がある。 TRIAGEは、共形予測分布を利用して、モデルに依存しないスコアリング方法、TRIAGEスコアを提供する。 TRIAGEの特徴は一貫性があり、複数の回帰設定においてデータの彫刻/フィルタリングによるパフォーマンス向上に有効であることを示す。
  論文  参考訳（メタデータ） (2023-10-29T10:31:59Z)
• Challenging the Myth of Graph Collaborative Filtering: a Reasoned and Reproducibility-driven Analysis [50.972595036856035]
  本稿では,6つの人気グラフと最近のグラフ推薦モデルの結果を再現するコードを提案する。 これらのグラフモデルと従来の協調フィルタリングモデルを比較する。 ユーザの近所からの情報フローを調べることにより,データセット構造における内在的特徴にどのようなモデルが影響するかを同定することを目的とする。
  論文  参考訳（メタデータ） (2023-08-01T09:31:44Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
  本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。 偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-01-31T20:09:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。