論文の概要: Can citations tell us about a paper's reproducibility? A case study of machine learning papers

• arxiv url: http://arxiv.org/abs/2405.03977v1
• Date: Tue, 7 May 2024 03:29:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-08 15:28:42.121680
• Title: Can citations tell us about a paper's reproducibility? A case study of machine learning papers
• Title（参考訳）: 論文の再現性について説明できるか? : 機械学習論文を事例として
• Authors: Rochana R. Obadage, Sarah M. Rajtmajer, Jian Wu,
• Abstract要約: リソースの制約やドキュメントの不十分さは、レプリケーションの実行を特に困難にします。 本稿では,機械学習の再現性問題に関わる論文の引用文脈に適用した感情分析フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 3.5120846057971065
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The iterative character of work in machine learning (ML) and artificial intelligence (AI) and reliance on comparisons against benchmark datasets emphasize the importance of reproducibility in that literature. Yet, resource constraints and inadequate documentation can make running replications particularly challenging. Our work explores the potential of using downstream citation contexts as a signal of reproducibility. We introduce a sentiment analysis framework applied to citation contexts from papers involved in Machine Learning Reproducibility Challenges in order to interpret the positive or negative outcomes of reproduction attempts. Our contributions include training classifiers for reproducibility-related contexts and sentiment analysis, and exploring correlations between citation context sentiment and reproducibility scores. Study data, software, and an artifact appendix are publicly available at https://github.com/lamps-lab/ccair-ai-reproducibility .
• Abstract（参考訳）: 機械学習(ML)と人工知能(AI)における作業の反復的特徴と、ベンチマークデータセットとの比較への依存は、その文献における再現性の重要性を強調している。 しかし、リソースの制約やドキュメントの不十分さは、レプリケーションの実行を特に困難にします。 我々の研究は、下流の引用コンテキストを再現可能性のシグナルとして用いる可能性を探究する。 本稿では,再現の試みの肯定的あるいは否定的な結果を理解するために,機械学習再現性課題に関わる論文の引用文脈に適用した感情分析フレームワークを提案する。 コントリビューションには、再現性関連コンテキストと感情分析のためのトレーニング分類器、引用文脈の感情と再現性スコアの相関について調べる。 研究データ、ソフトウェア、およびアーティファクトの付録はhttps://github.com/lamps-lab/ccair-ai-reproducibility で公開されている。

関連論文リスト

• On the Capacity of Citation Generation by Large Language Models [38.47160164251295]
  Retrieval-augmented Generation (RAG) は、大規模言語モデル(LLM)における「ハロシン化」問題を緩和するための有望な方法として現れる。
  論文  参考訳（メタデータ） (2024-10-15T03:04:26Z)
• Analysis of Plan-based Retrieval for Grounded Text Generation [78.89478272104739]
  幻覚は、言語モデルがそのパラメトリック知識の外で生成タスクが与えられるときに起こる。 この制限に対処するための一般的な戦略は、言語モデルに検索メカニズムを注入することである。 我々は,幻覚の頻度をさらに減少させるために,探索のガイドとして計画をどのように利用できるかを分析する。
  論文  参考訳（メタデータ） (2024-08-20T02:19:35Z)
• C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
  c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。 各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-02-17T11:28:08Z)
• Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection [74.51523859064802]
  我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。 自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。 様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-10-17T18:18:32Z)
• Lessons in Reproducibility: Insights from NLP Studies in Materials Science [4.205692673448206]
  我々は,これらの研究を観点から理解し,材料情報学の分野に対するその大きな影響を,それらに批判的でなく認識することを目的としている。 本研究は, 両論文とも, 徹底した, 丁寧な, ドキュメント化され, モデル評価のための明確なガイダンスが得られたことを示唆する。 著作権制限が許すトレーニングデータへのアクセス、モデルアーキテクチャとトレーニングプロセスの透明性の向上、ソフトウェア依存バージョン仕様など、改善すべき領域を強調します。
  論文  参考訳（メタデータ） (2023-07-28T18:36:42Z)
• Factually Consistent Summarization via Reinforcement Learning with Textual Entailment Feedback [57.816210168909286]
  我々は,この問題を抽象的な要約システムで解くために,テキストエンテーメントモデルの最近の進歩を活用している。 我々は、事実整合性を最適化するために、レファレンスフリーのテキストエンターメント報酬を用いた強化学習を用いる。 自動測定と人的評価の両結果から,提案手法は生成した要約の忠実さ,サリエンス,簡潔さを著しく向上させることが示された。
  論文  参考訳（メタデータ） (2023-05-31T21:04:04Z)
• CiteBench: A benchmark for Scientific Citation Text Generation [69.37571393032026]
  CiteBenchは引用テキスト生成のベンチマークである。 CiteBenchのコードはhttps://github.com/UKPLab/citebench.comで公開しています。
  論文  参考訳（メタデータ） (2022-12-19T16:10:56Z)
• Investigating Fairness Disparities in Peer Review: A Language Model Enhanced Approach [77.61131357420201]
  我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。 我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。 我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
  論文  参考訳（メタデータ） (2022-11-07T16:19:42Z)
• No Pattern, No Recognition: a Survey about Reproducibility and Distortion Issues of Text Clustering and Topic Modeling [0.0]
  機械学習アルゴリズムは、ラベルのないテキストから知識を抽出するために使用することができる。 教師なし学習は、機械学習アルゴリズムによって変動を引き起こす可能性がある。 異常値と異常値の存在が決定要因となる。
  論文  参考訳（メタデータ） (2022-08-02T19:51:43Z)
• Predicting the Reproducibility of Social and Behavioral Science Papers Using Supervised Learning Models [21.69933721765681]
  本論文では,学術研究から5種類の特徴を抽出し,公開研究クレームの評価を支援するフレームワークを提案する。 個々の特徴と人間評価の基底真理ラベルのセットを予測するための重要性のペアワイズ相関を分析します。
  論文  参考訳（メタデータ） (2021-04-08T00:45:20Z)
• "Let's Eat Grandma": When Punctuation Matters in Sentence Representation for Sentiment Analysis [13.873803872380229]
  我々は、句読点が感情分析において重要な役割を果たすと論じ、構文的および文脈的パフォーマンスを改善するための新しい表現モデルを提案する。 公開データセットの実験を行い、モデルが他の最先端のベースラインメソッドよりも正確に感情を識別することができることを確認します。
  論文  参考訳（メタデータ） (2020-12-10T19:07:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。