論文の概要: Social Good or Scientific Curiosity? Uncovering the Research Framing Behind NLP Artefacts

• arxiv url: http://arxiv.org/abs/2505.18677v1
• Date: Sat, 24 May 2025 12:46:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.586409
• Title: Social Good or Scientific Curiosity? Uncovering the Research Framing Behind NLP Artefacts
• Title（参考訳）: 社会的好奇心と科学的好奇心 : NLPアーティファクトの裏での研究フレームが発見される
• Authors: Eric Chamoun, Nedjma Ousidhoum, Michael Schlichtkrull, Andreas Vlachos,
• Abstract要約: NLPアーティファクトの研究フレームの明確化は、研究と実践的応用の整合化に不可欠である。 最近の研究では、NLPの研究をドメイン間で手動で分析し、主要な利害関係者、意図された用途、あるいは適切なコンテキストを明確に特定する論文はほとんどないことを示した。 まず、重要な要素(意味、目的、利害関係者)を抽出し、解釈可能なルールと文脈的推論を通してそれらをリンクすることによって、研究フレーミングを推論する3成分システムを開発する。
• 参考スコア（独自算出の注目度）: 10.225194259153426
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Clarifying the research framing of NLP artefacts (e.g., models, datasets, etc.) is crucial to aligning research with practical applications. Recent studies manually analyzed NLP research across domains, showing that few papers explicitly identify key stakeholders, intended uses, or appropriate contexts. In this work, we propose to automate this analysis, developing a three-component system that infers research framings by first extracting key elements (means, ends, stakeholders), then linking them through interpretable rules and contextual reasoning. We evaluate our approach on two domains: automated fact-checking using an existing dataset, and hate speech detection for which we annotate a new dataset-achieving consistent improvements over strong LLM baselines. Finally, we apply our system to recent automated fact-checking papers and uncover three notable trends: a rise in vague or underspecified research goals, increased emphasis on scientific exploration over application, and a shift toward supporting human fact-checkers rather than pursuing full automation.
• Abstract（参考訳）: NLPアーティファクト(モデル、データセットなど)の研究フレーミングを明確にすることは、研究を実践的な応用と整合させる上で不可欠である。 最近の研究では、NLPの研究をドメイン間で手動で分析し、主要な利害関係者、意図された用途、あるいは適切なコンテキストを明確に特定する論文はほとんどないことを示した。 本研究では,まず重要な要素(意味,目的,利害関係者)を抽出し,解釈可能なルールと文脈的推論を通じてそれらをリンクすることによって,研究フレーミングを推論する3成分システムを提案する。 既存のデータセットを用いた自動ファクトチェックと,強力なLCMベースラインよりも一貫性のある新しいデータセットをアノテートするヘイトスピーチ検出という,2つの領域に対するアプローチを評価した。 最後に,本システムを最近の自動事実チェック論文に適用し,曖昧あるいは未特定な研究目標の増大,応用に関する科学的調査の強調,完全自動化を追求するよりも人間の事実チェックを支援することへのシフトという,3つの顕著な傾向を明らかにする。

関連論文リスト

• Transforming Science with Large Language Models: A Survey on AI-assisted Scientific Discovery, Experimentation, Content Generation, and Evaluation [58.064940977804596]
  多くの新しいAIモデルとツールが提案され、世界中の研究者や学者が研究をより効果的かつ効率的に実施できるようにすることを約束している。 これらのツールの欠点と誤用の可能性に関する倫理的懸念は、議論の中で特に顕著な位置を占める。
  論文  参考訳（メタデータ） (2025-02-07T18:26:45Z)
• Automating Bibliometric Analysis with Sentence Transformers and Retrieval-Augmented Generation (RAG): A Pilot Study in Semantic and Contextual Search for Customized Literature Characterization for High-Impact Urban Research [2.1728621449144763]
  文献分析は、都市科学における研究動向、スコープ、影響を理解するために不可欠である。 キーワード検索に依存する伝統的な手法は、記事のタイトルやキーワードに明記されていない価値ある洞察を明らかにするのに失敗することが多い。 我々は、生成AIモデル、特にトランスフォーマーとレトリーバル拡張生成(RAG)を活用して、バイオロメトリ分析の自動化と強化を行う。
  論文  参考訳（メタデータ） (2024-10-08T05:13:27Z)
• Data-Centric AI in the Age of Large Language Models [51.20451986068925]
  本稿では,大規模言語モデル(LLM)に着目した,AI研究におけるデータ中心の視点を提案する。 本研究では,LLMの発達段階(事前学習や微調整など)や推論段階(文脈内学習など)において,データが有効であることを示す。 データを中心とした4つのシナリオを特定し、データ中心のベンチマークとデータキュレーション、データ属性、知識伝達、推論コンテキスト化をカバーします。
  論文  参考訳（メタデータ） (2024-06-20T16:34:07Z)
• RelevAI-Reviewer: A Benchmark on AI Reviewers for Survey Paper Relevance [0.8089605035945486]
  本稿では,調査論文レビューの課題を分類問題として概念化するシステムであるRelevAI-Reviewerを提案する。 25,164のインスタンスからなる新しいデータセットを導入する。各インスタンスには1つのプロンプトと4つの候補論文があり、それぞれがプロンプトに関連している。 我々は,各論文の関連性を判断し,最も関連性の高い論文を識別できる機械学習(ML)モデルを開発した。
  論文  参考訳（メタデータ） (2024-06-13T06:42:32Z)
• ResearchArena: Benchmarking Large Language Models' Ability to Collect and Organize Information as Research Agents [21.17856299966841]
  本研究では,学術調査における大規模言語モデル(LLM)の評価のためのベンチマークであるResearchArenaを紹介する。 これらの機会を養うため、12万のフルテキスト学術論文と7.9Kのサーベイ論文の環境を構築した。
  論文  参考訳（メタデータ） (2024-06-13T03:26:30Z)
• Research Trends and Applications of Data Augmentation Algorithms [77.34726150561087]
  我々は,データ拡張アルゴリズムの適用分野,使用するアルゴリズムの種類,重要な研究動向,時間経過に伴う研究の進展,およびデータ拡張文学における研究ギャップを同定する。 我々は、読者がデータ拡張の可能性を理解し、将来の研究方向を特定し、データ拡張研究の中で質問を開くことを期待する。
  論文  参考訳（メタデータ） (2022-07-18T11:38:32Z)
• Wizard of Search Engine: Access to Information Through Conversations with Search Engines [58.53420685514819]
  我々は3つの側面からCISの研究を促進するために努力している。 目的検出(ID)、キーフレーズ抽出(KE)、行動予測(AP)、クエリ選択(QS)、通過選択(PS)、応答生成(RG)の6つのサブタスクでCIS用のパイプラインを定式化する。 検索エンジンのウィザード(WISE)と呼ばれるベンチマークデータセットをリリースし、CISのすべての側面について包括的かつ詳細な調査を可能にします。
  論文  参考訳（メタデータ） (2021-05-18T06:35:36Z)
• What's New? Summarizing Contributions in Scientific Literature [85.95906677964815]
  本稿では,論文のコントリビューションと作業状況について,個別の要約を生成するために,論文要約のアンタングル化という新たなタスクを導入する。 本稿では,学術論文のS2ORCコーパスを拡張し,コントリビューション・コントリビューション・コントリビューション・レファレンス・ラベルを付加する。 本稿では, 生成した出力の関連性, 新規性, 絡み合いを報告する総合的自動評価プロトコルを提案する。
  論文  参考訳（メタデータ） (2020-11-06T02:23:01Z)
• Two Huge Title and Keyword Generation Corpora of Research Articles [0.0]
  本稿では,テキスト要約(OAGSX)とキーワード生成(OAGKX)の2つの巨大なデータセットを紹介する。 データは、研究プロファイルと出版物のネットワークであるOpen Academic Graphから取得された。 より具体的な分野から研究論文のサブセットを導出するために、この2つの集合にトピックモデリングを適用したい。
  論文  参考訳（メタデータ） (2020-02-11T21:17:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。