論文の概要: Did AI get more negative recently?
- arxiv url: http://arxiv.org/abs/2202.13610v3
- Date: Thu, 29 Jun 2023 08:53:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-30 17:10:36.526858
- Title: Did AI get more negative recently?
- Title(参考訳): AIは最近よりネガティブになったか?
- Authors: Dominik Beese and Beg\"um Altunba\c{s} and G\"orkem G\"uzeler and
Steffen Eger
- Abstract要約: 我々は、自然言語処理(NLP)と機械学習(ML)の分野における科学論文を、人工知能(AI)のコアサブフィールドとして分類する。
我々は、(i)の貢献を「肯定的姿勢」、(ii)の貢献を「否定的姿勢」とする。
我々は,NLPおよびMLにおける過去35年間の41k以上の論文の大規模傾向を分析し,論文は時間とともに著しく肯定的になったが,否定的な論文もさらに否定的になり,近年ではかなり否定的な論文が観察されている。
- 参考スコア(独自算出の注目度): 17.610382230820395
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we classify scientific articles in the domain of natural
language processing (NLP) and machine learning (ML), as core subfields of
artificial intelligence (AI), into whether (i) they extend the current
state-of-the-art by the introduction of novel techniques which beat existing
models or whether (ii) they mainly criticize the existing state-of-the-art,
i.e. that it is deficient with respect to some property (e.g. wrong evaluation,
wrong datasets, misleading task specification). We refer to contributions under
(i) as having a 'positive stance' and contributions under (ii) as having a
'negative stance' (to related work). We annotate over 1.5 k papers from NLP and
ML to train a SciBERT-based model to automatically predict the stance of a
paper based on its title and abstract. We then analyse large-scale trends on
over 41 k papers from the last approximately 35 years in NLP and ML, finding
that papers have become substantially more positive over time, but negative
papers also got more negative and we observe considerably more negative papers
in recent years. Negative papers are also more influential in terms of
citations they receive.
- Abstract(参考訳): 本稿では,自然言語処理(NLP)と機械学習(ML)の分野における科学論文を,人工知能(AI)のコアサブフィールドとして分類する。
(i)既存モデルに勝る斬新な技術の導入により、現況を拡大する。
(ii)既存の最先端、すなわち、ある性質(間違った評価、誤ったデータセット、誤解を招くタスク仕様など)に関して不足していることを主に批判している。
私たちは下記の貢献について言及する
(i)「肯定的な姿勢」と貢献を有すること
(ii)「否定的姿勢」(関連業務)を有すること。
我々はNLPとMLから1.5k以上の論文に注釈を付け、SciBERTベースのモデルをトレーニングし、そのタイトルと抽象に基づいて論文のスタンスを自動的に予測する。
その後,過去35年間のnlpおよびmlにおける41k以上の論文の大規模傾向を解析した結果,論文は時間とともに有意に肯定的となったが,否定的な論文も否定的になり,近年ではかなり否定的な論文が観察された。
否定的な論文は引用の観点でもより影響力がある。
関連論文リスト
- From Words to Worth: Newborn Article Impact Prediction with LLM [69.41680520058418]
本稿は,LLMの微調整機能を活用して,新たな記事の今後の影響を予測する,有望なアプローチを提案する。
LLMを微調整するための包括的なデータセットが構築されリリースされ、対応するタイトル、抽象化、TLCSI_SPを含む12,000以上のエントリが含まれている。
論文 参考訳(メタデータ) (2024-08-07T17:52:02Z) - Eliminating Position Bias of Language Models: A Mechanistic Approach [119.34143323054143]
位置バイアスは現代言語モデル (LM) の一般的な問題であることが証明されている。
我々の力学解析は、ほぼ全ての最先端のLMで使われている2つのコンポーネント(因果的注意と相対的位置エンコーディング)に位置バイアスが関係している。
位置バイアスを排除することによって、LM-as-a-judge、検索強化QA、分子生成、数学推論など、下流タスクのパフォーマンスと信頼性が向上する。
論文 参考訳(メタデータ) (2024-07-01T09:06:57Z) - NLLG Quarterly arXiv Report 09/23: What are the most influential current
AI Papers? [21.68589129842815]
米国はトップ40紙とトップ9k紙の両方で支配的であり、その後中国が続いた。
欧州は明らかに遅れており、最も引用された論文のトップ40にはほとんど掲載されていない。
米国の産業は、最も影響力のある40の論文で大半が誇張されている。
論文 参考訳(メタデータ) (2023-12-09T21:42:20Z) - CausalCite: A Causal Formulation of Paper Citations [80.82622421055734]
CausalCiteは紙の意義を測定するための新しい方法だ。
これは、従来のマッチングフレームワークを高次元のテキスト埋め込みに適応させる、新しい因果推論手法であるTextMatchに基づいている。
科学専門家が報告した紙衝撃と高い相関性など,各種基準におけるCausalCiteの有効性を実証する。
論文 参考訳(メタデータ) (2023-11-05T23:09:39Z) - NLLG Quarterly arXiv Report 06/23: What are the most influential current
AI Papers? [15.830129136642755]
目的は、最も関連性があり広く議論されている研究のクイックガイドを提供することであり、新参者や確立された研究者が現在の傾向を振り返り続けるのを助けることである。
我々は2023年前半に,大規模言語モデル(LLM),特にChatGPTに関連する論文の優位性を観察した。
NLP関連の論文は、私たちのデータにはML関連の論文の2倍の数の論文があるにもかかわらず、最も影響力がある(トップ論文の約60%)。
論文 参考訳(メタデータ) (2023-07-31T11:53:52Z) - Forgotten Knowledge: Examining the Citational Amnesia in NLP [63.13508571014673]
論文を引用するのにどれくらいの時間がかかったのか、どのようにして変化したのか、そしてこの引用的注意/記憶に相関する要因は何か。
引用論文の約62%が出版直前の5年間のものであり,約17%が10年以上前のものであることを示す。
1990年から2014年にかけて、引用論文の中央値と年齢の多様性は着実に増加してきたが、その後傾向が逆転し、現在のNLP論文は、時間的引用の多様性が極端に低い。
論文 参考訳(メタデータ) (2023-05-29T18:30:34Z) - A Major Obstacle for NLP Research: Let's Talk about Time Allocation! [25.820755718678786]
本稿は、自然言語処理の分野では、私たちよりも成功しなかったことを論じる。
近年,NLP研究において,時間割当が大きな障害となっていることが実証された。
論文 参考訳(メタデータ) (2022-11-30T10:00:12Z) - Geographic Citation Gaps in NLP Research [63.13508571014673]
この研究は、地理的な位置と出版の成功との関係について一連の疑問を呈する。
われわれはまず,ACLアンソロジーから7万件の論文のデータセットを作成し,そのメタ情報を抽出し,引用ネットワークを生成した。
論文の受理や引用において地理的に大きな差異があるだけでなく,出版場所やNLPのサブフィールドなどの変数を制御しても,これらの格差は持続することを示す。
論文 参考訳(メタデータ) (2022-10-26T02:25:23Z) - AES Systems Are Both Overstable And Oversensitive: Explaining Why And
Proposing Defenses [66.49753193098356]
スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。
のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。
高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
論文 参考訳(メタデータ) (2021-09-24T03:49:38Z) - Examining Citations of Natural Language Processing Literature [31.87319293259599]
AAの論文の約56%が10回以上引用されている。
CL Journalは最も引用された論文があるが、近年は引用の優位性が低下している。
感情分類、アナフォラ分解能、およびエンティティ認識に関する論文は、最も中央値の引用がある。
論文 参考訳(メタデータ) (2020-05-02T20:01:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。