論文の概要: What Do NLP Researchers Believe? Results of the NLP Community Metasurvey
- arxiv url: http://arxiv.org/abs/2208.12852v1
- Date: Fri, 26 Aug 2022 19:45:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-30 12:55:47.805143
- Title: What Do NLP Researchers Believe? Results of the NLP Community Metasurvey
- Title（参考訳）: NLP研究者は何を信じているのか?
NLPコミュニティメタサーベイの結果
- Authors: Julian Michael, Ari Holtzman, Alicia Parrish, Aaron Mueller, Alex
Wang, Angelica Chen, Divyam Madaan, Nikita Nangia, Richard Yuanzhe Pang,
Jason Phang, Samuel R. Bowman
- Abstract要約: NLP Community Metasurveyの結果を報告する。
この調査は議論を呼んだ問題に関する意見を提起した。
コミュニティの予測が現実と一致しない誤った社会学的信念を見出す。
- 参考スコア（独自算出の注目度）: 43.763865378178245
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present the results of the NLP Community Metasurvey. Run from May to June
2022, the survey elicited opinions on controversial issues, including industry
influence in the field, concerns about AGI, and ethics. Our results put
concrete numbers to several controversies: For example, respondents are split
almost exactly in half on questions about the importance of artificial general
intelligence, whether language models understand language, and the necessity of
linguistic structure and inductive bias for solving NLP problems. In addition,
the survey posed meta-questions, asking respondents to predict the distribution
of survey responses. This allows us not only to gain insight on the spectrum of
beliefs held by NLP researchers, but also to uncover false sociological beliefs
where the community's predictions don't match reality. We find such mismatches
on a wide range of issues. Among other results, the community greatly
overestimates its own belief in the usefulness of benchmarks and the potential
for scaling to solve real-world problems, while underestimating its own belief
in the importance of linguistic structure, inductive bias, and
interdisciplinary science.
- Abstract（参考訳）: NLP Community Metasurveyの結果を報告する。
2022年5月から6月にかけて行われた調査では、業界への影響、AGIへの懸念、倫理など、議論の的になっている問題について意見が分かれた。
例えば、回答者は、人工知能の重要性、言語モデルが言語を理解するかどうか、言語構造の必要性、NLP問題を解決するための帰納的バイアスについて、ほぼ半分に分けている。
さらに、調査はメタクエストを行い、回答者に調査回答の分布を予測するよう求めた。
これにより、NLP研究者が持つ信念のスペクトルについての洞察を得るだけでなく、コミュニティの予測が現実と一致しない誤った社会学的信念を明らかにすることができる。
幅広い問題について、このようなミスマッチが見つかります。
コミュニティは、言語構造、帰納的バイアス、学際科学の重要性に対する自身の信念を過小評価しながら、ベンチマークの有用性と現実世界の問題を解決するためのスケーリングの可能性に対する自身の信念を過大評価している。
関連論文リスト
- What Can Natural Language Processing Do for Peer Review? [173.8912784451817]
現代の科学ではピアレビューが広く使われているが、それは難しく、時間がかかり、エラーを起こしやすい。
ピアレビューに関わるアーティファクトは大部分がテキストベースであるため、自然言語処理はレビューを改善する大きな可能性を秘めている。
筆者らは、原稿提出からカメラ対応リビジョンまでの各工程について詳述し、NLP支援の課題と機会について論じる。
論文 参考訳（メタデータ） (2024-05-10T16:06:43Z) - SOUL: Towards Sentiment and Opinion Understanding of Language [96.74878032417054]
我々は、言語感覚とオピニオン理解(SOUL)と呼ばれる新しいタスクを提案する。
SOULは2つのサブタスクを通して感情理解を評価することを目的としている:レビュー(RC)と正当化生成(JG)。
論文 参考訳（メタデータ） (2023-10-27T06:48:48Z) - NLPBench: Evaluating Large Language Models on Solving NLP Problems [41.01588131136101]
大規模言語モデル(LLM)は、自然言語処理(NLP)の能力を高めることを約束している。
イェール大学の最終試験から得られた様々なNLPトピックにまたがる378の大学レベルのNLP質問を含む,ユニークなベンチマークデータセットであるNLPBenchを提案する。
GPT-3.5/4, PaLM-2, LLAMA-2などのLCMに着目した評価では, チェーン・オブ・シークレット(CoT)やツリー・オブ・シークレット(ToT)といった先進的なプロンプト戦略が取り入れられている。
論文 参考訳（メタデータ） (2023-09-27T13:02:06Z) - Surveying (Dis)Parities and Concerns of Compute Hungry NLP Research [75.84463664853125]
我々は,3つのトピック,すなわち環境影響,株式,およびピアレビューへの影響に関する懸念を定量化するための最初の試みを提供する。
我々は、高齢者、アカデミック、産業に関して、異なるグループと異なるグループ内の既存の(異なる)格差を捉えます。
私たちは、発見された格差を軽減するためのレコメンデーションを考案しました。
論文 参考訳（メタデータ） (2023-06-29T12:44:53Z) - Thorny Roses: Investigating the Dual Use Dilemma in Natural Language
Processing [45.72382504913193]
我々は,NLP研究者と実践者を対象に,問題の深さと展望を理解するために調査を行った。
調査の結果に基づき,NLPコミュニティのニーズに合わせた二重利用の定義を提供する。
我々は、NLPにおける二重利用を緩和する現在の状況と潜在的手段について議論し、既存の会議倫理枠組みに統合可能なチェックリストを提案する。
論文 参考訳（メタデータ） (2023-04-17T14:37:43Z) - A Survey on Bias and Fairness in Natural Language Processing [1.713291434132985]
我々は、バイアスの起源、公平性の定義、NLPバイアスのサブフィールドの違いを緩和する方法について分析する。
我々は,NLPアルゴリズムによる悪質な偏見の根絶に向けた今後の研究について論じる。
論文 参考訳（メタデータ） (2022-03-06T18:12:30Z) - Causal Inference in Natural Language Processing: Estimation, Prediction,
Interpretation and Beyond [38.055142444836925]
学術分野にまたがる研究を集約し、より広い自然言語処理の現場に配置する。
本稿では,因果効果を推定する統計的課題を紹介し,テキストを結果,治療,あるいはコンバウンディングに対処するための手段として用いるような設定を包含する。
さらに, NLPモデルの性能, 堅牢性, 公正性, 解釈可能性を向上させるために, 因果推論の潜在的利用について検討する。
論文 参考訳（メタデータ） (2021-09-02T05:40:08Z) - Sentiment Analysis Based on Deep Learning: A Comparative Study [69.09570726777817]
世論の研究は我々に貴重な情報を提供することができる。
感情分析の効率性と正確性は、自然言語処理で直面する課題によって妨げられている。
本稿では、感情分析の問題を解決するためにディープラーニングを用いた最新の研究をレビューする。
論文 参考訳（メタデータ） (2020-06-05T16:28:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。