論文の概要: From Insights to Actions: The Impact of Interpretability and Analysis Research on NLP

• arxiv url: http://arxiv.org/abs/2406.12618v2
• Date: Sat, 05 Oct 2024 20:36:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-08 13:39:43.417446
• Title: From Insights to Actions: The Impact of Interpretability and Analysis Research on NLP
• Title（参考訳）: 洞察から行動へ:解釈可能性と分析研究がNLPに与える影響
• Authors: Marius Mosbach, Vagrant Gautam, Tomás Vergara-Browne, Dietrich Klakow, Mor Geva,
• Abstract要約: 解釈可能性と分析(IA)研究は、NLP内の成長するサブフィールドである。 我々は,IA研究がNLPの幅広い分野に与える影響を定量化する。
• 参考スコア（独自算出の注目度）: 28.942812379900673
• License:
• Abstract: Interpretability and analysis (IA) research is a growing subfield within NLP with the goal of developing a deeper understanding of the behavior or inner workings of NLP systems and methods. Despite growing interest in the subfield, a criticism of this work is that it lacks actionable insights and therefore has little impact on NLP. In this paper, we seek to quantify the impact of IA research on the broader field of NLP. We approach this with a mixed-methods analysis of: (1) a citation graph of 185K+ papers built from all papers published at ACL and EMNLP conferences from 2018 to 2023, and their references and citations, and (2) a survey of 138 members of the NLP community. Our quantitative results show that IA work is well-cited outside of IA, and central in the NLP citation graph. Through qualitative analysis of survey responses and manual annotation of 556 papers, we find that NLP researchers build on findings from IA work and perceive it as important for progress in NLP, multiple subfields, and rely on its findings and terminology for their own work. Many novel methods are proposed based on IA findings and highly influenced by them, but highly influential non-IA work cites IA findings without being driven by them. We end by summarizing what is missing in IA work today and provide a call to action, to pave the way for a more impactful future of IA research.
• Abstract（参考訳）: 解釈可能性と分析(IA: Interpretability and Analysis)研究は、NLPシステムや手法の振る舞いや内部動作をより深く理解することを目的として、NLP内の成長するサブフィールドである。 サブフィールドへの関心が高まりつつあるにもかかわらず、この研究に対する批判は、活動可能な洞察が欠如しており、それゆえにNLPにはほとんど影響を与えていないことである。 本稿では,IA研究がNLPの幅広い分野に与える影響を定量化する。 筆者らは,(1)2018年から2023年までのACLおよびEMNLP会議の全論文から構築された185K以上の論文の引用グラフとその参照と引用,(2)NLPコミュニティの138名を対象にした分析を行った。 定量分析の結果,IAの作用はIAの外部でよく活性化され,NLPの励起グラフの中心にあることが明らかとなった。 調査回答の質的分析と556論文のマニュアルアノテーションにより,NLP研究者はIA研究から得られた知見に基づいて,NLP,複数のサブフィールドの進展に重要であると認識し,その発見と用語を自身の研究に頼っていることがわかった。 多くの新しい方法がIAの発見に基づいて提案され、その影響が強いが、非IAの研究の影響力は、IAの発見に駆り立てられることなく、IAの発見を引用している。 我々は、IA研究のより影響力のある未来への道を開くために、今日の仕事で欠落しているものを要約し、行動を呼び起こすことで、最終的に終わります。

関連論文リスト

• Augmenting Legal Decision Support Systems with LLM-based NLI for Analyzing Social Media Evidence [0.0]
  本稿は,NLLP 2024におけるL-NLI(Lawal Natural Language Inference)の共有タスクのシステム記述とエラー解析について述べる。 このタスクは、レビューと苦情の関連性を示す、関係を関連づけられ、矛盾し、中立的なものに分類することを必要とした。 当システムでは, 勝訴として出現し, 他の項目を著しく上回り, 法的テキスト分析におけるアプローチの有効性を実証した。
  論文  参考訳（メタデータ） (2024-10-21T13:20:15Z)
• The Nature of NLP: Analyzing Contributions in NLP Papers [77.31665252336157]
  我々は,NLP研究を構成するものについて,研究論文から定量的に検討する。 以上の結果から,NLPにおける機械学習の関与は,90年代前半から増加傾向にあることが明らかとなった。 2020年以降、言語と人々への関心が復活した。
  論文  参考訳（メタデータ） (2024-09-29T01:29:28Z)
• What Can Natural Language Processing Do for Peer Review? [173.8912784451817]
  現代の科学ではピアレビューが広く使われているが、それは難しく、時間がかかり、エラーを起こしやすい。 ピアレビューに関わるアーティファクトは大部分がテキストベースであるため、自然言語処理はレビューを改善する大きな可能性を秘めている。 筆者らは、原稿提出からカメラ対応リビジョンまでの各工程について詳述し、NLP支援の課題と機会について論じる。
  論文  参考訳（メタデータ） (2024-05-10T16:06:43Z)
• Responsible AI Considerations in Text Summarization Research: A Review of Current Practices [89.85174013619883]
  私たちは、責任あるAIコミュニティがほとんど見落としている共通のNLPタスクである、テキスト要約に重点を置いています。 我々は,2020-2022年に出版されたACLアンソロジーから333の要約論文の多段階的質的分析を行った。 私たちは、どの、どの、どの責任あるAI問題がカバーされているか、どの関係するステークホルダーが考慮されているか、そして、述べられた研究目標と実現された研究目標のミスマッチに焦点を合わせます。
  論文  参考訳（メタデータ） (2023-11-18T15:35:36Z)
• Exploring the Landscape of Natural Language Processing Research [3.3916160303055567]
  NLP関連のいくつかのアプローチが研究コミュニティで調査されている。 確立したトピックを分類し、傾向を特定し、今後の研究分野を概説する総合的研究はいまだに残っていない。 その結果,NLPにおける研究分野の分類,最近のNLPの発展分析,研究成果の要約,今後の研究の方向性について概説した。
  論文  参考訳（メタデータ） (2023-07-20T07:33:30Z)
• Surveying (Dis)Parities and Concerns of Compute Hungry NLP Research [75.84463664853125]
  我々は,3つのトピック,すなわち環境影響,株式,およびピアレビューへの影響に関する懸念を定量化するための最初の試みを提供する。 我々は、高齢者、アカデミック、産業に関して、異なるグループと異なるグループ内の既存の(異なる)格差を捉えます。 私たちは、発見された格差を軽減するためのレコメンデーションを考案しました。
  論文  参考訳（メタデータ） (2023-06-29T12:44:53Z)
• NLPeer: A Unified Resource for the Computational Study of Peer Review [58.71736531356398]
  NLPeer - 5万以上の論文と5つの異なる会場からの1万1千件のレビューレポートからなる、初めて倫理的にソースされたマルチドメインコーパス。 従来のピアレビューデータセットを拡張し、解析および構造化された論文表現、豊富なメタデータ、バージョニング情報を含む。 我々の研究は、NLPなどにおけるピアレビューの体系的、多面的、エビデンスに基づく研究への道のりをたどっている。
  論文  参考訳（メタデータ） (2022-11-12T12:29:38Z)
• Why Should Adversarial Perturbations be Imperceptible? Rethink the Research Paradigm in Adversarial NLP [83.66405397421907]
  セキュリティシナリオにおけるテキスト敵検体の研究パラダイムを再考する。 最初に、セキュリティデータセットコレクションのAdvbenchを収集し、処理し、リリースします。 次に,現実の攻撃手法をシミュレートするために,現実の敵目標を容易に達成できるルールに基づく簡単な手法を提案する。
  論文  参考訳（メタデータ） (2022-10-19T15:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。