論文の概要: What Limits Us? Analyzing Self-Reported Limitations in NLP Research
- arxiv url: http://arxiv.org/abs/2609.15191v1
- Date: Mon, 14 Sep 2026 08:11:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:06.181059
- Title: What Limits Us? Analyzing Self-Reported Limitations in NLP Research
- Title（参考訳）: 限界とは何か : NLP研究における自己申告限界の分析
- Abstract要約: 我々は,2020年から2025年にかけて発行された ACL および EMNLP 論文の限界区間の大規模解析を行った。
このフレームワークは,自己申告された制約の時間的傾向,特定の紙属性との相関,およびこれらの開示に反する書き込みパターンを調査することを可能にする。
本研究は,NLPコミュニティにおける研究者の自己報告の実践と同様に,多様な課題について批判的な考察をおこなった。
- 参考スコア（独自算出の注目度）: 16.615805273207613
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Since late 2022, a Limitations section has become mandatory at many top-tier NLP conferences. The growing number of accepted papers at these venues has resulted in a vast corpus of self-reported limitations that cannot all be manually reviewed, yet remains systematically unanalyzed. Therefore, in this paper, we conduct a large-scale analysis of the Limitations sections from ACL and EMNLP papers published between 2020 and 2025 to understand what researchers disclose about their own work. To do so, we implement a novel human-AI framework for iterative hybrid qualitative coding. This framework enables us to investigate trends in self-reported limitations over time, their correlations with specific paper attributes, and the writing patterns that recur around these disclosures. Our findings offer a critical reflection on the diverse reported challenges as well as the self-reporting practices of researchers in the NLP community.
- Abstract（参考訳）: 2022年末以降、多くのトップレベルのNLPカンファレンスにおいて、制限セクションが義務付けられている。
これらの会場での受理論文の増加は、手動でレビューすることはできないが、体系的に分析されていない、大量の自己申告された制限のコーパスを生み出している。
そこで本稿では,2020年から2025年にかけて発行された ACL および EMNLP 論文の限界区間の大規模解析を行い,研究者が自身の研究について何を開示しているかを明らかにする。
そこで我々は,反復型ハイブリッド定性符号化のための新しいヒューマンAIフレームワークを実装した。
このフレームワークは,自己申告された制約の時間的傾向,特定の紙属性との相関関係,およびこれらの開示を取り巻く記述パターンを調査することを可能にする。
本研究は,NLPコミュニティにおける研究者の自己報告の実践と,課題の多様さを批判的に反映するものである。
関連論文リスト
- How Do We Engage with Other Disciplines? A Framework to Study Meaningful Interdisciplinary Discourse in Scholarly Publications [48.273878997257924]
本稿では,学際的な自然言語処理(NLP)の出版物における引用エンゲージメントの評価のための枠組みを提案する。
本手法では, 学際的な作業に適した引用目的の分類法を導入し, 注釈研究によって支援する。
我々は,NLPと計算社会科学の交点における出版物の徹底的な分析を通じて,この枠組みの有用性を実証する。
論文 参考訳（メタデータ） (2026-01-15T23:16:49Z) - Beyond "Not Novel Enough": Enriching Scholarly Critique with LLM-Assisted Feedback [81.0031690510116]
本稿では,3段階を通して専門家レビューアの動作をモデル化する,自動ノベルティ評価のための構造化アプローチを提案する。
本手法は,人文のノベルティレビューを大規模に分析した結果から得られたものである。
182 ICLR 2025 の提出で評価されたこの手法は、人間の推論と86.5%の一致と、新規性の結論に関する75.3%の合意を達成している。
論文 参考訳（メタデータ） (2025-08-14T16:18:37Z) - Can LLMs Identify Critical Limitations within Scientific Research? A Systematic Evaluation on AI Research Papers [31.51311612333459]
LimitGenは、初期のフィードバックをサポートし、人間のピアレビューを補完するLSMの能力を評価するための最初のベンチマークである。
提案手法は, LLMシステムによる研究論文の限界を生じさせる能力を高め, より具体的で建設的なフィードバックを提供する。
論文 参考訳（メタデータ） (2025-07-03T15:04:38Z) - BAGELS: Benchmarking the Automated Generation and Extraction of Limitations from Scholarly Text [6.95264395009701]
科学的研究において、「限界」とは研究の欠点、制約、弱点を指す。
著者はしばしば論文の制限を過小評価し、編集要件を満たすためヘッジ戦略に依存している。
この傾向と科学論文の急増が組み合わさって、自動化アプローチの必要性が高まっている。
論文 参考訳（メタデータ） (2025-05-22T06:04:02Z) - Dissecting Submission Limit in Desk-Rejections: A Mathematical Analysis of Fairness in AI Conference Policies [24.570596184292384]
本稿では,最適化に基づく公平性を考慮したデスク-リジェクション機構を提案する。
グループフェアネスは線形プログラミングによって効率よく最適化できるのに対し、個人フェアネスの最適化はNPハードであることを証明する。
論文 参考訳（メタデータ） (2025-02-02T06:29:23Z) - The Nature of NLP: Analyzing Contributions in NLP Papers [77.31665252336157]
我々は,NLP研究論文の要約として,NLPコントリビューション(NLPコントリビューション)の分類法を提案し,NLPコントリビューション(NLPコントリビューション)を導入した。
NLPの研究は、1970年代から80年代にかけて言語と人間中心の研究に焦点が当てられ、1990年代と2000年代に打ち切られ、2010年代後半から再び上昇し始めた。
私たちのデータセットと分析は、研究トレンドをトレースするための強力なレンズを提供し、インフォグラフィックでデータ駆動の文献調査を生成する可能性を提供します。
論文 参考訳（メタデータ） (2024-09-29T01:29:28Z) - From Insights to Actions: The Impact of Interpretability and Analysis Research on NLP [28.942812379900673]
解釈可能性と分析(IA)研究は、NLP内の成長するサブフィールドである。
我々は,IA研究がNLPの幅広い分野に与える影響を定量化する。
論文 参考訳（メタデータ） (2024-06-18T13:45:07Z) - Monitoring AI-Modified Content at Scale: A Case Study on the Impact of ChatGPT on AI Conference Peer Reviews [51.453135368388686]
本稿では,大規模言語モデル (LLM) によって実質的に修正あるいは生成される可能性のある大規模コーパスにおけるテキストの分数推定手法を提案する。
我々の最大可能性モデルは、専門家による参照テキストとAIによる参照テキストを利用して、コーパスレベルでの実世界のLLM使用を正確かつ効率的に検証する。
論文 参考訳（メタデータ） (2024-03-11T21:51:39Z) - Responsible AI Considerations in Text Summarization Research: A Review
of Current Practices [89.85174013619883]
私たちは、責任あるAIコミュニティがほとんど見落としている共通のNLPタスクである、テキスト要約に重点を置いています。
我々は,2020-2022年に出版されたACLアンソロジーから333の要約論文の多段階的質的分析を行った。
私たちは、どの、どの、どの責任あるAI問題がカバーされているか、どの関係するステークホルダーが考慮されているか、そして、述べられた研究目標と実現された研究目標のミスマッチに焦点を合わせます。
論文 参考訳（メタデータ） (2023-11-18T15:35:36Z) - NLPeer: A Unified Resource for the Computational Study of Peer Review [58.71736531356398]
NLPeer - 5万以上の論文と5つの異なる会場からの1万1千件のレビューレポートからなる、初めて倫理的にソースされたマルチドメインコーパス。
従来のピアレビューデータセットを拡張し、解析および構造化された論文表現、豊富なメタデータ、バージョニング情報を含む。
我々の研究は、NLPなどにおけるピアレビューの体系的、多面的、エビデンスに基づく研究への道のりをたどっている。
論文 参考訳（メタデータ） (2022-11-12T12:29:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。