論文の概要: A Comprehensive Taxonomy of Negation for NLP and Neural Retrievers
- arxiv url: http://arxiv.org/abs/2507.22337v1
- Date: Wed, 30 Jul 2025 02:44:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-31 16:14:17.929718
- Title: A Comprehensive Taxonomy of Negation for NLP and Neural Retrievers
- Title(参考訳): NLPおよびニューラルレトリバーにおける否定の包括的分類法
- Authors: Roxana Petcu, Samarth Bhargav, Maarten de Rijke, Evangelos Kanoulas,
- Abstract要約: 我々は、哲学的、言語的、論理的定義から派生した否定の分類を導入した。
ニューラルネットワーク検索モデルの性能評価に使用できるベンチマークデータセットを2つ生成する。
本稿では,既存のデータセットの検索モデルの性能を解析するために,論理に基づく分類機構を提案する。
- 参考スコア(独自算出の注目度): 61.086220009192424
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Understanding and solving complex reasoning tasks is vital for addressing the information needs of a user. Although dense neural models learn contextualised embeddings, they still underperform on queries containing negation. To understand this phenomenon, we study negation in both traditional neural information retrieval and LLM-based models. We (1) introduce a taxonomy of negation that derives from philosophical, linguistic, and logical definitions; (2) generate two benchmark datasets that can be used to evaluate the performance of neural information retrieval models and to fine-tune models for a more robust performance on negation; and (3) propose a logic-based classification mechanism that can be used to analyze the performance of retrieval models on existing datasets. Our taxonomy produces a balanced data distribution over negation types, providing a better training setup that leads to faster convergence on the NevIR dataset. Moreover, we propose a classification schema that reveals the coverage of negation types in existing datasets, offering insights into the factors that might affect the generalization of fine-tuned models on negation.
- Abstract(参考訳): 複雑な推論タスクを理解し、解決することは、ユーザの情報ニーズに対処するために不可欠である。
ニューラルネットワークは文脈的埋め込みを学習するが、否定を含むクエリではまだ性能が劣っている。
この現象を理解するため、従来のニューラル情報検索とLLMモデルの両方で否定について検討する。
1) 論理的,言語的,論理的定義から派生した否定の分類を導入し,(2) ニューラル情報検索モデルの性能評価に使用可能なベンチマークデータセットを2つ生成し,(3) 既存のデータセット上での検索モデルの性能分析に使用できる論理に基づく分類機構を提案する。
我々の分類学は、否定型よりもバランスの取れたデータ分布を生成し、より優れたトレーニング設定を提供し、NevIRデータセットへのより高速な収束をもたらす。
さらに、既存のデータセットにおける否定型のカバレッジを明らかにする分類スキーマを提案し、否定に関する微調整モデルの一般化に影響を及ぼす可能性のある要因について考察する。
関連論文リスト
- Reproducing NevIR: Negation in Neural Information Retrieval [5.950812862331131]
否定は人間のコミュニケーションの基本的な側面であるが、情報検索における言語モデル(IR)の課題である。
NevIRは、ほとんどのIRモデルは、否定を扱う際にランダムランキングのレベル以下で機能することを示すベンチマーク研究である。
以上の結果から,最近出現しているLarge Language Model (LLM) は他のモデルよりも性能が低いものの,性能が劣っていることが示唆された。
論文 参考訳(メタデータ) (2025-02-19T07:50:59Z) - Self-Rationalization in the Wild: A Large Scale Out-of-Distribution Evaluation on NLI-related tasks [59.47851630504264]
自由文の説明は表現力があり理解しやすいが、多くのデータセットには注釈付き説明データがない。
我々は、T5-LargeモデルとOLMo-7Bモデルを微調整し、微調整データ品質、微調整サンプル数、少数ショット選択方法の影響を評価した。
モデルは、自然言語推論(NLI)、ファクトチェック、抽象的な要約における幻覚検出の3つのタスクにまたがる19の多様なOODデータセットで評価される。
論文 参考訳(メタデータ) (2025-02-07T10:01:32Z) - Discover, Explanation, Improvement: An Automatic Slice Detection
Framework for Natural Language Processing [72.14557106085284]
スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。
本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。
評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
論文 参考訳(メタデータ) (2022-11-08T19:00:00Z) - On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。
このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。
我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
論文 参考訳(メタデータ) (2022-06-09T17:12:32Z) - Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。
本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文 参考訳(メタデータ) (2021-10-09T09:02:45Z) - Neural Natural Language Inference Models Partially Embed Theories of
Lexical Entailment and Negation [14.431925736607043]
本研究は, 語彙的含意と否定に焦点をあてた新しい自然主義的データセットであるモノトニック性NLI(MoNLI)について述べる。
行動評価では、汎用NLIデータセットでトレーニングされたモデルは、否定を含むMoNLIの例で体系的に失敗する。
構造評価では,トップパフォーマンスのBERTベースのモデルが,MoNLIの背後にある単調性アルゴリズムを実装することを学習したことを示す。
論文 参考訳(メタデータ) (2020-04-30T07:53:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。