論文の概要: Thunder-KoNUBench: A Corpus-Aligned Benchmark for Korean Negation Understanding
- arxiv url: http://arxiv.org/abs/2601.04693v1
- Date: Thu, 08 Jan 2026 08:02:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-09 17:01:53.093756
- Title: Thunder-KoNUBench: A Corpus-Aligned Benchmark for Korean Negation Understanding
- Title（参考訳）: Thunder-KoNUBench: 韓国の否定理解のためのコーパス指向ベンチマーク
- Authors: Sungmok Jung, Yeonkyoung So, Joonhak Lee, Sangho Kim, Yelim Ahn, Jaejin Lee,
- Abstract要約: 我々は韓国の否定のコーパスに基づく分析を行い、LLMのパフォーマンスが否定の下で劣化することを示す。
次に,韓国の否定現象の実証的分布を反映した文レベルのベンチマークであるThunder-KoNUBenchを紹介する。
- 参考スコア（独自算出の注目度）: 3.1373331514168377
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Although negation is known to challenge large language models (LLMs), benchmarks for evaluating negation understanding, especially in Korean, are scarce. We conduct a corpus-based analysis of Korean negation and show that LLM performance degrades under negation. We then introduce Thunder-KoNUBench, a sentence-level benchmark that reflects the empirical distribution of Korean negation phenomena. Evaluating 47 LLMs, we analyze the effects of model size and instruction tuning, and show that fine-tuning on Thunder-KoNUBench improves negation understanding and broader contextual comprehension in Korean.
- Abstract（参考訳）: 否定は大きな言語モデル(LLM)に挑戦することが知られているが、特に韓国では否定的理解を評価するためのベンチマークは乏しい。
我々は韓国の否定のコーパスに基づく分析を行い、LLMのパフォーマンスが否定の下で劣化することを示す。
次に,韓国の否定現象の実証的分布を反映した文レベルのベンチマークであるThunder-KoNUBenchを紹介する。
47 LLM の評価を行い,モデルサイズと指導指導の効果を解析し,Thunder-KoNUBench の微調整が韓国における否定的理解とより広い文脈理解を改善することを示す。
関連論文リスト
- Thunder-NUBench: A Benchmark for LLMs' Sentence-Level Negation Understanding [4.9301587184653295]
否定は、大規模な言語モデルに永続的な課題をもたらす基本的な言語現象である。
既存のベンチマークは、自然言語推論のような幅広いタスクにおいて、否定をサイドケースとして扱うことが多い。
本稿では,LLMにおける文レベルの否定的理解を評価するために設計された新しいベンチマークであるThunder-NUBenchを紹介する。
論文 参考訳（メタデータ） (2025-06-17T10:51:39Z) - Revisiting subword tokenization: A case study on affixal negation in large language models [57.75279238091522]
現代英語大言語モデル(LLM)に対する接尾辞否定の影響を計測する。
我々は、異なるサブワードトークン化手法を用いてLLMを用いて実験を行う。
モデルは全体として、接尾辞の意味を確実に認識できることを示す。
論文 参考訳（メタデータ） (2024-04-03T03:14:27Z) - Language models are not naysayers: An analysis of language models on
negation benchmarks [58.32362243122714]
我々は,次世代自動回帰言語モデルによる否定処理能力の評価を行った。
LLMには,否定の存在に対する感受性,否定の語彙的意味を捉える能力の欠如,否定下での推論の失敗など,いくつかの制限があることが示されている。
論文 参考訳（メタデータ） (2023-06-14T01:16:37Z) - Not another Negation Benchmark: The NaN-NLI Test Suite for Sub-clausal
Negation [59.307534363825816]
否定は現在の言語モデルでは不十分だが、この問題の範囲は広く理解されていない。
自然言語推論(NLI)テストスイートを導入し,NLP手法の能力を検証した。
論文 参考訳（メタデータ） (2022-10-06T23:39:01Z) - Improving negation detection with negation-focused pre-training [58.32362243122714]
否定は共通の言語的特徴であり、多くの言語理解タスクにおいて不可欠である。
最近の研究で、最先端のNLPモデルは否定を含むサンプルで性能が低いことが示されている。
本稿では,データ拡張と否定マスキングを対象とする,否定に焦点をあてた新たな事前学習戦略を提案する。
論文 参考訳（メタデータ） (2022-05-09T02:41:11Z) - Understanding by Understanding Not: Modeling Negation in Language Models [81.21351681735973]
否定は自然言語の中核構造である。
本稿では,否定された総称文に基づく不一致目的を用いて,言語モデリング目標の強化を提案する。
否定されたLAMAデータセットの平均top1エラー率を4%に削減します。
論文 参考訳（メタデータ） (2021-05-07T21:58:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。