論文の概要: NEPSEE: A Double-Annotated Benchmark for Nepali Sentiment Analysis

• arxiv url: http://arxiv.org/abs/2610.19190v1
• Date: Tue, 13 Oct 2026 20:54:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.808922
• Title: NEPSEE: A Double-Annotated Benchmark for Nepali Sentiment Analysis
• Title（参考訳）: ネパール感覚分析のための二重アノテーションベンチマークNEPSEE
• Abstract要約: 同じ文を盲目的にラベル付けしたアノテータ2名によるベンチマークを構築した。 どちらも同じ極性を与えるのは3,189文のみである。 3クラスのベンチマークでは、固定トークンライザを持つNepBERTaは0.877のマクロF1とIndicBERTv2 0.867を得る。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Many sentiment datasets use one annotator for each item, so the test labels show the conventions of that person. We build a Nepali benchmark from two annotators who labelled the same sentences blind. They labelled 5,614 sentences from tweets of Nepali public figures on a five-point scale. We keep only the 3,189 sentences where both give the same polarity. On the three-class benchmark, NepBERTa with a fixed tokenizer gets a macro-F1 of 0.877 and IndicBERTv2 0.867. Three commercial large language models (LLMs) get 0.882 to 0.896 zero-shot, and these differences are not significant. On the five-point scale, 766 sentences have two adjacent labels, for example Pos and SPos. We accept both labels and train on both. On this task, Claude Opus 5.5 beats the best encoders by 0.10 to 0.12 macro-F1. A tokenizer audit adds a second result. The default tokenizers of three Nepali BERT models delete the non-spacing Devanagari vowel signs and the virama. When we restore the marks, macro-F1 increases by 0.084 for NepBERTa but decreases by 0.095 for a model pretrained on stripped text.
• Abstract（参考訳）: 多くの感情データセットは各項目に1つのアノテータを使用するため、テストラベルはその人の慣例を示す。 同じ文を盲目的にラベル付けしたアノテータ2名によるネパール語のベンチマークを構築しました。 ネパールの公務員のツイートの5,614通を5ポイントの規模でラベル付けした。 どちらも同じ極性を与えるのは3,189文のみである。 3クラスのベンチマークでは、固定トークンライザを持つNepBERTaは0.877のマクロF1とIndicBERTv2 0.867を得る。 3つの商用大規模言語モデル (LLM) は0.882から0.896のゼロショットを得るが、これらの違いは重要ではない。 5点スケールでは、766の文はPosとSPosの2つの隣接ラベルを持つ。 ラベルとトレーニングの両方を受け入れます。 このタスクでは、Claude Opus 5.5が最高のエンコーダを0.10から0.12マクロF1で打ち負かす。 トークンオーディションは2番目の結果を追加します。 3つのネパールのBERTモデルのデフォルトのトークン化子は、非スポーピングなデヴァナガリ母音の記号とヴィラマを削除する。 マークを復元すると、NepBERTaのマクロF1は0.084増加するが、削除されたテキストで事前訓練されたモデルでは0.095減少する。

関連論文リスト

• NepPlural: A Human-Anchored Benchmark for Persona Annotation in Nepali Migration Discourse [0.19116784879310025]
  ネッププラウラル(NepPlural)は、ネパールの公的な言説において、競合する社会文化人格をモデル化するための人為的なベンチマークである。 チャットインターフェースを通じてバッチで収集されたラベルは、モデル間合意のほぼ一致にしか達しない。 3つのモデルで59～77%の忠実度を持つ1つのペルソナ軸を採用するが、完全なペルソナを構成するのは33%である。
  論文  参考訳（メタデータ） (2026-10-11T16:12:20Z)
• How to Build a Benchmark That Actually Measures Taste [39.170836363248604]
  専門家による"味"ベンチマークは、テストを実行する能力ではなく、クラフト判断に報いるべきだ。 TasteBenchは、ビジュアル、ブランド、書籍、およびテクノロジーアイテムを対象とした、ペアワイズで良質なvs-badベンチマークです。
  論文  参考訳（メタデータ） (2026-10-10T08:26:28Z)
• GlitchPatch: Repairing Glitch Tokens in Frozen Language Models via Local Retokenization [52.5302018047534]
  グリッチトークンは異常な語彙のエントリであり、大きな言語モデルが一貫性のない出力を生成する可能性がある。 GlitchPatchは,局所的再トークン化に基づくフリーズ言語モデルの修復フレームワークである。 6つのトークンライザファミリーにまたがる10モデルの実験では、GlitchPatchの平均固定率は85.10%であり、最強のベースラインを14.37ポイント上回っている。
  論文  参考訳（メタデータ） (2026-10-03T09:44:13Z)
• NegT2IBench: When Negation Changes the Picture. A Polarity Benchmark for Text-to-Image Models [42.95507596219371]
  我々は2つの属性タイプと4つの関係カテゴリをカバーする4,800のプロンプトのベンチマークであるNegT2IBenchを紹介した。 私たちの検出器に基づくスコアは再現可能で、監査可能で、要求が失敗したピンポイントです。
  論文  参考訳（メタデータ） (2026-10-02T10:03:56Z)
• Where a Model Sends Its Own Repeated Token [0.0]
  ブラックボックスモデルの識別は、自然言語のプロンプトに対するモデルの応答を評価することで機能する。 退化した入力を受け取り、モデルがそうでないときにどこに行くのかを尋ねます。 結果は語彙全体の地図であり、2つのハーフがある。
  論文  参考訳（メタデータ） (2026-09-25T12:13:31Z)
• Beyond Final-Token Classification: Heterogeneous Readouts for Evidence-Grounded Suicide Risk Detection [10.766937373263204]
  出力実現から意味的検証を分離するヘテロジニアス・リードアウト分解(HRD)を導入する。 HRDは、通常リスクの4つの潜伏スコアを比較し、ほとんどの要因に対してトークンマージンを保持し、一方の共有潜伏プローブを通して7つのラベルをルーティングする。 これらの結果は, セマンティック表現のみではなく, 解答境界を測定可能な誤差源として同定する。
  論文  参考訳（メタデータ） (2026-09-19T05:01:17Z)
• What Does 99% Accuracy Measure? A Reproducible Audit of Shortcut Learning in a Widely Used Fake News Corpus [0.0]
  ISOT/Kaggle "Fake and Real News"コーパスで訓練されたテキスト分類器は、常に精度を報告し、F1は0.98以上である。 コーパスを3つのリークチャネルと2つの分散シフトプロトコルに沿って監査し、すべてのコードと派生番号を解放する。 3つのモデルはいずれも最寄りのランキング(ROC-AUC 0.54-0.57)に落ち、最下位のベースラインには勝っていない。
  論文  参考訳（メタデータ） (2026-07-26T11:00:45Z)
• Symbolic Augmentation Closes a Canonical-Equivalence Blind Spot in Neural Fact-Checkers [1.7844382164707184]
  我々は,5種類の型付き誤り分類と1500石のベンチマークを導入する。 このベンチマークで微調整されたModernBERTエンコーダはマクロF1 = 0.899に達する。 本稿では,ラベル保存型強化トレーニングデータを生成するために,シンボル検証器のモジュールを逆向きに動作させる訓練時フレームワークであるSybolic Augmentationを提案する。
  論文  参考訳（メタデータ） (2026-05-19T15:58:00Z)
• BUMP: A Benchmark of Unfaithful Minimal Pairs for Meta-Evaluation of Faithfulness Metrics [70.52570641514146]
  不誠実な最小対 (BUMP) のベンチマークを示す。 BUMPは、889人の人間が書いた最小限のサマリーペアのデータセットである。 非ペアベースのデータセットとは異なり、BUMPはメトリクスの一貫性を測定するために使用することができる。
  論文  参考訳（メタデータ） (2022-12-20T02:17:30Z)
• Conformal Predictor for Improving Zero-shot Text Classification Efficiency [37.745518881553416]
  NLIモデルとNSPモデルの平均推論時間をそれぞれ25.6%、22.2%削減する。 各データセットに適したCPを用いて、NLIベースのモデルとNSPベースのモデルの平均推論時間をそれぞれ25.6%、22.2%削減する。
  論文  参考訳（メタデータ） (2022-10-23T05:19:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。