論文の概要: Shortcuts or Memorisation? Revisiting Data Corruption in Natural Language Understanding with Large Language Models
- arxiv url: http://arxiv.org/abs/2611.16843v1
- Date: Thu, 12 Nov 2026 14:18:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.485473
- Title: Shortcuts or Memorisation? Revisiting Data Corruption in Natural Language Understanding with Large Language Models
- Title(参考訳): ショートカットと覚醒 : 大規模言語モデルを用いた自然言語理解におけるデータ破壊の再考
- Abstract要約: 我々は,GLUEとANLIの3ラウンドの細調整エンコーダとともに,8つの大言語モデル(LLM)を用いた実験を再考する。
モデルのサイズに関係なく、答える全てのシステムは、名詞なしで上述のパフォーマンスの36~72%を直接保持する。
最強の証拠は、368件の新しい人間公認アイテムで、どのモデルも見たことがない。
- 参考スコア(独自算出の注目度): 0.3408140838058679
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Pre-trained encoders fine-tuned on natural language inference (NLI) and other language understanding tasks keep much of their accuracy after the input is perturbed, e.g. by removing all nouns or shuffling the words. Does the same hold for large language models (LLMs), and if so, is it because they have seen the benchmarks during pre-training? In this paper we revisit these perturbation experiments with eight LLMs alongside fine-tuned encoders on GLUE and the three rounds of ANLI. Regardless of model size, every system that answers directly retains 36-72% of its above-chance performance without nouns on MNLI compared to only 14-29% on ANLI. Only a model that reasons before answering departs from this pattern. We also check contamination indicators (including exact $n$-gram counts in the public pre-training data of two of the models) and find no link between exposure and robustness. Our strongest evidence comes from 368 new, human-validated items that none of the models can have seen. All eight LLMs keep more of their performance without nouns on items written in MNLI's style than on items written without its cues. When the perturbation instead removes the function words carrying such cues, this advantage reverses. In light of these results, we argue that robustness to perturbation on familiar NLI benchmarks reflects dataset shortcuts rather than memorisation, and tells us more about the benchmark than about the model.
- Abstract(参考訳): 自然言語推論(NLI)やその他の言語理解タスクに微調整された事前学習エンコーダは、例えばすべての名詞を削除したり、単語をシャッフルしたりすることで、入力が摂動した後の精度を保っている。
大規模な言語モデル(LLM)については,同じことが当てはまりますか?
本稿では,GLUEとANLIの3ラウンドの細調整エンコーダとともに,8つのLDMを用いた摂動実験を再検討する。
モデルのサイズに関わらず、直接答えるシステムは、MNLIの名詞なしで36~72%の性能を保ち、ANLIの14~29%しか持たない。
答える前に理由付けるモデルだけが、このパターンから離れます。
また、汚染指標(2つのモデルの公開事前トレーニングデータに含まれる正確な$n$-gram数を含む)を確認し、露出と堅牢性には関連性がない。
最強の証拠は、368件の新しい人間公認アイテムで、どのモデルも見たことがない。
8つのLLMはいずれも、MNLIのスタイルで書かれたアイテムに名詞を付けることなく、クイズなしで書かれたものよりもパフォーマンスを保っている。
その代わりに摂動によってそのような手がかりを持つ関数語が取り除かれると、この利点は逆になる。
これらの結果を踏まえて、慣れ親しんだNLIベンチマークの摂動に対する堅牢性は、記憶よりもデータセットのショートカットを反映し、モデルよりもベンチマークについてより詳しく説明する。
関連論文リスト
- M-GATE: Multilingual Grammar, Accuracy in Translation, and Efficiency Benchmark for Large Language Models [0.0]
M-GATE(英語: M-GATE)は、30言語にまたがる言語能力のベンチマークである。
80以上の構成で50以上のモデルを評価しました。
論文 参考訳(メタデータ) (2026-08-04T15:16:05Z) - PrefixNLI: Detecting Factual Inconsistencies as Soon as They Arise [60.63315470285562]
MiniTruePrefixesは、テキストプレフィックスよりも事実上の矛盾をよりよく検出する、新しい特殊モデルである。
制御されたデコードフレームワークにMiniTruePrefixesを組み込むことで,抽象的な要約における現実の一貫性が大幅に向上することを示す。
論文 参考訳(メタデータ) (2025-11-03T09:07:44Z) - Idiosyncrasies in Large Language Models [54.26923012617675]
大規模言語モデル(LLM)における慣用句の公開と研究
LLM生成テキストへの微調整テキスト埋め込みモデルにより,優れた分類精度が得られることがわかった。
我々はLLMを審査員として利用し、各モデルの慣用句の詳細かつオープンな記述を生成する。
論文 参考訳(メタデータ) (2025-02-17T18:59:02Z) - Robustness of Large Language Models to Perturbations in Text [2.2734015467359217]
大規模言語モデル(LLM)は素晴らしいパフォーマンスを示していますが、現実のデータでは避けられないノイズを処理できますか?
この研究は、LLMのテキストのモルフォロジー変化に対するレジリエンスを調査することによって、この重要な問題に取り組む。
以上の結果から, LLM は, 一般の信念とは対照的に, 文中での騒々しい摂動に対して静かであることが明らかとなった。
論文 参考訳(メタデータ) (2024-07-12T04:50:17Z) - The Ups and Downs of Large Language Model Inference with Vocabulary Trimming by Language Heuristics [74.99898531299148]
本研究は,興味のある言語への埋め込みエントリを制限し,時間と記憶効率を高めることによる語彙トリミング(VT)について検討する。
Unicodeベースのスクリプトフィルタリングとコーパスベースの選択という2つの言語を異なる言語ファミリやサイズに適用する。
その結果、VTは小型モデルのメモリ使用量を50%近く削減し、生成速度が25%向上した。
論文 参考訳(メタデータ) (2023-11-16T09:35:50Z) - Scalable Performance Analysis for Vision-Language Models [26.45624201546282]
統合視覚言語モデルは、様々なタスクセットに対して優れたパフォーマンスを示している。
本稿では、すでにアノテーション付きベンチマークに依存する、よりスケーラブルなソリューションを紹介します。
従来,CLIPは単語の袋のように振る舞い,名詞や動詞でより良く振る舞うことが確認された。
論文 参考訳(メタデータ) (2023-05-30T06:40:08Z) - Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た
ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。
マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
論文 参考訳(メタデータ) (2021-06-10T10:18:23Z) - Understanding by Understanding Not: Modeling Negation in Language Models [81.21351681735973]
否定は自然言語の中核構造である。
本稿では,否定された総称文に基づく不一致目的を用いて,言語モデリング目標の強化を提案する。
否定されたLAMAデータセットの平均top1エラー率を4%に削減します。
論文 参考訳(メタデータ) (2021-05-07T21:58:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。