論文の概要: Typoglycemia under the Hood: Investigating Language Models' Understanding of Scrambled Words

• arxiv url: http://arxiv.org/abs/2510.21326v1
• Date: Fri, 24 Oct 2025 10:36:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 09:00:15.438697
• Title: Typoglycemia under the Hood: Investigating Language Models' Understanding of Scrambled Words
• Title（参考訳）: フッド下のチポ血糖 : 言語モデルによるスクランブル語理解の検討
• Authors: Gianluca Sperduti, Alejandro Moreo,
• Abstract要約: いくつかのNLPモデルは、設計による文字の内部順序を無視して、そのような歪みに対して堅牢性を示すものである。 多くの異なる単語がタイポ血糖の下で同じ表現に分解した場合、モデルがどのようにうまく機能するかという根本的な疑問が提起される。 私たちの仕事は、英語のみに焦点を絞って、この堅牢性に責任を負う基礎的な側面に光を当てようとしている。
• 参考スコア（独自算出の注目度）: 47.47407737542483
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Research in linguistics has shown that humans can read words with internally scrambled letters, a phenomenon recently dubbed typoglycemia. Some specific NLP models have recently been proposed that similarly demonstrate robustness to such distortions by ignoring the internal order of characters by design. This raises a fundamental question: how can models perform well when many distinct words (e.g., form and from) collapse into identical representations under typoglycemia? Our work, focusing exclusively on the English language, seeks to shed light on the underlying aspects responsible for this robustness. We hypothesize that the main reasons have to do with the fact that (i) relatively few English words collapse under typoglycemia, and that (ii) collapsed words tend to occur in contexts so distinct that disambiguation becomes trivial. In our analysis, we (i) analyze the British National Corpus to quantify word collapse and ambiguity under typoglycemia, (ii) evaluate BERT's ability to disambiguate collapsing forms, and (iii) conduct a probing experiment by comparing variants of BERT trained from scratch on clean versus typoglycemic Wikipedia text; our results reveal that the performance degradation caused by scrambling is smaller than expected.
• Abstract（参考訳）: 言語学の研究によると、人間は内部的にスクランブルされた文字で単語を読むことができる。 いくつかの特定のNLPモデルは、同様に、文字の内部順序を設計によって無視することで、そのような歪みに対して堅牢性を示すことが提案されている。 モデルは、多くの異なる単語(例えば、形、および由来)が、高血糖下で同じ表現に分解した場合、どのようにうまく機能するかという根本的な疑問が提起される。 私たちの仕事は、英語のみに焦点を絞って、この堅牢性に責任を負う基礎的な側面に光を当てようとしている。 我々は、主な理由は、その事実に関係していると仮定する。 (i)低血糖下で英語の単語が崩れることが比較的少ないこと (二)崩壊した言葉は、曖昧さがささやかになるほど、文脈で生じる傾向がある。 私たちの分析では (i)英国国家コーパスを分析して、低血糖下での単語の崩壊及びあいまいさを定量化する。 (二)BERTの崩壊形態を曖昧にする能力を評価し、 以上の結果から,スクラッチから訓練したBERTの変種を,クリーニングとタイポグリセマティック・ウィキペディアのテキストで比較した結果,スクランブルによる性能劣化は予想より小さいことが明らかとなった。

関連論文リスト

• Trusting CHATGPT: how minor tweaks in the prompts lead to major differences in sentiment classification [0.0]
  本研究では,インプットの構造の微妙な変化が,感情極性分析の分類結果に有意な変化をもたらすことはないという仮説を検証した。 ラテンアメリカの4人の大統領に対するスペイン語で10万件のコメントのデータセットを用いて、このモデルは10回ごとに肯定的、否定的、中立的なコメントを分類し、それぞれのプロンプトをわずかに変化させた。
  論文  参考訳（メタデータ） (2025-04-16T15:37:09Z)
• Do Pretrained Contextual Language Models Distinguish between Hebrew Homograph Analyses? [12.631897904322676]
  本研究では,ヘブライ語のホモグラフの曖昧さについて,事前学習言語モデルを用いて検討する。 現代ヘブライ語における文脈的埋め込みは,非文脈的埋め込みよりも優れていることを示す。 また、これらの埋め込みは、バランスの取れた分布と歪んだ分布の両方のホモグラフに対して等しく有効であることを示す。
  論文  参考訳（メタデータ） (2024-05-11T21:50:56Z)
• Towards preserving word order importance through Forced Invalidation [80.33036864442182]
  事前学習された言語モデルは単語の順序に敏感であることを示す。 我々は,単語順序の重要性を維持するために強制的無効化を提案する。 実験の結果,強制的無効化は単語順に対するモデルの感度を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-04-11T13:42:10Z)
• Rare but Severe Neural Machine Translation Errors Induced by Minimal Deletion: An Empirical Study on Chinese and English [0.2701015481148316]
  英語・中国語・中国語のドメイン内ニューラルネットワーク翻訳における稀な誤りの誘発について検討する。 一つの文字を削除することで、翻訳における重大なエラーを誘発できることがわかった。
  論文  参考訳（メタデータ） (2022-09-05T21:14:21Z)
• Improving Pre-trained Language Models with Syntactic Dependency Prediction Task for Chinese Semantic Error Recognition [52.55136323341319]
  既存の中国語のテキスト誤り検出は主にスペルと単純な文法的誤りに焦点を当てている。 中国の意味的誤りは、人間が容易に認識できないほど過小評価され、複雑である。
  論文  参考訳（メタデータ） (2022-04-15T13:55:32Z)
• Studying word order through iterative shuffling [14.530986799844873]
  NLPベンチマークタスクの実行には,単語順序エンコードが不可欠であることを示す。 我々は、固定言語モデルの下で最も高い確率を持つ単語の袋を注文する、新しい効率的な手続きであるBISを使用する。 IBISのような推論手順のシャッフルが言語モデリングや制約付き生成にどのように役立つかについて議論する。
  論文  参考訳（メタデータ） (2021-09-10T13:27:06Z)
• BERT & Family Eat Word Salad: Experiments with Text Understanding [17.998891912502092]
  自然言語の理解を主張するどんなモデルも混同すべき不整合な入力に対するBERTファミリーからの大規模なモデルの応答を研究します。 実験により、最先端のモデルは常に不適切なものとして認識できず、その代わりに高い信頼度を予測できることが示されている。 モデルが無効な入力を認識するように明示的に訓練されている場合、パフォーマンスが低下することなくそのような攻撃に堅牢であることが示されています。
  論文  参考訳（メタデータ） (2021-01-10T01:32:57Z)
• Mechanisms for Handling Nested Dependencies in Neural-Network Language Models and Humans [75.15855405318855]
  我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。 ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。 我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
  論文  参考訳（メタデータ） (2020-06-19T12:00:05Z)
• On the Robustness of Language Encoders against Grammatical Errors [66.05648604987479]
  我々は、非ネイティブ話者から実際の文法的誤りを収集し、これらの誤りをクリーンテキストデータ上でシミュレートするために敵攻撃を行う。 結果,全ての試験モデルの性能は影響するが,影響の程度は異なることがわかった。
  論文  参考訳（メタデータ） (2020-05-12T11:01:44Z)
• Adv-BERT: BERT is not robust on misspellings! Generating nature adversarial samples on BERT [95.88293021131035]
  しかし、悪意のある敵のインスタンスがしばしば存在するのではなく、テクトナチュラルなシナリオでモデルがどのように機能するかは定かではない。 この研究は、NLPにおける最先端のTransformerスタイルモデルであるBERTの、ノイズの多いデータを扱うための頑健さを体系的に探求する。
  論文  参考訳（メタデータ） (2020-02-27T22:07:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。