論文の概要: Word Form Matters: LLMs' Semantic Reconstruction under Typoglycemia

• arxiv url: http://arxiv.org/abs/2503.01714v1
• Date: Mon, 03 Mar 2025 16:31:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:25:10.679454
• Title: Word Form Matters: LLMs' Semantic Reconstruction under Typoglycemia
• Title（参考訳）: 語形 : タイポグリセ血症におけるLLMのセマンティック再構築
• Authors: Chenxi Wang, Tianle Gu, Zhongyu Wei, Lang Gao, Zirui Song, Xiuying Chen,
• Abstract要約: 人間の読み手は、主に単語形式に依存して、スクランブルされた単語を効率的に理解することができる。 先進的な大規模言語モデル(LLM)も同様の能力を示すが、その基盤となるメカニズムはいまだ不明である。
• 参考スコア（独自算出の注目度）: 27.344665855217567
• License:
• Abstract: Human readers can efficiently comprehend scrambled words, a phenomenon known as Typoglycemia, primarily by relying on word form; if word form alone is insufficient, they further utilize contextual cues for interpretation. While advanced large language models (LLMs) exhibit similar abilities, the underlying mechanisms remain unclear. To investigate this, we conduct controlled experiments to analyze the roles of word form and contextual information in semantic reconstruction and examine LLM attention patterns. Specifically, we first propose SemRecScore, a reliable metric to quantify the degree of semantic reconstruction, and validate its effectiveness. Using this metric, we study how word form and contextual information influence LLMs' semantic reconstruction ability, identifying word form as the core factor in this process. Furthermore, we analyze how LLMs utilize word form and find that they rely on specialized attention heads to extract and process word form information, with this mechanism remaining stable across varying levels of word scrambling. This distinction between LLMs' fixed attention patterns primarily focused on word form and human readers' adaptive strategy in balancing word form and contextual information provides insights into enhancing LLM performance by incorporating human-like, context-aware mechanisms.
• Abstract（参考訳）: 人間の読者はスクランブルされた単語を効率的に理解することができ、この現象はタイポグリセミア(Typoglycemia)と呼ばれ、主に単語形式に依存している。 先進的な大規模言語モデル(LLM)も同様の能力を示すが、その基盤となるメカニズムはいまだ不明である。 そこで本研究では,意味的再構成における単語形態と文脈情報の役割を分析し,LLMの注意パターンを調べるための制御実験を行った。 具体的には,意味的再構成の度合いを定量化し,その妥当性を検証するための信頼性の高い指標であるSemRecScoreを提案する。 本手法を用いて, 単語形態と文脈情報がLLMの意味的再構成能力にどのように影響するかを考察し, 単語形態を中核要素として同定する。 さらに,LLMが単語形態をどのように活用するかを分析し,単語形態情報を抽出・処理するために,特定の注意点に頼っていることを確認した。 LLMの固定された注意パターンと、単語形式と文脈情報のバランスをとる人間の読者の適応戦略との区別は、人間に似た文脈認識機構を組み込むことで、LLMのパフォーマンス向上に関する洞察を与える。

関連論文リスト

• Large Language Models as Neurolinguistic Subjects: Discrepancy in Performance and Competence for Form and Meaning [49.60849499134362]
  本研究では,大言語モデル(LLM)の記号化(形式)および記号化(意味)に関する言語的理解について検討する。 ミニマルペアと診断プローブを組み合わせてモデル層間のアクティベーションパターンを解析する新しい手法を用いて,ニューロ言語学的アプローチを提案する。 その結果,(1)心理言語学的・神経言語学的手法では,言語能力と能力が異なっていること,(2)直接確率測定では言語能力が正確に評価されないこと,(3)指導のチューニングでは能力が大きく変化しないが,性能は向上しないことがわかった。
  論文  参考訳（メタデータ） (2024-11-12T04:16:44Z)
• From Tokens to Words: On the Inner Lexicon of LLMs [7.148628740938674]
  自然言語は単語で構成されているが、現代の大言語モデル(LLM)はサブワードを入力として処理する。 サブワード列をコヒーレントな全単語表現に結合する本質的なデトケン化過程にLLMが関与する証拠を提示する。 以上の結果から, LLMはトークン化のスコープを超えて, 潜在語彙を保っていることが示唆された。
  論文  参考訳（メタデータ） (2024-10-08T09:53:35Z)
• Semantic Change Characterization with LLMs using Rhetorics [0.1474723404975345]
  本研究では,LLMが3種類の意味変化(思考,関係,方向)を特徴づける可能性について検討する。 本結果は,意味的変化の捕捉と解析におけるLLMの有効性を強調し,計算言語応用を改善する上で有用な洞察を提供するものである。
  論文  参考訳（メタデータ） (2024-07-23T16:32:49Z)
• Analyzing the Role of Semantic Representations in the Era of Large Language Models [104.18157036880287]
  大規模言語モデル(LLM)の時代における意味表現の役割について検討する。 本稿では, AMRCoT と呼ばれる AMR-driven chain-of- Thought prompting 法を提案する。 AMRのどの入力例が役に立つかは予測できないが,複数単語の表現でエラーが発生する傾向にある。
  論文  参考訳（メタデータ） (2024-05-02T17:32:59Z)
• PhonologyBench: Evaluating Phonological Skills of Large Language Models [57.80997670335227]
  音声学は、音声の構造と発音規則の研究であり、Large Language Model (LLM) 研究において批判的であるが、しばしば見落とされがちな要素である。 LLMの音韻的スキルを明示的にテストするための3つの診断タスクからなる新しいベンチマークであるPhonologyBenchを提案する。 我々は,Rhyme Word GenerationとSyllable countingにおいて,人間と比較した場合,それぞれ17%と45%の有意なギャップを観察した。
  論文  参考訳（メタデータ） (2024-04-03T04:53:14Z)
• Fantastic Semantics and Where to Find Them: Investigating Which Layers of Generative LLMs Reflect Lexical Semantics [50.982315553104975]
  本稿では,Llama2という人気言語モデルに対する語彙意味論のボトムアップ進化について検討する。 実験の結果,下位層の表現は語彙的意味論を符号化しているが,上位層はより弱い意味帰納的帰納的帰納的帰納的帰納的帰納的帰納的帰属的帰属的帰属的帰属的存在であることがわかった。 これは、高層層がより良い語彙意味論を得るマスク言語モデリングのような差別的な目的を持つモデルとは対照的である。
  論文  参考訳（メタデータ） (2024-03-03T13:14:47Z)
• Characterizing Truthfulness in Large Language Model Generations with Local Intrinsic Dimension [63.330262740414646]
  大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。 モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
  論文  参考訳（メタデータ） (2024-02-28T04:56:21Z)
• Large Language Models for Stemming: Promises, Pitfalls and Failures [34.91311006478368]
  本研究では,文脈理解の能力を活用して,大言語モデル(LLM)を用いて単語を綴じるという有望なアイデアについて検討する。 我々は,LLMを幹細胞として用いることと,Porter や Krovetz といった従来の語彙ステムマーを英語のテキストとして用いることと比較した。
  論文  参考訳（メタデータ） (2024-02-19T01:11:44Z)
• Towards Uncovering How Large Language Model Works: An Explainability Perspective [38.07611356855978]
  大規模言語モデル(LLM)は言語タスクのブレークスルーをもたらしたが、その顕著な一般化と推論能力を実現する内部メカニズムは不透明のままである。 本稿では,LLM機能の基礎となるメカニズムを,説明可能性のレンズを通して明らかにすることを目的とする。
  論文  参考訳（メタデータ） (2024-02-16T13:46:06Z)
• Label Words are Anchors: An Information Flow Perspective for Understanding In-Context Learning [77.7070536959126]
  大規模言語モデル(LLM)の有望な能力としてインコンテキスト学習(ICL)が出現する 本稿では,情報フローレンズを用いたICLの動作機構について検討する。 本稿では,ICL性能向上のためのアンカー再重み付け手法,推論の高速化のための実演圧縮手法,GPT2-XLにおけるICLエラーの診断のための解析フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-23T15:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。