論文の概要: Compact Language, Complex Model Shifts: How and Where Ambiguity and Underspecification Affect LLMs

• arxiv url: http://arxiv.org/abs/2609.39572v1
• Date: Wed, 30 Sep 2026 12:06:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.660548
• Title: Compact Language, Complex Model Shifts: How and Where Ambiguity and Underspecification Affect LLMs
• Title（参考訳）: コンパクト言語, 複雑なモデルシフト: あいまいさと不明瞭さがLLMに与える影響
• Abstract要約: 擬似語として人工ホモネムと人工ハイパーネムを作成し、言語モデルの生成性能を解析する。 本研究では,あいまいさと不明瞭さの両方が,言語の種類別比率に影響を及ぼすことで,モデル性能を向上させることを示す。
• 参考スコア（独自算出の注目度）: 3.3827606005483837
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We analyze how lexical ambiguity and underspecification affect language model training. We create artificial homonyms and artificial hypernyms as pseudowords and analyze the generative performance of language models as they are trained with increasing amounts of these ambiguous or underspecified pseudoword types. We further analyze whether the models disambiguate ambiguous or underspecified statements and provide a first mechanistic account of how ambiguity and disambiguation are represented internally. Our main results show that both ambiguity and underspecification increase model performance in ways that scale with their influence on the language's type-token ratio. However, the accuracy of generating sequences containing ambiguous words or their synonyms decreases compared to other texts. We also show that internal representations of pseudowords reflect disambiguation of pseudo-homonyms, but underspecification of pseudo-hypernyms is maintained during the generative process.
• Abstract（参考訳）: 語彙的あいまいさと不明瞭さが言語モデルの訓練にどのように影響するかを分析する。 擬似語として人工的ホモネムと人工的ハイパーネムを作成し、これらの曖昧さや不特定な擬似語の種類の増加を訓練することにより、言語モデルの生成性能を解析する。 さらに、モデルがあいまいか不明瞭かを分析し、あいまいさと曖昧さが内部的にどのように表現されるかを示す最初の力学的な説明を提供する。 本研究の主目的は,あいまいさと不特定性の両方が,言語の種類-token比に影響を及ぼすことで,モデル性能を増大させることである。 しかし、曖昧な単語や同義語を含む配列を生成する精度は他のテキストと比べて低下する。 また,擬似語の内部表現は擬似ホモニムの曖昧さを反映しているが,擬似ハイペルニムの非特異性は生成過程において維持されることを示す。

関連論文リスト

• Investigating Idiomaticity in Word Representations [9.208145117062339]
  我々は2つの言語(英語とポルトガル語)における様々な水準の慣用性を持つ名詞に焦点をあてる。 そこで本研究では,各名詞の音韻性判定を含む最小対のデータセットについて,タイプレベルとトークンレベルの両方で示す。 AffinityとScaled similarityの詳細なメトリクスセットを定義し、モデルが慣用性の変化につながる可能性のある摂動に対してどれほど敏感であるかを判断する。
  論文  参考訳（メタデータ） (2024-11-04T21:05:01Z)
• Do Pretrained Contextual Language Models Distinguish between Hebrew Homograph Analyses? [12.631897904322676]
  本研究では,ヘブライ語のホモグラフの曖昧さについて,事前学習言語モデルを用いて検討する。 現代ヘブライ語における文脈的埋め込みは,非文脈的埋め込みよりも優れていることを示す。 また、これらの埋め込みは、バランスの取れた分布と歪んだ分布の両方のホモグラフに対して等しく有効であることを示す。
  論文  参考訳（メタデータ） (2024-05-11T21:50:56Z)
• The Impact of Word Splitting on the Semantic Content of Contextualized Word Representations [3.4668147567693453]
  分割される単語の表現の質は、しばしば、必ずしも、既知の単語の埋め込みの質よりも悪いとは限らない。 分析の結果, 単語の表現の質は, 単語の埋め込みよりも必ずしも悪くはないことが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-22T15:04:24Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Montague semantics and modifier consistency measurement in neural language models [13.187353456418204]
  本研究は,現代言語埋め込みモデルにおける構成行動を測定する新しい手法を提案する。 具体的には,形容詞・名詞句における形容詞修飾子現象に着目した。
  論文  参考訳（メタデータ） (2022-10-10T18:43:16Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• Speakers Fill Lexical Semantic Gaps with Context [65.08205006886591]
  我々は単語の語彙的あいまいさを意味のエントロピーとして運用する。 単語のあいまいさの推定値と,WordNetにおける単語の同義語数との間には,有意な相関関係が認められた。 これは、あいまいさの存在下では、話者が文脈をより情報的にすることで補うことを示唆している。
  論文  参考訳（メタデータ） (2020-10-05T17:19:10Z)
• Neural disambiguation of lemma and part of speech in morphologically rich languages [0.6346772579930928]
  形態的に豊かな言語における不明瞭な単語の補題と発話の一部を曖昧にすることの問題点を考察する。 そこで本稿では, テキストの未注釈コーパスと形態素解析を用いて, 文脈におけるあいまいな単語の曖昧さを解消する手法を提案する。
  論文  参考訳（メタデータ） (2020-07-12T21:48:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。