論文の概要: Modal Sense Disambiguation in Language Models: The Role of Context, Training Domain, and Input Frequency

• arxiv url: http://arxiv.org/abs/2610.25816v1
• Date: Mon, 19 Oct 2026 05:31:33 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:30:14.770278
• Title: Modal Sense Disambiguation in Language Models: The Role of Context, Training Domain, and Input Frequency
• Title（参考訳）: 言語モデルにおけるモーダルセンスの曖昧さ--文脈・訓練領域・入力周波数の役割
• Abstract要約: アーキテクチャ,サイズ,トレーニングデータの種類によって異なる7つの言語モデル(LM)を評価する。 多様なテキストで訓練されたより大きなLMは、利用可能な場合、追加のコンテキスト情報を活用することに成功した。 子ども指向言語 (CDL) で訓練された者を含む、発達的にもっともらしいLMは、モダルセンスの区別に対して一貫した感受性を示すことができない。
• 参考スコア（独自算出の注目度）: 5.616458679001816
• License:
• Abstract: Modals such as may and must can take on different senses depending on discourse context, alternating between root interpretations (e.g., permission, obligation) and epistemic interpretations (e.g., knowledge, belief). While modals are known to be notoriously difficult for children to acquire, limited research exists on whether language models (LMs) can reliably distinguish between different modal senses. We evaluate seven LMs that vary in architecture, size, and training data type using vector-based similarity and surprisal measures across four datasets. Specifically, we investigate whether LMs can leverage contextual information to disambiguate modal senses and whether their performance reflects the distribution of modal senses in their training data. We show that larger LMs trained on diverse text successfully leverage additional contextual information when available. In the absence of context, they tend to favor the dominant sense based on corpus statistics. Smaller developmentally plausible LMs, including those trained on child-directed language (CDL), fail to show consistent sensitivity to modal sense distinctions and do not benefit from context to the same degree.
• Abstract（参考訳）: マヤやマヤのようなムーダルは、言説の文脈によって異なる感覚を持ち、根の解釈(例えば、許可、義務)とてんかんの解釈(例えば、知識、信念)を交互に行うことができる。 モダルは子どもにとって入手が難しいことで知られているが、言語モデル(LM)が異なるモダル感覚を確実に区別できるかどうかについては限定的な研究がある。 4つのデータセットにわたるベクトルベース類似度と推定値を用いて, アーキテクチャ, サイズ, トレーニングデータ型が異なる7つのLMを評価した。 具体的には、LMが文脈情報を利用してモーダル感覚を曖昧にし、その性能がトレーニングデータ中のモーダル感覚の分布を反映するかどうかを検討する。 多様なテキストで訓練されたより大きなLMは、利用可能な場合、追加のコンテキスト情報を活用することに成功した。 文脈がない場合、彼らはコーパス統計に基づく支配的な感覚を好む傾向にある。 子ども指向言語 (CDL) で訓練されたものを含む、発達的にもっともらしい小さなLMは、モダルセンスの区別に一貫性のある感受性を示しず、文脈から同じ程度まで利益を得られない。

関連論文リスト

• Fine-tuning vs. In-context Learning in Large Language Models: A Formal Language Learning Perspective [15.30367035674579]
  大規模言語モデル(LLM)は、ファインチューニング(FT)とインコンテキスト学習(ICL)の2つの基本的な学習モードで動作する。 FTとICLを比較した以前の研究では、不整合な実験装置による混合と不整合の結果が得られた。 本稿では,正確な言語境界,制御された文字列サンプリング,データ汚染のない形式的な言語学習タスクを提案する。
  論文  参考訳（メタデータ） (2026-04-25T12:19:25Z)
• What Languages are Easy to Language-Model? A Perspective from Learning Probabilistic Regular Languages [78.1866280652834]
  大規模言語モデル (LM) は文字列上の分布である。 RNNとTransformer LMによる規則的LM(RLM)の学習性について検討する。 RNNとトランスフォーマーの双方において,RLMランクの複雑さは強く,学習可能性の有意な予測因子であることが判明した。
  論文  参考訳（メタデータ） (2024-06-06T17:34:24Z)
• From Form(s) to Meaning: Probing the Semantic Depths of Language Models Using Multisense Consistency [13.154753046052527]
  言語間の一貫性とパラフレーズに重点を置いています。 モデルのマルチセンス一貫性が欠如していることに気付き、検証のためにいくつかのフォローアップ分析を実行する。 この観点では、LLMの理解は、一貫性と人間的類似性にはまだ程遠い、と結論付けています。
  論文  参考訳（メタデータ） (2024-04-18T12:48:17Z)
• LLMs' Reading Comprehension Is Affected by Parametric Knowledge and Struggles with Hypothetical Statements [59.71218039095155]
  言語モデルの自然言語理解(NLU)能力を評価するための主要な手段として、読解理解(RC)があげられる。 文脈がモデルの内部知識と一致している場合、モデルの回答がコンテキスト理解に由来するのか、あるいは内部情報から生じるのかを識別することは困難である。 この問題に対処するために、架空の事実や実体に基づいて、想像上のデータにRCを使うことを提案する。
  論文  参考訳（メタデータ） (2024-04-09T13:08:56Z)
• Acquiring Linguistic Knowledge from Multimodal Input [10.965306219502303]
  子どもとは対照的に、言語モデル(LM)は言語習得時のデータ効率が著しく劣っている。 我々は、このデータ効率ギャップは、典型的な言語モデルの学習環境におけるマルチモーダル入力の欠如と基礎化によって生じるという仮説を検証した。
  論文  参考訳（メタデータ） (2024-02-27T23:29:10Z)
• Do Pre-Trained Language Models Detect and Understand Semantic Underspecification? Ask the DUST! [4.1970767174840455]
  本研究では,事前訓練された言語モデル(LM)が不特定文を正しく識別し,解釈するかどうかを検討する。 実験の結果,不特定文の解釈においては,不特定文の理論的説明が予測する内容とは対照的に,不確実性はほとんど認められなかった。
  論文  参考訳（メタデータ） (2024-02-19T19:49:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。