論文の概要: Language Models Learn Constructional Semantics, Not To Mention Syntax: Investigating LM Understanding of Paired-Focus Constructions

• arxiv url: http://arxiv.org/abs/2605.31586v1
• Date: Fri, 29 May 2026 17:54:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.781103
• Title: Language Models Learn Constructional Semantics, Not To Mention Syntax: Investigating LM Understanding of Paired-Focus Constructions
• Title（参考訳）: 言語モデルによる構成意味論の学習--ペア・フォーカス構成のLM理解をめざして
• Abstract要約: オープンソースモデルが稀な構成のセマンティクスを把握できるかどうかを検討する。 人間のスケールデータに基づいてトレーニングされたモデルは、あらゆる意味で評価に失敗する。 We found that learning of Paired-Focus semantics is correlation with gains in some domain of world knowledge。
• 参考スコア（独自算出の注目度）: 17.48707922390223
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Grasping the semantics of rare constructions (form-meaning pairings) has been shown to be a challenging problem that has currently only been solved by the largest LLMs. It remains an open question if open-source models have robust constructional understanding, and if so, what learning dynamics underlie the acquisition of this knowledge. Focusing on a set of rare Paired-Focus constructions in English (e.g. "let alone", "much less"), we construct a novel dataset to test their meanings using both scalar adjectival semantics and general world knowledge. Testing a wide range of models differing in parameter count, architecture, and pretraining dataset size, we find that several modestly sized models are sensitive to both the forms and the meanings of Paired-Focus constructions, though models trained on human-scale data fail at all meaning evaluations. Turning to training dynamics for a set of open-checkpoint models, we find that Paired-Focus understanding emerges later in training than Paired-Focus syntactic knowledge, and that learning of Paired-Focus semantics is correlated with gains in some domains of world knowledge. Overall, our empirical results support the conclusion that modestly sized open-source models can grasp the rare Paired-Focus constructions, and demonstrate a connection between knowledge of Paired-Focus constructions and other meaning domains.
• Abstract（参考訳）: 希少な構造(形式的意味のペアリング)の意味論を解析することは、現在最大のLCMによってのみ解決されている難しい問題であることが示されている。 オープンソースモデルが堅牢な構造的理解を持っているかどうか、もしそうなら、どのような学習力学がこの知識の獲得を支えているのか、という疑問が残る。 英語における希少なPaired-Focus構成(例えば、"let alone"や"much less"など)に着目し、スカラー形容詞意味論と一般世界知識の両方を用いて、それらの意味をテストするための新しいデータセットを構築した。 パラメータ数, アーキテクチャ, 事前学習データセットサイズで異なる幅広いモデルをテストすると, 複数のモデルがPaired-Focus構成の形式と意味の両方に敏感であることがわかった。 オープンチェックポイントモデルのトレーニング力学に目を向けると,Paired-Focus の理解は Paired-Focus の構文知識よりも後続の学習に現れ,Paired-Focus のセマンティクスの学習は世界知識のいくつかの領域の利得と相関していることがわかった。 全体として,実験結果は,比較的規模の小さいオープンソースモデルは稀なPaired-Focus構成を把握でき,Paired-Focus構成の知識と他の意味領域との関連性を実証することができるという結論を支持している。

関連論文リスト

• UNIFORM: Unifying Knowledge from Large-scale and Diverse Pre-trained Models [62.76435672183968]
  UNIFORMと呼ばれる新しいフレームワークを導入し、多様なオフザシェルフモデルから1つの学生モデルへ知識を伝達する。 本稿では,ロジットレベルでも機能レベルでも知識のコンセンサスを捉えるための,専用の投票機構を提案する。 UNIFORMは、強い知識伝達ベースラインに比べて、教師なしオブジェクト認識性能を効果的に向上することを示した。
  論文  参考訳（メタデータ） (2025-08-27T00:56:11Z)
• Context versus Prior Knowledge in Language Models [49.17879668110546]
  言語モデルは、事前学習中に学んだ事前知識と、文脈で提示された新しい情報を統合する必要があることが多い。 本稿では,モデルがコンテキストと先行するエンティティへの依存性を測定するための2つの相互情報ベースメトリクスを提案する。
  論文  参考訳（メタデータ） (2024-04-06T13:46:53Z)
• Explaining Relation Classification Models with Semantic Extents [1.7604348079019634]
  説明責任の欠如は、多くの現実世界のアプリケーションで現在複雑になっている要素である。 関係分類タスクにおける決定パターンを解析する概念である意味範囲を導入する。 我々は、人やモデルの意味範囲を決定するためのアノテーションツールとソフトウェアフレームワークを提供する。
  論文  参考訳（メタデータ） (2023-08-04T08:17:52Z)
• Foundational Models Defining a New Era in Vision: A Survey and Outlook [151.49434496615427]
  視覚シーンの構成的性質を観察し、推論する視覚システムは、我々の世界を理解するのに不可欠である。 モデルは、このようなモダリティと大規模なトレーニングデータとのギャップを埋めることを学び、コンテキスト推論、一般化、テスト時の迅速な機能を容易にした。 このようなモデルの出力は、例えば、バウンディングボックスを設けて特定のオブジェクトをセグメント化したり、画像や映像シーンについて質問したり、言語命令でロボットの動作を操作することで対話的な対話を行うなど、リトレーニングすることなく、人為的なプロンプトによって変更することができる。
  論文  参考訳（メタデータ） (2023-07-25T17:59:18Z)
• Recognizing Unseen Objects via Multimodal Intensive Knowledge Graph Propagation [68.13453771001522]
  画像の領域と対応するセマンティック埋め込みとをマッチングする多モード集中型ZSLフレームワークを提案する。 我々は、大規模な実世界のデータに基づいて、広範囲な実験を行い、そのモデルを評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:07:48Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Negation, Coordination, and Quantifiers in Contextualized Language Models [4.46783454797272]
  機能語の意味的制約が学習されるかどうか, 周辺環境が組み込む環境に与える影響について検討する。 我々は、適切なデータセットを作成し、LMs vis-a-vis関数ワードの内部動作に関する新たな洞察を提供し、質的分析のための補助的なビジュアルWebインターフェースを実装した。
  論文  参考訳（メタデータ） (2022-09-16T10:01:11Z)
• A Knowledge-Enhanced Adversarial Model for Cross-lingual Structured Sentiment Analysis [31.05169054736711]
  言語間構造的感情分析タスクは、ソース言語からターゲット言語へ知識を伝達することを目的としている。 本稿では,暗黙的分散と明示的構造的知識を両立させた知識強化逆数モデル(textttKEAM)を提案する。 我々は5つのデータセットの実験を行い、textttKEAMと教師なしおよび教師なしの両方の手法を比較した。
  論文  参考訳（メタデータ） (2022-05-31T03:07:51Z)
• Probing Across Time: What Does RoBERTa Know and When? [70.20775905353794]
  言語知識は、ドメイン間で高速、安定、そして堅牢に獲得されることを示す。 事実と常識はより遅く、ドメインに敏感です。 クロスタイム探索は、これらのモデルが生み出す複雑で混ざった学習を理解するのに役立ち、必要な学習を迅速に行うためのより効率的なアプローチへと導いてくれると信じています。
  論文  参考訳（メタデータ） (2021-04-16T04:26:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。