Fugu-MT 論文翻訳(概要): Exposure is Optional: Learning Unlike Coordination in Language Models

論文の概要: Exposure is Optional: Learning Unlike Coordination in Language Models

arxiv url: http://arxiv.org/abs/2607.20251v1
Date: Wed, 22 Jul 2026 15:11:11 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-23 18:51:38.127155
Title: Exposure is Optional: Learning Unlike Coordination in Language Models
Title（参考訳）: 露光はオプションである:言語モデルにおけるコーディネーションとは異なる学習
Abstract要約: 基本的な言語構造であるコーディネーションは依然として激しい議論の対象であり、その正確な性質は理論言語学を妨げ続けている。本研究は, 整合性獲得がトレーニングデータに直接的な露出を必要とするか, あるいは一般的な構成能力から有機的に現れるかを検討する。フィルタされたデータに基づいてトレーニングされたモデルは、コーディネーションと異なり、パープレクティリティと文法的判断を未フィルタリングのテキストでトレーニングされたモデルに匹敵するものとして、うまく一般化できることがわかった。
参考スコア（独自算出の注目度）: 2.1771821757134915
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Coordination, a fundamental linguistic structure, remains a subject of intense debate, and its exact nature continues to elude theoretical linguistics. A common view holds that only same-category constituents can be conjoined, which has been challenged by the many grammatical unlike coordinations found in natural language. Treating language models as a computational testbed, we investigate whether the acquisition of unlike coordination requires direct exposure in the training data, or whether it can emerge organically from general compositional abilities. Using Filtered-Corpus Training (FiCT), we train GPT-2 models on corpora from which all instances of unlike coordination have been removed. We find that direct exposure is not necessary: models trained on filtered data successfully generalize to unlike coordination, achieving perplexity and grammaticality judgments comparable to models trained on unfiltered text. Furthermore, our analyses of internal representations indicate that language models process unlike coordination by treating the conjoined elements as belonging to similar structural categories or through a mechanism akin to deletion, both of which appear learnable from exposure to alike coordination alone. This work contributes to the growing understanding of how language models internally represent linguistic structures, while also adding to the broader debate on coordination by showing how models generalize and process unlike coordination without direct exposure.
Abstract（参考訳）: 基本的な言語構造であるコーディネーションは依然として激しい議論の対象であり、その正確な性質は理論言語学を妨げ続けている。共通する見解は、自然言語で見られるコーディネーションと異なり、多くの文法によって、同じカテゴリーの構成要素のみが結合できるというものである。言語モデルを計算テストベッドとして扱うことにより,学習データに直接露光する必要があるのか,あるいは一般的な構成能力から有機的に現れるのかを考察する。 We use filtered-Corpus Training (FiCT), we train GPT-2 model on corpora that all instance of other coordinates are removed。フィルタされたデータに基づいてトレーニングされたモデルは、コーディネーションと異なり、パープレクティリティと文法的判断を未フィルタリングのテキストでトレーニングされたモデルと同等に達成することに成功した。さらに, 内部表現の分析から, 共役要素を類似した構造的カテゴリに属するもの, あるいは, 脱落に似た機構で処理することにより, 言語モデルとコーディネーションの相違が示唆された。この研究は、言語モデルが言語構造を内部的にどのように表現するかの理解の高まりに寄与する一方で、モデルがどのように一般化し、直接露光することなく処理するかを示すことで、コーディネートに関するより広範な議論にも貢献する。

関連論文リスト

Tracking the emergence of linguistic structure in self-supervised models learning from speech [5.443419622061083]
オランダ語で訓練された6つのWav2Vec2およびHuBERTモデルの層間および中間チェックポイントの幅広い言語構造の符号化について検討した。言語構造の異なるレベルは、学習軌跡だけでなく、明らかに異なる階層的なパターンを示す。
論文参考訳（メタデータ） (2026-04-02T13:48:22Z)
Alignment among Language, Vision and Action Representations [0.0]
言語,視覚,行動表現が部分的に共有された意味構造に収束することを示す。これらの結果は、言語、視覚、行動表現が部分的に共有された意味構造に収束していることを示している。
論文参考訳（メタデータ） (2026-01-30T13:12:07Z)
Disaggregation Reveals Hidden Training Dynamics: The Case of Agreement Attraction [6.531546527140474]
言語モデルは一般的に文法的なテキストを生成するが、特定の文脈で誤りを犯しやすい。言語モデルにおける文法学習の中間段階をよりよく理解することは可能であることを示す。言語モデルの振る舞いを解析するためにこのアプローチを採用することは、中間学習フェーズ、全体的なトレーニングダイナミクス、言語モデルによって学習された特定の一般化を理解するための強力なツールとなり得る、と我々は論じる。
論文参考訳（メタデータ） (2025-10-28T19:59:26Z)
On the Entity-Level Alignment in Crosslingual Consistency [62.33186691736433]
SubSubとSubInjは、主題の英語翻訳を言語間のプロンプトに統合し、実際のリコール精度と一貫性を大きく向上させた。これらの介入はモデルの内部ピボット言語処理を通じて概念空間における実体表現のアライメントを強化する。
論文参考訳（メタデータ） (2025-10-11T16:26:50Z)
Linguistics-aware Masked Image Modeling for Self-supervised Scene Text Recognition [50.86415025650168]
マスク付き画像モデリング(MIM)は、局所的な構造を利用して視覚パターンを再構築する傾向があり、言語知識は限られている。本稿では,言語情報とMIMの復号過程を別ブランチで関連づける,言語学対応の仮面画像モデリング(LMIM)手法を提案する。
論文参考訳（メタデータ） (2025-03-24T14:53:35Z)
Constructive Approach to Bidirectional Influence between Qualia Structure and Language Emergence [5.906966694759679]
本稿では,言語出現と主観的経験の構造の双方向的影響について考察する。分布意味論を持つ言語の出現は、経験によって形成される内部表現の協調と関連していると仮定する。
論文参考訳（メタデータ） (2024-09-14T11:03:12Z)
Cross-Align: Modeling Deep Cross-lingual Interactions for Word Alignment [63.0407314271459]
提案したCross-Alignは、5つの言語ペアのうち4つで最先端(SOTA)のパフォーマンスを達成する。実験の結果,提案したCross-Alignは5つの言語ペアのうち4つで最先端(SOTA)のパフォーマンスを達成することがわかった。
論文参考訳（メタデータ） (2022-10-09T02:24:35Z)
Controlled Evaluation of Grammatical Knowledge in Mandarin Chinese Language Models [22.57309958548928]
構造的監督が言語モデルの文法的依存の学習能力を向上させるかどうかを検討する。 LSTM、リカレントニューラルネットワーク文法、トランスフォーマー言語モデル、および異なるサイズのデータセットに対する生成解析モデルをトレーニングする。構造的監督がコンテンツ間のシナティクス状態の表現に役立ち、低データ設定における性能向上に役立つという示唆的な証拠が得られます。
論文参考訳（メタデータ） (2021-09-22T22:11:30Z)
A Massively Multilingual Analysis of Cross-linguality in Shared Embedding Space [61.18554842370824]
言語間モデルでは、多くの異なる言語に対する表現は同じ空間に存在している。我々は,bitext検索性能の形式で,言語間アライメントのタスクベース尺度を計算した。我々はこれらのアライメント指標の潜在的な予測因子として言語的、準言語的、および訓練関連の特徴について検討する。
論文参考訳（メタデータ） (2021-09-13T21:05:37Z)
I like fish, especially dolphins: Addressing Contradictions in Dialogue Modeling [104.09033240889106]
DialoguE Contradiction Detection Task(DECODE)と、人間とロボットの矛盾した対話の両方を含む新しい会話データセットを紹介します。次に、事前学習したトランスフォーマーモデルを用いて、定型的非構造的アプローチと矛盾検出を行う構造的発話に基づくアプローチを比較する。
論文参考訳（メタデータ） (2020-12-24T18:47:49Z)
Structured Attention for Unsupervised Dialogue Structure Induction [110.12561786644122]
本稿では、構造化された注意層を離散潜在状態を持つ変化型リカレントニューラルネットワーク(VRNN)モデルに組み込んで、教師なしの方法で対話構造を学ぶことを提案する。バニラVRNNと比較して、構造化された注意は、構造的帰納バイアスを強制しながら、ソース文の埋め込みの異なる部分にフォーカスすることができる。
論文参考訳（メタデータ） (2020-09-17T23:07:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。