論文の概要: Disaggregation Reveals Hidden Training Dynamics: The Case of Agreement Attraction

• arxiv url: http://arxiv.org/abs/2510.24934v1
• Date: Tue, 28 Oct 2025 19:59:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-30 15:50:44.777386
• Title: Disaggregation Reveals Hidden Training Dynamics: The Case of Agreement Attraction
• Title（参考訳）: ディアグリゲーション:トレーニングのダイナミクスを隠蔽する:合意獲得の事例
• Authors: James A. Michaelov, Catherine Arnett,
• Abstract要約: 言語モデルは一般的に文法的なテキストを生成するが、特定の文脈で誤りを犯しやすい。 言語モデルにおける文法学習の中間段階をよりよく理解することは可能であることを示す。 言語モデルの振る舞いを解析するためにこのアプローチを採用することは、中間学習フェーズ、全体的なトレーニングダイナミクス、言語モデルによって学習された特定の一般化を理解するための強力なツールとなり得る、と我々は論じる。
• 参考スコア（独自算出の注目度）: 6.531546527140474
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models generally produce grammatical text, but they are more likely to make errors in certain contexts. Drawing on paradigms from psycholinguistics, we carry out a fine-grained analysis of those errors in different syntactic contexts. We demonstrate that by disaggregating over the conditions of carefully constructed datasets and comparing model performance on each over the course of training, it is possible to better understand the intermediate stages of grammatical learning in language models. Specifically, we identify distinct phases of training where language model behavior aligns with specific heuristics such as word frequency and local context rather than generalized grammatical rules. We argue that taking this approach to analyzing language model behavior more generally can serve as a powerful tool for understanding the intermediate learning phases, overall training dynamics, and the specific generalizations learned by language models.
• Abstract（参考訳）: 言語モデルは一般的に文法的なテキストを生成するが、特定の文脈で誤りを犯しやすい。 精神言語学のパラダイムに基づいて、異なる統語的文脈におけるこれらの誤りのきめ細かい分析を行う。 本研究では、慎重に構築されたデータセットの条件を把握し、トレーニングの過程で各モデルの性能を比較することで、言語モデルにおける文法学習の中間段階をよりよく理解できることを実証する。 具体的には、言語モデル行動が一般化された文法規則ではなく、単語頻度や局所文脈といった特定のヒューリスティックと整合する訓練の異なる段階を特定する。 言語モデルの振る舞いを解析するためにこのアプローチを採用することは、中間学習フェーズ、全体的なトレーニングダイナミクス、言語モデルによって学習された特定の一般化を理解するための強力なツールとなり得る、と我々は論じる。

関連論文リスト

• Your Pretrained Model Tells the Difficulty Itself: A Self-Adaptive Curriculum Learning Paradigm for Natural Language Understanding [53.63482987410292]
  本稿では,事前学習言語モデルにより予測される難易度に基づいて,微調整例を優先する自己適応型カリキュラム学習パラダイムを提案する。 本手法は,4つの自然言語理解(NLU)データセットを用いて,二項分類と多項分類の両方を対象とする手法について検討した。
  論文  参考訳（メタデータ） (2025-07-13T19:36:17Z)
• Learning Phonotactics from Linguistic Informants [54.086544221761486]
  本モデルでは,情報理論的なポリシーの1つに従って,データポイントを反復的に選択または合成する。 提案モデルでは,情報提供者を問う項目の選択に使用する情報理論のポリシーが,完全教師付きアプローチに匹敵する,あるいはそれ以上の効率性が得られることがわかった。
  論文  参考訳（メタデータ） (2024-05-08T00:18:56Z)
• Counteracts: Testing Stereotypical Representation in Pre-trained Language Models [4.211128681972148]
  我々は,事前学習言語モデル(PLM)の内部ステレオタイプ知識を調べるために,反例を用いている。 我々は,9種類のクローゼスタイルのプロンプトに対して,異なる情報と基本知識で7つのPLMを評価する。
  論文  参考訳（メタデータ） (2023-01-11T07:52:59Z)
• Interpreting Language Models with Contrastive Explanations [99.7035899290924]
  言語モデルは、音声、数字、時制、意味論など、トークンを予測するための様々な特徴を考慮しなければならない。 既存の説明手法は、これらの特徴の証拠を1つの説明に分割するが、人間の理解には理解できない。 比較的な説明は、主要な文法現象の検証において、非対照的な説明よりも定量的に優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-21T18:32:24Z)
• On The Ingredients of an Effective Zero-shot Semantic Parser [95.01623036661468]
  我々は、標準発話とプログラムの訓練例を文法から言い換えて、ゼロショット学習を分析する。 改良された文法,より強力なパラフレーズ,効率的な学習手法を用いて,これらのギャップを埋めることを提案する。 我々のモデルはラベル付きデータゼロの2つの意味解析ベンチマーク(Scholar, Geo)で高い性能を達成する。
  論文  参考訳（メタデータ） (2021-10-15T21:41:16Z)
• The Grammar-Learning Trajectories of Neural Language Models [42.32479280480742]
  ニューラルネットワークモデルは,データ上での終末性能が異なるにもかかわらず,同じ順序で言語現象を取得することを示す。 以上の結果から,NLMは一貫した発達段階を示すことが示唆された。
  論文  参考訳（メタデータ） (2021-09-13T16:17:23Z)
• Structural Supervision Improves Few-Shot Learning and Syntactic Generalization in Neural Language Models [47.42249565529833]
  人間は最小限の経験から単語に関する構造的特性を学ぶことができる。 我々は、現代のニューラル言語モデルがこの行動を英語で再現する能力を評価する。
  論文  参考訳（メタデータ） (2020-10-12T14:12:37Z)
• Cross-lingual Spoken Language Understanding with Regularized Representation Alignment [71.53159402053392]
  外部リソースを使わずに言語間で単語レベルの表現と文レベルの表現を整列する正規化手法を提案する。 言語間言語理解タスクの実験により、我々のモデルは、数ショットとゼロショットの両方のシナリオにおいて、最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-09-30T08:56:53Z)
• Recurrent Neural Network Language Models Always Learn English-Like Relative Clause Attachment [17.995905582226463]
  英語とスペイン語のモデル性能を比較し,RNN LMにおける非言語的バイアスが英語の構文構造と有利に重なることを示す。 英語モデルは人間に似た構文的嗜好を習得しているように見えるが、スペイン語で訓練されたモデルは、同等の人間的な嗜好を取得できない。
  論文  参考訳（メタデータ） (2020-05-01T01:21:47Z)
• Data Augmentation for Spoken Language Understanding via Pretrained Language Models [113.56329266325902]
  音声言語理解(SLU)モデルの訓練は、しばしばデータ不足の問題に直面している。 我々は,事前学習言語モデルを用いたデータ拡張手法を提案し,生成した発話の変動性と精度を向上した。
  論文  参考訳（メタデータ） (2020-04-29T04:07:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。