論文の概要: Every Part Has Its Role: Part-of-Speech Effects in LLM Post-Training

• arxiv url: http://arxiv.org/abs/2610.29843v1
• Date: Wed, 21 Oct 2026 15:05:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.388566
• Title: Every Part Has Its Role: Part-of-Speech Effects in LLM Post-Training
• Title（参考訳）: 各パートの役割:LLMポストトレーニングにおけるパート・オブ・スポーチの効果
• Abstract要約: 従来の研究は、目標単語を概念的に関連する代替語に置き換える最小限の文でトレーニングデータを増強することで、この制限に対処してきた。 我々は,先行研究である「textitbeyond nouns$」を動詞や形容詞に再現・拡張し,概念信号を持つ音声(POS)の一部が難易度や下流のパフォーマンスに影響を及ぼすかどうかを問う。 概念拡張はニュースの難易度を最も一貫して改善するが、動詞は最も信頼性の高いダウンストリームゲインを提供する。
• 参考スコア（独自算出の注目度）: 4.215221129670858
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models are typically trained with next-token prediction (NTP), which rewards predicting specific tokens rather than explicitly accounting for the semantic similarities between different words or expressions. Prior work has addressed this limitation by augmenting training data with minimally varying sentences that replace a target word with conceptually related alternatives, e.g., "The tired coach ran home" $\rightarrow$ {"The tired trainer ran home", "The tired instructor ran home", ...}. Such concept augmentation improves performance, but it remains unclear whether its effectiveness depends on where in the sentence the concept is expressed. We reproduce and extend prior work $\textit{beyond nouns}$ to verbs and adjectives, asking whether the part of speech (POS) carrying the concept signal affects perplexity and downstream performance. We find different patterns across evaluation settings: concept augmentation improves perplexity most consistently on news, independent of the POS used, whereas verbs provide the most reliable downstream gains. Despite these behavioral differences, representational analyses using CKA and linear probing show that the conditions yielding the largest downstream gains are not necessarily those that most alter the model's internal representations. Together, these results suggest that the effectiveness of concept augmentation depends on where and how conceptual information is introduced during training.
• Abstract（参考訳）: 大規模言語モデルは一般に、異なる単語や表現のセマンティックな類似性を明示的に考慮するのではなく、特定のトークンを予測することに対する報奨として、NTP(Next-token Prediction)を用いて訓練される。 事前の作業では、目標単語を概念的に関連する代替語に置き換える最小限の文でトレーニングデータを増強することで、この制限に対処している。 このような概念拡張は、性能を向上させるが、その効果が、その概念が表現される文の場所に依存するかどうかは不明である。 先行作業である $\textit{beyond nouns}$ を動詞や形容詞に再現・拡張し、概念信号を運ぶ音声(POS)の一部が難易度や下流のパフォーマンスに影響を及ぼすかどうかを問う。 概念拡張はニュースにおいて最も難易度を向上し、使用したPOSとは独立に、動詞は最も信頼性の高い下流の利得を提供する。 これらの振舞いの違いにもかかわらず、CKAと線形探索を用いた表現解析は、最大の下流利得をもたらす条件がモデルの内部表現を変える条件であるとは限らないことを示している。 これらの結果から,概念拡張の有効性は,学習中に概念情報を導入する場所や方法によって異なることが示唆された。

関連論文リスト

• Lasting Effects of Abstract Pretraining Beyond Perplexity [39.914976890507]
  抽象的, アルゴリズム的に生成されたデータに対するウォームアップが, 自然言語学習の出発点となることを示す。 私たちのウォームアップでは、コンポジションとステートトラッキング機能を必要とする抽象的なスタック操作タスクを使用します。 制御された実験により、ウォームアップはより深い推論鎖の獲得を著しく加速することが示された。
  論文  参考訳（メタデータ） (2026-09-30T01:48:40Z)
• Think in Latent, Explain in Language: Self-Explainable Latent Reasoning [60.882997917270934]
  自己説明可能な潜在推論(SELR)のための統合フレームワークを提案する。 SELRは1つのモデルを訓練し、効率的で本質的に説明可能な潜在推論を行う。 この設計により、生成された潜在表現がタスク効果と意味論的に解釈可能であることが保証される。
  論文  参考訳（メタデータ） (2026-07-01T16:11:00Z)
• Counterfactual reasoning: an analysis of in-context emergence [57.118735341305786]
  我々は、言語モデルが反実的推論が可能なことを示す。 自己注意、モデル深度、トレーニング済みデータの多様性によってパフォーマンスが向上することがわかった。 以上の結果から, SDE 動態下での反実的推論が可能となった。
  論文  参考訳（メタデータ） (2025-06-05T16:02:07Z)
• Latent Reasoning via Sentence Embedding Prediction [41.06552269338159]
  本稿では,次の文の連続的な埋め込みを自動回帰予測することにより,事前訓練されたトークンレベルのLMを文空間内での操作に適応させるフレームワークを提案する。 以上の結果から,事前学習したLMは,遅延埋め込み空間内での抽象的構造的推論に効果的に移行できることが示唆された。
  論文  参考訳（メタデータ） (2025-05-28T10:28:35Z)
• ClassDiffusion: More Aligned Personalization Tuning with Explicit Class Guidance [90.57708419344007]
  新しい概念を学ぶ際に, 概念空間を明示的に規制するために, ** 連続保存損失** を利用するテクニックである **ClassDiffusion** を提示する。 このアプローチは単純ではあるが、ターゲット概念の微調整過程における意味的ドリフトを効果的に防止する。
  論文  参考訳（メタデータ） (2024-05-27T17:50:10Z)
• Improving Language Models Meaning Understanding and Consistency by Learning Conceptual Roles from Dictionary [65.268245109828]
  現代事前訓練言語モデル(PLM)の非人間的行動は、その信頼性を損なう主要な原因である。 驚くべき現象は、矛盾した結果を生み出す不整合予測の生成である。 本研究では,PLMの認知度を向上させることで,一貫性のない行動問題を緩和する実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-24T06:15:15Z)
• Combining Contrastive and Non-Contrastive Losses for Fine-Tuning Pretrained Models in Speech Analysis [25.707717591185386]
  パラ言語特性を微調整する2段階のアプローチを提案する。 まず、埋め込み空間を改善し、次に、埋め込み空間から分類タスクへのギャップを埋めるアダプタを訓練する。 われわれのアプローチは、複数のタスクのエンドツーエンドで微調整されたベースラインを一貫して上回り、最先端の感情分類のベンチマークを上回ります。
  論文  参考訳（メタデータ） (2022-10-21T19:58:37Z)
• CLEAR: Contrastive Learning for Sentence Representation [41.867438597420346]
  複数の文レベルの拡張戦略を採用した文表現用コントラストLEArning(CLEAR)を提案する。 これらの増分には単語とスパンの削除、再順序付け、置換が含まれる。 私たちのアプローチは、SentEvalとGLUEベンチマークの両方で複数の既存のメソッドを上回ることが示されています。
  論文  参考訳（メタデータ） (2020-12-31T06:40:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。