論文の概要: When Does Metadata Conditioning (NOT) Work for Language Model Pre-Training? A Study with Context-Free Grammars
- arxiv url: http://arxiv.org/abs/2504.17562v1
- Date: Thu, 24 Apr 2025 13:56:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:53.392722
- Title: When Does Metadata Conditioning (NOT) Work for Language Model Pre-Training? A Study with Context-Free Grammars
- Title（参考訳）: 言語モデル事前学習におけるメタデータコンディショニング(NOT)はいつ機能するのか : 文脈自由文法を用いた検討
- Authors: Rei Higuchi, Ryotaro Kawata, Naoki Nishikawa, Kazusato Oko, Shoichiro Yamaguchi, Sosuke Kobayashi, Seiya Tokui, Kohei Hayashi, Daisuke Okanohara, Taiji Suzuki,
- Abstract要約: 潜在意味論は、言語モデルのパフォーマンスを決定する重要な特性の1つです。
この機能を呼び出すための便利なアプローチの1つは、事前トレーニングデータのテキストの開始時にメタデータをプリペンドすることである。
メタデータを用いたトレーニングは、与えられたコンテキストが遅延セマンティクスを推測するのに十分な時間である場合に、モデルの性能を向上させることができることを示す。
- 参考スコア（独自算出の注目度）: 34.80529788630565
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The ability to acquire latent semantics is one of the key properties that determines the performance of language models. One convenient approach to invoke this ability is to prepend metadata (e.g. URLs, domains, and styles) at the beginning of texts in the pre-training data, making it easier for the model to access latent semantics before observing the entire text. Previous studies have reported that this technique actually improves the performance of trained models in downstream tasks; however, this improvement has been observed only in specific downstream tasks, without consistent enhancement in average next-token prediction loss. To understand this phenomenon, we closely investigate how prepending metadata during pre-training affects model performance by examining its behavior using artificial data. Interestingly, we found that this approach produces both positive and negative effects on the downstream tasks. We demonstrate that the effectiveness of the approach depends on whether latent semantics can be inferred from the downstream task's prompt. Specifically, through investigations using data generated by probabilistic context-free grammars, we show that training with metadata helps improve model's performance when the given context is long enough to infer the latent semantics. In contrast, the technique negatively impacts performance when the context lacks the necessary information to make an accurate posterior inference.
- Abstract（参考訳）: 潜在意味論を取得する能力は、言語モデルの性能を決定する重要な特性の1つである。
この機能を呼び出すための便利なアプローチの1つは、事前トレーニングデータのテキストの開始時にメタデータ(URL、ドメイン、スタイルなど)をプリペンドすることで、モデルがテキスト全体を観察する前に遅延セマンティクスにアクセスしやすくする。
従来の研究では、この手法は下流タスクにおける訓練されたモデルの性能を実際に向上させると報告されているが、この改善は特定の下流タスクでのみ観察され、平均的な次回の予測損失が一貫した向上は得られていない。
この現象を理解するために, 事前学習中のメタデータがモデルの性能に与える影響を, 人工データを用いて検証することによって詳細に検討する。
興味深いことに,本手法は下流タスクに肯定的かつ否定的な効果をもたらすことがわかった。
提案手法の有効性は,下流タスクのプロンプトから潜在意味論を推測できるかどうかに依存する。
具体的には,確率論的文脈自由文法によって生成されたデータを用いて,与えられた文脈が潜在意味論を推測するのに十分な長さである場合に,メタデータを用いたトレーニングがモデルの性能を向上させることを示す。
対照的に、この手法は、正確な後部推論を行うために必要な情報がない場合、性能に悪影響を及ぼす。
関連論文リスト
- Relation-based Counterfactual Data Augmentation and Contrastive Learning for Robustifying Natural Language Inference Models [0.0]
本稿では,トークンベースおよび文ベースの拡張手法を用いて,対実文ペアを生成する手法を提案する。
提案手法は,NLIモデルの性能とロバスト性を向上させることができることを示す。
論文 参考訳（メタデータ） (2024-10-28T03:43:25Z) - From Text to Treatment Effects: A Meta-Learning Approach to Handling Text-Based Confounding [7.5348062792]
本稿では,共起変数をテキストで表現する場合のメタラーナーの性能について検討する。
共同創設者の事前学習したテキスト表現を用いた学習者は,CATE推定精度の向上を図っている。
テキスト埋め込みの絡み合った性質のため、これらのモデルは、完全な共同創設者の知識を持つメタ学習者のパフォーマンスと完全には一致しない。
論文 参考訳（メタデータ） (2024-09-23T19:46:19Z) - Data Adaptive Traceback for Vision-Language Foundation Models in Image Classification [34.37262622415682]
我々はData Adaptive Tracebackと呼ばれる新しい適応フレームワークを提案する。
具体的には、ゼロショット法を用いて、事前学習データの最もダウンストリームなタスク関連サブセットを抽出する。
我々は、擬似ラベルに基づく半教師付き手法を採用し、事前学習画像の再利用と、半教師付き学習における確証バイアス問題に対処するための視覚言語コントラスト学習手法を提案する。
論文 参考訳（メタデータ） (2024-07-11T18:01:58Z) - Vocabulary-Defined Semantics: Latent Space Clustering for Improving In-Context Learning [32.178931149612644]
コンテキスト内学習により、言語モデルは下流のデータに適応したり、プロンプト内のデモとして少数のサンプルでタスクを組み込むことができる。
しかし、文脈内学習のパフォーマンスは、実演の質、形式、順序によって不安定である可能性がある。
語彙定義意味論(vocabulary-defined semantics)を提案する。
論文 参考訳（メタデータ） (2024-01-29T14:29:48Z) - Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。
画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
論文 参考訳（メタデータ） (2022-09-30T02:25:12Z) - A Generative Language Model for Few-shot Aspect-Based Sentiment Analysis [90.24921443175514]
我々は、アスペクト項、カテゴリを抽出し、対応する極性を予測するアスペクトベースの感情分析に焦点を当てる。
本稿では,一方向の注意を伴う生成言語モデルを用いて,抽出タスクと予測タスクをシーケンス生成タスクに再構成することを提案する。
提案手法は,従来の最先端(BERTをベースとした)の性能を,数ショットとフルショットの設定において,大きなマージンで上回ります。
論文 参考訳（メタデータ） (2022-04-11T18:31:53Z) - Improved Fine-tuning by Leveraging Pre-training Data: Theory and
Practice [52.11183787786718]
対象データに事前学習されたモデルを微調整することは、多くのディープラーニングアプリケーションで広く利用されている。
近年の研究では、スクラッチからのトレーニングが、この事前トレーニング戦略に比較して、最終的なパフォーマンスを示すことが実証されている。
本稿では,対象タスクの一般化を改善するために,事前学習データからサブセットを選択する新しい選択戦略を提案する。
論文 参考訳（メタデータ） (2021-11-24T06:18:32Z) - On the Transferability of Pre-trained Language Models: A Study from
Artificial Datasets [74.11825654535895]
大規模未ラベルテキストデータ上での事前学習言語モデル(LM)により、ダウンストリームのパフォーマンスが極めて容易になる。
我々は,事前学習データに含まれる特定の特徴について,セマンティクス以外では,下流タスクのスクラッチからトレーニングしたデータよりも,事前学習したLMを優れているか検討した。
論文 参考訳（メタデータ） (2021-09-08T10:39:57Z) - Exploring Fine-tuning Techniques for Pre-trained Cross-lingual Models
via Continual Learning [74.25168207651376]
訓練済みの言語モデルから下流の言語間タスクへの微調整は、有望な結果を示している。
ダウンストリームタスクに微調整する場合、継続学習を活用して、事前学習したモデルの言語間能力を維持する。
提案手法は、ゼロショット言語間タグ付けや名前付きエンティティ認識タスクにおいて、他の微調整ベースラインよりも優れた性能を実現する。
論文 参考訳（メタデータ） (2020-04-29T14:07:18Z) - Pre-training Text Representations as Meta Learning [113.3361289756749]
本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。
マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
論文 参考訳（メタデータ） (2020-04-12T09:05:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。