論文の概要: Language Models Can Benefit from Domain-Specific Inductive Biases

• arxiv url: http://arxiv.org/abs/2611.03756v1
• Date: Mon, 02 Nov 2026 11:57:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-11 11:11:15.285109
• Title: Language Models Can Benefit from Domain-Specific Inductive Biases
• Title（参考訳）: 言語モデルはドメイン特有な帰納的バイアスから恩恵を受けることができる
• Abstract要約: 我々は、Webテキスト、コード、数学などの事前学習データの代表的なサブセットに基づいて、スクラッチから小さな言語モデルを訓練する。 チューニングされたトランスフォーマーは、テスト対象の7つのデータセットのトレーニング効率や一般化を改善します。 これらの改善の根底にあるいくつかのメカニズムは、より広い損失盆地とより豊富な「ロッキーチケット」である。
• 参考スコア（独自算出の注目度）: 38.40960743016142
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models are typically trained with a single choice of architecture on diverse domains and data sources. Modern transformers have been extensively refined for such general-purpose learning, but are they equally effective across different subsets of the pretraining data? We investigate this question by training small language models from scratch on representative subsets of pretraining data such as web text, code, and mathematics. We introduce variants of transformers in which standard activation functions are replaced with learned splines tuned on specific datasets, providing a simple way to modify their inductive biases. Using a mix-and-match of architectures and datasets, we evaluate cross-domain transfer, i.e. how well does an architecture tuned for one domain perform on data from another? We find that the tuned transformer variants improve training efficiency or generalization on all seven of our tested datasets, but the gains are often domain-specific. For example, architectures tuned on a natural language dataset such as FineWeb perform well on TinyStories, whereas those tuned on mathematics perform poorly on natural language. We identify several mechanisms underlying these improvements, including wider loss basins and more abundant "lottery tickets". Our results show that different subsets of pretraining data can benefit from different learning mechanisms, highlighting a limitation of the prevailing trend towards a small set of general-purpose architectures and optimizers. This points to an opportunity to improve data efficiency by developing domain-specific learning strategies that retain the ability to train general-purpose models.
• Abstract（参考訳）: 言語モデルは一般的に、さまざまなドメインやデータソース上の単一のアーキテクチャの選択で訓練される。 現代の変圧器は、このような汎用学習のために広範囲に洗練されてきたが、これらは事前学習データの異なるサブセットに対して等しく有効か? 本研究では,Webテキスト,コード,数学などの事前学習データの代表的なサブセットをスクラッチから学習することで,この問題を考察する。 標準的なアクティベーション関数を特定のデータセットに調整された学習スプラインに置き換える変換器の変種を導入し、その帰納バイアスを簡単に修正する方法を提供する。 アーキテクチャとデータセットのミックス・アンド・マッチを使用して、クロスドメイン転送、すなわち、あるドメインが別のドメインからのデータに対してどの程度のチューニングを行うかを評価する。 チューニングされたトランスフォーマーは、テスト対象のデータセットの7つすべてにおいて、トレーニング効率や一般化を改善するが、ゲインはドメイン固有であることが多い。 例えば、FinalWebのような自然言語データセットでチューニングされたアーキテクチャはTinyStoriesでうまく機能する一方、数学でチューニングされたアーキテクチャは自然言語ではあまり機能しない。 これらの改善の根底にあるいくつかのメカニズムは、より広い損失盆地とより豊富な「ロテリチケット」である。 以上の結果から,事前学習データのサブセットが異なる学習メカニズムの恩恵を受け,汎用アーキテクチャやオプティマイザの小さなセットへの普及傾向の限界を浮き彫りにした。 このことは、汎用モデルのトレーニング能力を維持したドメイン固有の学習戦略を開発することによって、データ効率を改善する機会を示している。

関連論文リスト

• Transformers Pretrained on Procedural Data Contain Modular Structures for Algorithmic Reasoning [40.84344912259233]
  我々は,小型変圧器の改良にともなう,特定のアルゴリズム推論スキルとともに,手続きデータに有用ないくつかの形式を同定する。 我々の中核となる発見は、異なる手続き規則がモデルにおいて異なるが相補的な帰納的構造を具現化することである。 最も興味深いのは、複数の規則によって誘導される構造は、複数の能力を共同で付与するために構成することができることである。
  論文  参考訳（メタデータ） (2025-05-28T12:50:09Z)
• Diversify Your Vision Datasets with Automatic Diffusion-Based Augmentation [66.6546668043249]
  ALIA(Automated Language-Guided Image Augmentation)は、大規模ビジョンと言語モデルを用いてデータセットのドメインの自然言語記述を自動的に生成する手法である。 データ整合性を維持するために、オリジナルのデータセットでトレーニングされたモデルは、最小限の画像編集とクラス関連情報を破損したデータをフィルタリングする。 そこで本研究では,ALIAが従来のデータ拡張や,詳細な分類作業におけるテキストから画像への変換を超越できることを示す。
  論文  参考訳（メタデータ） (2023-05-25T17:43:05Z)
• Meta-learning Pathologies from Radiology Reports using Variance Aware Prototypical Networks [3.464871689508835]
  本稿では,数ショットのテキスト分類のためのプロトタイプネットワークの簡易拡張を提案する。 我々の主な考えは、クラスプロトタイプをガウスに置き換え、サンプルを適切なクラスセントロイドの近くでクラスタ化することを奨励する正規化項を導入することである。
  論文  参考訳（メタデータ） (2022-10-22T05:22:29Z)
• Pre-Training a Graph Recurrent Network for Language Representation [34.4554387894105]
  本稿では,言語モデルの事前学習のためのグラフリカレントネットワークについて考察し,各シーケンスのグラフ構造を局所的なトークンレベルの通信で構築する。 我々のモデルは、既存の注意に基づくモデルよりもコンテキスト化された特徴冗長性が少なく、より多様な出力を生成することができる。
  論文  参考訳（メタデータ） (2022-09-08T14:12:15Z)
• Deep invariant networks with differentiable augmentation layers [87.22033101185201]
  データ拡張ポリシーの学習方法は、保持データを必要とし、二段階最適化の問題に基づいている。 我々のアプローチは、現代の自動データ拡張技術よりも訓練が簡単で高速であることを示す。
  論文  参考訳（メタデータ） (2022-02-04T14:12:31Z)
• Cross-Domain Generalization and Knowledge Transfer in Transformers Trained on Legal Data [0.0]
  異なる型システムで注釈付けされたデータセット間で知識を伝達する事前学習言語モデルの解析を行う。 文がケース決定で果たす修辞的役割の予測は、AI & Lawにおいて重要かつしばしば研究される課題である。
  論文  参考訳（メタデータ） (2021-12-15T04:23:14Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• Transformer Based Multi-Source Domain Adaptation [53.24606510691877]
  実践的な機械学習設定では、モデルを予測しなければならないデータは、トレーニングされたデータとは異なる分布から生まれることが多い。 本稿では、複数のソースドメインからラベル付きデータに基づいてモデルを訓練し、ラベル付きデータが見られないドメイン上で予測を行う、教師なしマルチソースドメイン適応の問題について検討する。 本研究では,大規模な事前学習型変圧器を用いたドメインエキスパートの予測が極めて均質であることを示し,それらの予測を混在させる効果的な関数の学習を困難にしている。
  論文  参考訳（メタデータ） (2020-09-16T16:56:23Z)
• Building a Multi-domain Neural Machine Translation Model using Knowledge Distillation [0.0]
  専門データの欠如により、マルチドメインのニューラルネットワーク翻訳ツールの構築が困難になる。 我々は,知識蒸留と複数の専門教員が効率的にモデルを微調整できる新しい訓練パイプラインを提案する。
  論文  参考訳（メタデータ） (2020-04-15T20:21:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。