論文の概要: Crosscoding Through Time: Tracking Emergence & Consolidation Of Linguistic Representations Throughout LLM Pretraining

• arxiv url: http://arxiv.org/abs/2509.05291v1
• Date: Fri, 05 Sep 2025 17:56:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-08 14:27:25.678914
• Title: Crosscoding Through Time: Tracking Emergence & Consolidation Of Linguistic Representations Throughout LLM Pretraining
• Title（参考訳）: 時間によるクロスコーディング:LLM事前学習による言語表現の創発と統合の追跡
• Authors: Deniz Bayazit, Aaron Mueller, Antoine Bosselut,
• Abstract要約: 大規模な言語モデルは、事前訓練中に非自明な抽象化を学ぶ。 スパース・クロスコーダを使用して、モデルのチェックポイント間で機能を発見、調整しています。 プレトレーニング中に,クロスコーダが特徴の出現,維持,継続を検知できることを示す。
• 参考スコア（独自算出の注目度）: 33.22703101533052
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) learn non-trivial abstractions during pretraining, like detecting irregular plural noun subjects. However, it is not well understood when and how specific linguistic abilities emerge as traditional evaluation methods such as benchmarking fail to reveal how models acquire concepts and capabilities. To bridge this gap and better understand model training at the concept level, we use sparse crosscoders to discover and align features across model checkpoints. Using this approach, we track the evolution of linguistic features during pretraining. We train crosscoders between open-sourced checkpoint triplets with significant performance and representation shifts, and introduce a novel metric, Relative Indirect Effects (RelIE), to trace training stages at which individual features become causally important for task performance. We show that crosscoders can detect feature emergence, maintenance, and discontinuation during pretraining. Our approach is architecture-agnostic and scalable, offering a promising path toward more interpretable and fine-grained analysis of representation learning throughout pretraining.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、不規則な複数の名詞を検知するなど、事前訓練中に非自明な抽象化を学習する。 しかし、ベンチマークのような従来の評価手法が、モデルがどのように概念や能力を取得するかを明らかにするのに失敗し、特定の言語能力がいつ、どのように出現するかはよく分かっていない。 このギャップを埋め、概念レベルでモデルのトレーニングをよりよく理解するために、私たちはスパース・クロスコーダを使用してモデルのチェックポイントをまたいだ機能の発見と調整を行います。 この手法を用いて,事前学習中の言語的特徴の進化を追跡する。 我々は,オープンソースのチェックポイントトレーレット間のクロスコーダを重要な性能と表現シフトで訓練し,タスクのパフォーマンスに個々の特徴が慎重に重要になるようなトレーニング段階をトレースするために,新たな指標であるRelative Indirect Effects(RelIE)を導入する。 プレトレーニング中に,クロスコーダが特徴の出現,維持,継続を検知できることを示す。 我々のアプローチはアーキテクチャ非依存でスケーラブルであり、事前学習を通して表現学習をより解釈可能できめ細かい分析を行うための有望な道を提供する。

関連論文リスト

• Shortcut Learning Susceptibility in Vision Classifiers [11.599035626374409]
  ショートカット学習は、機械学習モデルが意味のある特徴をキャプチャする代わりに、データの急激な相関を利用する場所である。 本研究では,クラスラベルと位置と強度の相関関係にあるデータセットに意図的にショートカットを導入する。 異なる学習率で学習をショートカットする可能性を評価する。
  論文  参考訳（メタデータ） (2025-02-13T10:25:52Z)
• Pay Attention to Your Neighbours: Training-Free Open-Vocabulary Semantic Segmentation [19.20874993309959]
  CLIPのような視覚言語基盤モデルは、多くのゼロショット画像レベルタスクにおいて顕著な効果を示した。 我々は、Nighbour-Aware CLIP(NACLIP)と呼ばれる、トレーニング不要なOVSSのベースラインを提案する。 OVSSの文献では,高密度予測タスクに欠かせないCLIPの視覚変換器の自己アテンションにおけるパッチの局所化が過小評価されている。
  論文  参考訳（メタデータ） (2024-04-12T01:08:04Z)
• The Fine Line: Navigating Large Language Model Pretraining with Down-streaming Capability Analysis [27.310894780313618]
  本稿では,様々な事前学習中間点におけるモデル能力の総合的な比較を行う。 特定のダウンストリームメトリクスが、異なるサイズのモデルにまたがる同様のトレーニングダイナミクスを示すことを確認します。 コアの発見に加えて、AmberとOpenLLaMAを再現し、中間チェックポイントをリリースしました。
  論文  参考訳（メタデータ） (2024-04-01T16:00:01Z)
• OmDet: Large-scale vision-language multi-dataset pre-training with multimodal detection network [17.980765138522322]
  この研究は、新しい言語対応のオブジェクト検出アーキテクチャであるOmDetを紹介した。 自然言語を普遍的な知識表現として活用することで、OmDetは多様なデータセットから"視覚語彙"を蓄積する。 我々は,OmDetが野生におけるオブジェクト検出,オープンボキャブラリ検出,句接地において,強いベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-09-10T14:25:14Z)
• Bridging the Gap between Language Models and Cross-Lingual Sequence Labeling [101.74165219364264]
  大規模言語間事前学習言語モデル (xPLM) は、言語間シーケンスラベリングタスクにおいて有効であることを示す。 大きな成功にもかかわらず、事前学習と微調整の段階の間には訓練対象のギャップがあるという経験的観察を描いている。 本稿では,まず,言語間インフォーマティブ・スパン・マスキング(CLISM)と呼ばれるxSLのための事前学習タスクを設計し,目的のギャップを解消する。 第2に、コントラスト学習を利用して入力並列表現間の一貫性を促進するContrAstive-Consistency Regularization (CACR)を提案する。
  論文  参考訳（メタデータ） (2022-04-11T15:55:20Z)
• A Simple Long-Tailed Recognition Baseline via Vision-Language Model [92.2866546058082]
  視覚の世界は自然にオープンクラスの長い尾の分布を示しており、現代の視覚システムには大きな課題をもたらしている。 視覚認識のための新しい経路におけるコントラスト言語事前学習の最近の進歩 我々は、長い尾の認識にコントラッシブな視覚言語モデルを活用するために、BALLADを提案する。
  論文  参考訳（メタデータ） (2021-11-29T17:49:24Z)
• Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
  画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。 これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。 そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
  論文  参考訳（メタデータ） (2021-09-24T07:20:13Z)
• Behind the Scene: Revealing the Secrets of Pre-trained Vision-and-Language Models [65.19308052012858]
  最近のTransformerベースの大規模事前学習モデルは、視覚言語(V+L)研究に革命をもたらした。 VALUEは,マルチモーダル事前学習における内部動作の解明を目的とした,精密に設計された探索タスクのセットである。 主要な観察:事前訓練されたモデルは、推論中の画像よりもテキストに出席する傾向を示す。
  論文  参考訳（メタデータ） (2020-05-15T01:06:54Z)
• Pre-training Text Representations as Meta Learning [113.3361289756749]
  本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。 マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
  論文  参考訳（メタデータ） (2020-04-12T09:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。