論文の概要: TRACE for Tracking the Emergence of Semantic Representations in Transformers

• arxiv url: http://arxiv.org/abs/2505.17998v1
• Date: Fri, 23 May 2025 15:03:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:34.176455
• Title: TRACE for Tracking the Emergence of Semantic Representations in Transformers
• Title（参考訳）: 変換器における意味表現の出現を追跡するTRACE
• Authors: Nura Aljaafari, Danilo S. Carvalho, André Freitas,
• Abstract要約: 本稿では,トランスフォーマーに基づくLMにおける位相遷移を検出するために,幾何学的,情報的,言語的信号を組み合わせた診断フレームワークTRACEを紹介する。 実験により、位相遷移は曲率崩壊と寸法安定化の明確な交点と一致し、これらの幾何学的シフトは、新たな構文的および意味論的精度と一致することが明らかになった。 この研究は、モデル解釈可能性、訓練効率、構成一般化に関する洞察を提供することで、言語的抽象がLMにどのように現れるかの理解を深める。
• 参考スコア（独自算出の注目度）: 10.777646083061395
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Modern transformer models exhibit phase transitions during training, distinct shifts from memorisation to abstraction, but the mechanisms underlying these transitions remain poorly understood. Prior work has often focused on endpoint representations or isolated signals like curvature or mutual information, typically in symbolic or arithmetic domains, overlooking the emergence of linguistic structure. We introduce TRACE (Tracking Representation Abstraction and Compositional Emergence), a diagnostic framework combining geometric, informational, and linguistic signals to detect phase transitions in Transformer-based LMs. TRACE leverages a frame-semantic data generation method, ABSynth, that produces annotated synthetic corpora with controllable complexity, lexical distributions, and structural entropy, while being fully annotated with linguistic categories, enabling precise analysis of abstraction emergence. Experiments reveal that (i) phase transitions align with clear intersections between curvature collapse and dimension stabilisation; (ii) these geometric shifts coincide with emerging syntactic and semantic accuracy; (iii) abstraction patterns persist across architectural variants, with components like feedforward networks affecting optimisation stability rather than fundamentally altering trajectories. This work advances our understanding of how linguistic abstractions emerge in LMs, offering insights into model interpretability, training efficiency, and compositional generalisation that could inform more principled approaches to LM development.
• Abstract（参考訳）: 現代の変圧器モデルは、記憶から抽象への明確なシフトである訓練中に相転移を示すが、これらの遷移のメカニズムはいまだに理解されていない。 以前の研究は、しばしば終端表現や、曲率や相互情報のような孤立した信号(典型的には記号や算術の領域)に焦点を当てており、言語構造の出現を見越す。 本稿では,トランスフォーマーに基づくLMの位相遷移を検出するために,幾何学的,情報的,言語的信号を組み合わせた診断フレームワークであるTRACE(Tracking Representation Abstraction and Compositional Emergence)を紹介する。 TRACEはフレーム・セマンティックなデータ生成手法であるABSynthを活用し、制御可能な複雑さ、語彙分布、構造エントロピーを持つ注釈付き合成コーパスを生成する。 実験によると i) 位相遷移は、曲率崩壊と寸法安定化の間の明確な交点と整合する。 (二)これらの幾何学的シフトは、出現する統語的・意味的正確さと一致する。 (iii) 抽象パターンは、基本的に軌跡を変更するのではなく、フィードフォワードネットワークのようなコンポーネントが最適化の安定性に影響を及ぼすアーキテクチャの変種にまたがって持続する。 この研究は、LMにおける言語的抽象化の出現に関する理解を深め、モデル解釈可能性、訓練効率、そして、LM開発に対するより原則化されたアプローチを知らせる構成的一般化に関する洞察を提供する。

関連論文リスト

• PhysLLM: Harnessing Large Language Models for Cross-Modal Remote Physiological Sensing [49.243031514520794]
  LLM(Large Language Models)は、テキスト中心の設計のため、長距離信号の取得に優れる。 PhysLLMは最先端の精度とロバスト性を実現し、照明のバリエーションや動きのシナリオにまたがる優れた一般化を示す。
  論文  参考訳（メタデータ） (2025-05-06T15:18:38Z)
• Interpreting token compositionality in LLMs: A robustness analysis [10.777646083061395]
  Constituent-Aware Pooling (CAP)は、大規模言語モデルが言語構造をどのように処理するかを分析するために設計された方法論である。 CAPは様々なモデルレベルで構成型プールを通してモデル活性化に介入する。 本研究は,合成セマンティクス処理とモデル解釈可能性に関する,現在のトランスフォーマーアーキテクチャの基本的制約を明らかにする。
  論文  参考訳（メタデータ） (2024-10-16T18:10:50Z)
• Strengthening Structural Inductive Biases by Pre-training to Perform Syntactic Transformations [75.14793516745374]
  中間学習によりトランスフォーマーの構造的帰納バイアスを強化することを提案する。 実験の結果,チャンキングなどの構文的タスクのわずかな学習に有効であることが確認された。 分析の結果,中間的事前学習は,どのトークンにシナティクス変換を適用する必要があるかを追尾する注意を喚起することが明らかとなった。
  論文  参考訳（メタデータ） (2024-07-05T14:29:44Z)
• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• Graph-Induced Syntactic-Semantic Spaces in Transformer-Based Variational AutoEncoders [5.037881619912574]
  本稿では,トランスフォーマーを用いたVAEにおける構造構文注入のための潜時空間分離法について検討する。 具体的には、グラフベースおよびシーケンシャルモデルの統合により、符号化段階で構文構造をどのように活用するかを検討する。 我々の経験的評価は、自然言語文と数学的表現に基づいて行われ、提案したエンドツーエンドのVAEアーキテクチャにより、潜在空間の全体構造がより良くなることを示している。
  論文  参考訳（メタデータ） (2023-11-14T22:47:23Z)
• How Do Transformers Learn In-Context Beyond Simple Functions? A Case Study on Learning with Representations [98.7450564309923]
  本稿では、より複雑なシナリオにおける文脈内学習(ICL)の理解を、表現を用いた学習で研究する。 合成文内学習問題を合成構造を用いて構築し、ラベルは複雑なが固定された表現関数によって入力に依存する。 理論的には、そのようなアルゴリズムを軽度な深さと大きさでほぼ実装するトランスフォーマーの存在を示す。
  論文  参考訳（メタデータ） (2023-10-16T17:40:49Z)
• GSMFlow: Generation Shifts Mitigating Flow for Generalized Zero-Shot Learning [55.79997930181418]
  Generalized Zero-Shot Learningは、目に見えないクラスから見えないクラスに意味的な知識を移すことで、目に見えないクラスと見えないクラスの両方から画像を認識することを目的としている。 生成モデルの利点を生かして、見学したクラスから学んだ知識に基づいて、現実的な見知らぬサンプルを幻覚させることは、有望な解決策である。 本研究では,複数の条件付きアフィン結合層からなるフローベース生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-05T04:04:37Z)
• Towards Robust and Adaptive Motion Forecasting: A Causal Representation Perspective [72.55093886515824]
  本稿では,3つの潜伏変数群からなる動的過程として,運動予測の因果的形式化を導入する。 我々は、因果グラフを近似するために、不変なメカニズムやスタイルの共創者の表現を分解するモジュラーアーキテクチャを考案する。 合成および実データを用いた実験結果から,提案した3つの成分は,学習した動き表現の頑健性と再利用性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2021-11-29T18:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。