論文の概要: TRACE: Training and Inference-Time Interpretability Analysis for Language Models

• arxiv url: http://arxiv.org/abs/2507.03668v1
• Date: Fri, 04 Jul 2025 15:42:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:34.827074
• Title: TRACE: Training and Inference-Time Interpretability Analysis for Language Models
• Title（参考訳）: TRACE:言語モデルの訓練と推論時間解析
• Authors: Nura Aljaafari, Danilo S. Carvalho, André Freitas,
• Abstract要約: 本稿では、トランスモデルのトレーニングおよび推論時間解釈可能性解析のためのモジュラーツールキットTRACEを紹介する。 言語的および表現的信号の軽量なイントレーニング分析を可能にする。例えば、探索、内在的次元性、ヘッセン曲率、出力診断などである。
• 参考スコア（独自算出の注目度）: 10.777646083061395
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Understanding when and how linguistic knowledge emerges during language model training remains a central challenge for interpretability. Most existing tools are post hoc, rely on scalar metrics, or require nontrivial integration effort, making comprehensive interpretability analysis difficult to deploy and maintain. We introduce TRACE, a modular toolkit for training and inference-time interpretability analysis of transformer models. It enables lightweight, in-training analysis of linguistic and representational signals, including features probing, intrinsic dimensionality, Hessian curvature, and output diagnostics. It integrates with ABSynth, a controllable synthetic corpus generator that provides structured annotations for precise evaluation of linguistic feature acquisition. Experiments with autoregressive transformers demonstrate that TRACE reveals developmental phenomena such as early syntactic emergence, delayed semantic acquisition, and representational compression, signals overlooked by traditional scalar metrics such as loss or accuracy. With minimal integration effort, the tool enables layer-wise diagnostics, convergence-based early stopping, and detection of structural errors, making transformer analysis interpretable, actionable, and reproducible.
• Abstract（参考訳）: 言語モデルトレーニング中に言語知識がいつ、どのように現れるかを理解することは、解釈可能性にとって重要な課題である。 既存のツールのほとんどはポストホックで、スカラーメトリクスに依存したり、非自明な統合作業を必要としているため、包括的な解釈可能性分析のデプロイとメンテナンスが難しい。 本稿では、トランスモデルのトレーニングおよび推論時間解釈可能性解析のためのモジュラーツールキットTRACEを紹介する。 言語的および表現的信号の軽量なイントレーニング分析を可能にする。例えば、探索、内在的次元性、ヘッセン曲率、出力診断などである。 制御可能な合成コーパスジェネレータであるABSynthと統合され、言語的特徴獲得の正確な評価のための構造化アノテーションを提供する。 自己回帰変換器を用いた実験では、TRACEは初期の構文の出現、遅延セマンティックな獲得、表現的圧縮などの発達現象を明らかにする。 最小限の統合作業により、このツールはレイヤワイドな診断、収束ベースの早期停止、構造的エラーの検出を可能にし、トランスフォーマー解析を解釈可能、動作可能、再現可能にする。

関連論文リスト

• TRACE for Tracking the Emergence of Semantic Representations in Transformers [10.777646083061395]
  本稿では,トランスフォーマーに基づくLMにおける位相遷移を検出するために,幾何学的,情報的,言語的信号を組み合わせた診断フレームワークTRACEを紹介する。 実験により、位相遷移は曲率崩壊と寸法安定化の明確な交点と一致し、これらの幾何学的シフトは、新たな構文的および意味論的精度と一致することが明らかになった。 この研究は、モデル解釈可能性、訓練効率、構成一般化に関する洞察を提供することで、言語的抽象がLMにどのように現れるかの理解を深める。
  論文  参考訳（メタデータ） (2025-05-23T15:03:51Z)
• Temporal-Spectral-Spatial Unified Remote Sensing Dense Prediction [62.376936772702905]
  リモートセンシングのための現在のディープラーニングアーキテクチャは、基本的に堅固である。 本稿では,統合モデリングのための空間時間スペクトル統一ネットワーク(STSUN)について紹介する。 STSUNは任意の空間サイズ、時間長、スペクトル帯域で入力および出力データに適応することができる。 トレーニング可能なタスクの埋め込みにモデルを条件付けすることで、単一のアーキテクチャ内で異なる密集した予測タスクを統一する。
  論文  参考訳（メタデータ） (2025-05-18T07:39:17Z)
• Structured Prompting and Feedback-Guided Reasoning with LLMs for Data Interpretation [0.0]
  大規模言語モデル(LLM)は、自然言語の理解とタスクの一般化において顕著な能力を示した。 本稿では、構造化されたプロンプトおよびフィードバック駆動型変換ロジック生成手法であるSTROT Frameworkを紹介する。
  論文  参考訳（メタデータ） (2025-05-03T00:05:01Z)
• LANGTRAJ: Diffusion Model and Dataset for Language-Conditioned Trajectory Simulation [94.84458417662404]
  LangTrajは、トラフィックシナリオにおけるすべてのエージェントの共同動作をシミュレートする、言語条件のシーン拡散モデルである。 自然言語入力を条件付けすることで、LangTrajはインタラクティブな振る舞いを柔軟かつ直感的に制御できる。 LangTraj氏は、リアリズム、言語制御性、言語条件の安全クリティカルなシミュレーションにおいて、強力なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2025-04-15T17:14:06Z)
• Interpreting token compositionality in LLMs: A robustness analysis [10.777646083061395]
  Constituent-Aware Pooling (CAP)は、大規模言語モデルが言語構造をどのように処理するかを分析するために設計された方法論である。 CAPは様々なモデルレベルで構成型プールを通してモデル活性化に介入する。 本研究は,合成セマンティクス処理とモデル解釈可能性に関する,現在のトランスフォーマーアーキテクチャの基本的制約を明らかにする。
  論文  参考訳（メタデータ） (2024-10-16T18:10:50Z)
• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• Injecting linguistic knowledge into BERT for Dialogue State Tracking [60.42231674887294]
  本稿では,教師なしの枠組みを用いて言語知識を抽出する手法を提案する。 次に、この知識を用いて、対話状態追跡(DST)タスクにおけるBERTの性能と解釈可能性を高める。 このフレームワークを様々なDSTタスクでベンチマークし、精度の顕著な改善を観察する。
  論文  参考訳（メタデータ） (2023-11-27T08:38:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。