論文の概要: Activation Transport Operators

• arxiv url: http://arxiv.org/abs/2508.17540v1
• Date: Sun, 24 Aug 2025 22:22:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.57609
• Title: Activation Transport Operators
• Title（参考訳）: アクティベーション・トランスポート・オペレーター
• Authors: Andrzej Szablewski, Marek Masiak,
• Abstract要約: 残ストリームは、線形読み出しと非線形計算の書き込みを通じてトランスデコーダ層間の通信を仲介する。 本稿では,上流から下流への線形写像である Activation Transport Operators (ATO) を提案する。 本研究では, 線形輸送に係わる残留ストリームの部分空間の大きさ, 輸送効率, 報告効率を実証的に示す。
• 参考スコア（独自算出の注目度）: 0.31709413720691043
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The residual stream mediates communication between transformer decoder layers via linear reads and writes of non-linear computations. While sparse-dictionary learning-based methods locate features in the residual stream, and activation patching methods discover circuits within the model, the mechanism by which features flow through the residual stream remains understudied. Understanding this dynamic can better inform jailbreaking protections, enable early detection of model mistakes, and their correction. In this work, we propose Activation Transport Operators (ATO), linear maps from upstream to downstream residuals $k$ layers later, evaluated in feature space using downstream SAE decoder projections. We empirically demonstrate that these operators can determine whether a feature has been linearly transported from a previous layer or synthesised from non-linear layer computation. We develop the notion of transport efficiency, for which we provide an upper bound, and use it to estimate the size of the residual stream subspace that corresponds to linear transport. We empirically demonstrate the linear transport, report transport efficiency and the size of the residual stream's subspace involved in linear transport. This compute-light (no finetuning, <50 GPU-h) method offers practical tools for safety, debugging, and a clearer picture of where computation in LLMs behaves linearly.
• Abstract（参考訳）: 残ストリームは、線形読み出しと非線形計算の書き込みを通じてトランスデコーダ層間の通信を仲介する。 スパースディクショナリー学習に基づく手法では残ストリーム内の特徴が検出され、アクティベーションパッチ法ではモデル内の回路が検出されるが、残ストリーム内の特徴が流れるメカニズムはまだ検討されていない。 このダイナミクスを理解することで、ジェイルブレイクの保護を通知し、モデルミスの早期検出と修正を可能にします。 本研究では, 上流から下流への線形写像である Activation Transport Operators (ATO) を提案する。 実験により,これらの演算子は,ある特徴が前の層から線形に輸送されたのか,あるいは非線形層計算から合成されたのかを決定できることを示した。 我々は,輸送効率の概念を開発し,それを線形輸送に対応する残留ストリーム部分空間のサイズを推定するために利用する。 本研究では, 線形輸送に係わる残留ストリームの部分空間の大きさ, 輸送効率, 報告効率を実証的に示す。 この計算ライト(微調整なし、<50 GPU-h)メソッドは、安全性、デバッグ、LLMの計算が線形に振る舞う場所の明確化のための実用的なツールを提供する。

関連論文リスト

• Linearized Optimal Transport pyLOT Library: A Toolkit for Machine Learning on Point Clouds [46.85203257982611]
  pyLOTライブラリは、リニアライズド・最適なトランスポート(LOT)技術とダウンストリームタスクで使用するメソッドのPython実装を提供する。 このパイプラインは、固定参照分布から最適トランスポートマップを介して確率分布をヒルベルト空間に埋め込み、この線形化により、オフ・ザ・シェルフ(線形)機械学習アルゴリズムを用いて下流タスクを完了させることができる。
  論文  参考訳（メタデータ） (2025-02-05T18:34:38Z)
• Optimal Flow Matching: Learning Straight Trajectories in Just One Step [89.37027530300617]
  我々は,新しいtextbf Optimal Flow Matching (OFM) アプローチを開発し,理論的に正当化する。 これは2次輸送のための直列のOT変位をFMの1ステップで回復することを可能にする。 提案手法の主な考え方は,凸関数によってパラメータ化されるFMのベクトル場の利用である。
  論文  参考訳（メタデータ） (2024-03-19T19:44:54Z)
• Capturing the Diffusive Behavior of the Multiscale Linear Transport Equations by Asymptotic-Preserving Convolutional DeepONets [31.88833218777623]
  Asymptotic-Preserving Convolutional Deep Operator Networks (APCONs) について紹介する。 本研究では,グローバルな熱カーネルの代わりに複数のローカルな畳み込み演算を用いた畳み込みディープオペレータネットワークを提案する。 我々のAPCON法は, グリッドサイズに依存しないパラメータ数を持ち, 線形輸送問題の拡散挙動を捉えることができる。
  論文  参考訳（メタデータ） (2023-06-28T03:16:45Z)
• Manifold Interpolating Optimal-Transport Flows for Trajectory Inference [64.94020639760026]
  最適輸送流(MIOFlow)を補間するマニフォールド補間法を提案する。 MIOFlowは、散発的なタイムポイントで撮影された静的スナップショットサンプルから、連続的な人口動態を学習する。 本手法は, 胚体分化および急性骨髄性白血病の治療から得られたscRNA-seqデータとともに, 分岐とマージによるシミュレーションデータについて検討した。
  論文  参考訳（メタデータ） (2022-06-29T22:19:03Z)
• On Hypothesis Transfer Learning of Functional Linear Models [7.243632426715939]
  再生カーネル空間(RKHS)フレームワークを用いて,関数線形回帰(FLR)のための伝達学習(TL)について検討する。 我々は、RKHS距離を用いてタスク間の類似度を測定し、転送される情報のタイプがRKHSの特性に結びつくようにする。
  論文  参考訳（メタデータ） (2022-06-09T04:50:16Z)
• Memory-Efficient Backpropagation through Large Linear Layers [107.20037639738433]
  Transformersのような現代のニューラルネットワークでは、線形層は後方通過時にアクティベーションを保持するために大きなメモリを必要とする。 本研究では,線形層によるバックプロパゲーションを実現するためのメモリ削減手法を提案する。
  論文  参考訳（メタデータ） (2022-01-31T13:02:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。