論文の概要: Beyond the Linear Representation Hypothesis: Non-Linear Activation Steering in Text-to-Image Models

• arxiv url: http://arxiv.org/abs/2610.06945v1
• Date: Sat, 03 Oct 2026 10:32:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.475098
• Title: Beyond the Linear Representation Hypothesis: Non-Linear Activation Steering in Text-to-Image Models
• Title（参考訳）: 線形表現仮説を超えて:テキスト・画像モデルにおける非線形活性化ステアリング
• Abstract要約: 単純かつ解釈可能な表現を提案する。 我々は、KAN(Kolmogorov-Arnold Networks)を用いて、学習関数が軌道を定義する一次元座標を提供する。
• 参考スコア（独自算出の注目度）: 19.900273462515045
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mechanistic interpretability often relies on the Linear Representation Hypothesis (LRH), which assumes that high-level concepts are encoded as linear directions in activation space. Yet a natural visual concept does not necessarily require a linear visual transition: between sunny and stormy lies an intermediate weather state such as a sky with a few white clouds, not simply a weaker storm; between a caterpillar and a butterfly, the progression is not a caterpillar with continuously growing wings. This raises the question of whether such true intermediate states are also represented nonlinearly by the model. Indeed, when we prompt text-to-image models directly for intermediate attributes, their activations rarely fall along the straight direction connecting the endpoints. Therefore, we propose KANSteer, which models concept traversal as a curve passing through its intermediate states. Seeking a representation that is both simple and interpretable, we propose to use Kolmogorov-Arnold Networks (KANs), which provide a one-dimensional coordinate whose learned functions define the trajectory. This allows the steering direction to vary along the concept while preserving an interpretable representation. Across several concepts and text-to-image diffusion transformers, we find that their activation trajectories substantially deviate from straight lines, and that KANSteer provide a closer fit and smoother traversal of intermediate attributes than linear steering.
• Abstract（参考訳）: 機械的解釈可能性はしばしば線形表現仮説(LRH)に依存しており、これは高次概念が活性化空間の線形方向として符号化されていることを前提としている。 しかし、自然の視覚的概念は、必ずしも線形的な視覚的遷移を必要としない:晴れと嵐の間は、単に弱い嵐ではなく、白い雲のある空のような中間的な気象状態にある;毛虫と蝶の間は、進行は、継続的に成長する翼を持つ毛虫ではない。 このことは、そのような真の中間状態がモデルによって非線形に表されるかどうかという問題を提起する。 実際、中間属性を直接テキスト・ツー・イメージ・モデルにプロンプトすると、それらのアクティベーションはエンドポイントを接続する直線に沿って落ちることは滅多にない。 そこで本稿では, 中間状態を通る曲線として, トラバースの概念をモデル化したkanSteerを提案する。 単純かつ解釈可能な表現を探すため,学習関数が軌道を定義する一次元座標を与えるKAN(Kolmogorov-Arnold Networks)を提案する。 これにより、解釈可能な表現を保持しながら、ステアリング方向が概念に沿って変化する。 いくつかの概念とテキスト・ツー・イメージ拡散変換器において, それらの活性化軌道は直線から大きく逸脱し, KanSteer は線形ステアリングよりも中間属性のよりスムーズな軌道を提供する。

関連論文リスト

• The Cylindrical Representation Hypothesis for Language Model Steering [57.97381760521523]
  中心軸は、概念の欠如と存在との主な違いを捉え、概念生成を駆動することを示す。 我々はこれを円筒表現仮説(CRH)として定式化する。 本実験は円筒構造の存在を検証し,CRHが実環境でのモデルステアリング動作の解釈に有効かつ実用的な方法であることを示した。
  論文  参考訳（メタデータ） (2026-05-03T12:26:13Z)
• Video Analysis and Generation via a Semantic Progress Function [75.07700965101854]
  与えられたシーケンスの意味が時間とともにどのように進化するかをキャプチャする一次元表現を導入する。 各フレームに対して、セマンティック埋め込み間の距離を計算し、シーケンス間の累積的なセマンティックシフトを反映する滑らかな曲線を適合させる。 この知見に基づいて,シーケンスをパラメータ化して意味変化を一定速度で展開する意味線形化手法を提案する。
  論文  参考訳（メタデータ） (2026-04-24T13:48:51Z)
• The Curved Spacetime of Transformer Architectures [0.3670422696827525]
  本稿では,トランスフォーマーに基づく言語モデルを理解するための幾何学的枠組みを提案する。 トークン埋め込みは特徴空間の直線経路を横切るべきではないことを示し、代わりに、それらの層回りのステップは、空間曲率の埋め込みによって媒介される相互作用として屈曲し、順応するべきである。
  論文  参考訳（メタデータ） (2025-11-04T22:58:40Z)
• Through a Steerable Lens: Magnifying Neural Network Interpretability via Phase-Based Extrapolation [26.45789667046442]
  本稿では,ネットワーク勾配を無限小運動の形式として扱うことにより,クラス間の暗黙の経路を可視化する新しいフレームワークを提案する。 合成と実世界の両方のデータセットの実験では、フェーズ中心の補間が知覚的に整合し、意味的に意味のある変換をもたらすことが示されている。
  論文  参考訳（メタデータ） (2025-06-02T22:39:40Z)
• On the Origins of Linear Representations in Large Language Models [51.88404605700344]
  我々は,次のトークン予測の概念力学を定式化するために,単純な潜在変数モデルを導入する。 実験により、潜在変数モデルと一致するデータから学習すると線形表現が現れることが示された。 また、LLaMA-2大言語モデルを用いて、理論のいくつかの予測を検証した。
  論文  参考訳（メタデータ） (2024-03-06T17:17:36Z)
• On the Emergence of Cross-Task Linearity in the Pretraining-Finetuning Paradigm [47.55215041326702]
  我々は、共通の事前訓練されたチェックポイントから、クロスタスク線形性(CTL)と呼ばれる異なるタスクに微調整されたモデルにおいて、興味深い線形現象を発見する。 2つの微調整モデルの重みを線形に補間すると、重み補間モデルの特徴は各層における2つの微調整モデルの特徴の線形性にほぼ等しいことが示される。 プレトレーニング-ファインタニングのパラダイムでは、ニューラルネットワークは、パラメータ空間から特徴空間への写像である線形写像として概ね機能する。
  論文  参考訳（メタデータ） (2024-02-06T03:28:36Z)
• Kernelized Concept Erasure [108.65038124096907]
  概念消去のための線形ミニマックスゲームのカーネル化を提案する。 特定の非線形敵が概念を予測するのを防ぐことができる。 しかし、保護は異なる非線形敵に移動しない。
  論文  参考訳（メタデータ） (2022-01-28T15:45:13Z)
• Orthogonal Jacobian Regularization for Unsupervised Disentanglement in Image Generation [64.92152574895111]
  直交ジャコビアン正規化法(OroJaR)を提案する。 提案手法は, 絡み合った, 制御可能な画像生成に有効であり, 最先端の手法に対して好適に機能する。
  論文  参考訳（メタデータ） (2021-08-17T15:01:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。