論文の概要: Closing the Loop: PID Feedback Control for Interpretable Activation Steering in Symbolic Music Generation
- arxiv url: http://arxiv.org/abs/2606.18790v1
- Date: Wed, 17 Jun 2026 08:04:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-18 17:16:51.058013
- Title: Closing the Loop: PID Feedback Control for Interpretable Activation Steering in Symbolic Music Generation
- Title（参考訳）: ループの閉鎖:シンボリック音楽生成における解釈可能なアクティベーションステアリングのためのPIDフィードバック制御
- Authors: Ioannis Prokopiou, Pantelis Vikatos, Maximos Kaliakatsos-Papakostas, Theodoros Giannakopoulos, Themos Stafylakis,
- Abstract要約: 本稿では,Multitrack Music Transformer(MMT)の機械的解釈可能性について検討する。
我々は,このギャップを推論時アクティベーション・ステアリングによって埋めることなく,決定論的属性変調のためのフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 6.897804369133787
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformer-based architectures have significantly advanced the generation of complex symbolic sequences, yet a significant gap remains in achieving fine-grained, interpretable control over discrete signal attributes. This paper investigates the mechanistic interpretability of the Multitrack Music Transformer (MMT) and proposes a framework for deterministic attribute modulation without retraining to bridge this gap via inference-time activation steering. Utilizing the Difference-in-Means (DiffMean) methodology, we isolate latent directions for signal attributes, specifically Pitch and Duration, within the residual stream. We validate the Linear Representation Hypothesis in this domain, achieving high correlation between steering magnitude and attribute shift. To address the inherent feature entanglement in multi-attribute steering, we introduce a Dual Steering framework utilizing Gram-Schmidt Orthogonalization. Experimental results demonstrate that this geometric decoupling reduces conceptual interference and signal degradation compared to naive vector addition, enabling independent deterministic control even against strong autoregressive conditioning.
- Abstract（参考訳）: トランスフォーマーベースのアーキテクチャは複雑な記号列の生成を著しく進歩させてきたが、離散信号特性の微粒化、解釈可能な制御を実現する際には大きなギャップが残っている。
本稿では,Multitrack Music Transformer (MMT) の機械的解釈可能性について検討し,推論時アクティベーション・ステアリングによるギャップを埋めることなく,決定論的属性変調のためのフレームワークを提案する。
差分平均法(DiffMean)を用いることで,信号特性,特にピッチと継続時間に対する遅延方向を残差ストリーム内に分離する。
この領域における線形表現仮説を検証し, 操舵の大きさと属性シフトの相関を高くした。
マルチ属性ステアリングにおける特徴の絡み合いに対処するため,Gram-Schmidt Orthogonalizationを利用したデュアルステアリングフレームワークを提案する。
実験により, この幾何学的疎結合は, 単純ベクトル付加よりも概念的干渉や信号劣化を低減し, 強い自己回帰条件に対しても独立的な決定論的制御を可能にすることを示した。
関連論文リスト
- Latent Space Disentanglement via Activation Steering for Interpretable Attribute Control in Symbolic Music Generation [6.897804369133787]
本稿では,Multitrack Music Transformer(MMT)の機械的解釈可能性について検討する。
我々は,このギャップを推論時アクティベーション・ステアリングによって埋めることなく,決定論的属性変調のためのフレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-29T13:31:56Z) - Neural Autoregressive Control Variates for the Quantum Monte Carlo Sign Problem [2.3717692810269586]
量子モンテカルロシミュレーションにおいて,符号問題を緩和するために,2組の自己回帰モデルを訓練する。
2つの自己回帰的ネットワークは、厳密に非結合な支持を持つ正と負の符号セクターに限られる。
それらの差は構造的にゼロ平均であり、符号推定器との相関が分散還元を制御する補助観測器を提供する。
論文 参考訳（メタデータ） (2026-05-26T10:30:44Z) - Structural Instability of Feature Composition [2.5754366051855837]
球状辞書モデルに基づく合成-崩壊しきい値について検討する。
高バイアス状態においては、ReLUは顕微鏡的相関による変動変動を系統的なドリフトに変換する。
CLEVRから抽出した構造化セマンティックな特徴に対するスケーリングの予測傾向を検証した。
論文 参考訳（メタデータ） (2026-04-18T05:53:31Z) - Quantum Steering and Entanglement in a Tritter: Hierarchy under Loss [0.10874100424278171]
トリッター上に2モード圧縮真空とコヒーレント状態とを混合した三部構造における相関構造について検討した。
出力モード間のエンタングルメントとアインシュタイン-ポドルスキー-ローゼンステアリングを解析した。
論文 参考訳（メタデータ） (2026-02-08T03:03:16Z) - Why Steering Works: Toward a Unified View of Language Model Parameter Dynamics [81.80010043113445]
局所的な微調整、LoRAに基づく適応、およびアクティベーションに基づく介入を分離して研究する。
制御信号によって誘導される動的ウェイト更新として、これらの介入をフレーム化する統一的な視点を示す。
提案手法では,選択と効用との間に一貫したトレードオフが観測される。
論文 参考訳（メタデータ） (2026-02-02T17:04:36Z) - Continuous-Depth Transformers with Learned Control Dynamics [0.0]
本稿では,離散的な中間層を連続的なニューラル正規微分方程式ブロックに置き換えるハイブリッドトランスフォーマーアーキテクチャを提案する。
提案手法は,学習ベクトル場$F_(H, u)$で制御される連続変数として深度を扱い,$u$は明示的な連結によって注入される低次元制御信号であることを示す。
この結果から,学習した制御信号を用いた連続深度ダイナミクスが,ステアブル言語生成に有効かつ効率的なメカニズムを提供することが示された。
論文 参考訳（メタデータ） (2026-01-15T02:35:37Z) - Weights to Code: Extracting Interpretable Algorithms from the Discrete Transformer [65.38883376379812]
本稿では,連続表現と離散記号論理のギャップを埋めるアーキテクチャである離散変換器を提案する。
実証的には、Discrete TransformerはRNNベースのベースラインに匹敵するパフォーマンスを達成するだけでなく、連続的な変数ドメインへの解釈可能性を大幅に拡張する。
論文 参考訳（メタデータ） (2026-01-09T12:49:41Z) - Deep Delta Learning [91.75868893250662]
本稿では,標準残差接続を一般化した新しいアーキテクチャであるDeep Delta Learning(DDL)を紹介する。
我々はこの演算子のスペクトル解析を行い、ゲート$(mathbfX)$がアイデンティティマッピング、投影、幾何反射のダイナミックな相互作用を可能にすることを示した。
この統合により、ネットワークは階層的な遷移作用素のスペクトルを明示的に制御することができ、複雑な非単調力学のモデリングを可能にする。
論文 参考訳（メタデータ） (2026-01-01T18:11:38Z) - ERIS: An Energy-Guided Feature Disentanglement Framework for Out-of-Distribution Time Series Classification [51.07970070817353]
理想的な時系列分類(TSC)は不変表現をキャプチャできるべきである。
現在の手法は、真に普遍的な特徴を分離するために必要な意味的な方向性を欠いている。
本稿では,シフト・ロバストネス・フレームワークのためのエンドツーエンドのエネルギー規則化情報を提案する。
論文 参考訳（メタデータ） (2025-08-19T12:13:41Z) - Is Disentanglement enough? On Latent Representations for Controllable
Music Generation [78.8942067357231]
強い生成デコーダが存在しない場合、アンタングル化は必ずしも制御性を意味するものではない。
VAEデコーダに対する潜伏空間の構造は、異なる属性を操作するための生成モデルの能力を高める上で重要な役割を果たす。
論文 参考訳（メタデータ） (2021-08-01T18:37:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。