Fugu-MT 論文翻訳(概要): Words in Motion: Extracting Interpretable Control Vectors for Motion Transformers

論文の概要: Words in Motion: Extracting Interpretable Control Vectors for Motion Transformers

arxiv url: http://arxiv.org/abs/2406.11624v2
Date: Mon, 14 Oct 2024 22:39:55 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-16 13:59:51.819195
Title: Words in Motion: Extracting Interpretable Control Vectors for Motion Transformers
Title（参考訳）: 動作中の単語:動作変換器の解釈可能な制御ベクトルの抽出
Authors: Omer Sahin Tas, Royden Wagner,
Abstract要約: トランスフォーマーベースのモデルは、解釈が難しい隠された状態を生成する。我々は,ニューラルネットワークの崩壊現象を活用し,線形プローブを用いて隠れ状態の解釈可能な特徴を測定する。本手法では,解釈可能な特徴を持つ変圧器を用いた動き予測モデルを制御することができる。
参考スコア（独自算出の注目度）: 1.1510009152620668
License:
Abstract: Transformer-based models generate hidden states that are difficult to interpret. In this work, we aim to interpret these hidden states and control them at inference, with a focus on motion forecasting. We leverage the phenomenon of neural collapse and use linear probes to measure interpretable features in hidden states. Our experiments reveal meaningful directions and distances between hidden states of opposing features, which we use to fit control vectors for activation steering. Consequently, our method enables controlling transformer-based motion forecasting models with interpretable features, providing a unique interface to interact with and understand these models. Our implementation is available at https://github.com/kit-mrt/future-motion
Abstract（参考訳）: トランスフォーマーベースのモデルは、解釈が難しい隠された状態を生成する。本研究では,これらの隠れ状態の解釈と推論による制御を目標とし,動き予測に焦点をあてる。我々は,ニューラルネットワークの崩壊現象を活用し,線形プローブを用いて隠れ状態の解釈可能な特徴を測定する。本実験では, 制御ベクトルを活性化ステアリングに適合させるために, 対立する特徴の隠れ状態間の有意義な方向と距離を明らかにした。そこで本手法では,解釈可能な特徴を持つトランスフォーマーに基づく動作予測モデルを制御可能とし,これらのモデルと対話し,理解するためのユニークなインターフェースを提供する。私たちの実装はhttps://github.com/kit-mrt/future-motionで利用可能です。

関連論文リスト

Activation Scaling for Steering and Interpreting Language Models [55.59689963561315]
モデルにうまく介入することは、内部の動作を解釈するための前提条件である、と我々は主張する。成功した介入は、間違ったトークンで正しいことを正し、その逆を正すべきである。勾配に基づく最適化を用いることで、特定の種類の効率的かつ解釈可能な介入を学習(そして後で評価)することができる。
論文参考訳（メタデータ） (2024-10-07T12:01:32Z)
Sparse Feature Circuits: Discovering and Editing Interpretable Causal Graphs in Language Models [55.19497659895122]
本稿ではスパース特徴回路の発見と適用方法を紹介する。これらは言語モデルの振る舞いを説明するための人間の解釈可能な特徴の因果関係の著作である。
論文参考訳（メタデータ） (2024-03-28T17:56:07Z)
TLControl: Trajectory and Language Control for Human Motion Synthesis [68.09806223962323]
本稿では,人間のリアルな動き合成のための新しい手法であるTLControlを提案する。低レベルのTrajectoryと高レベルのLanguage semanticsコントロールが組み込まれている。インタラクティブで高品質なアニメーション生成には実用的である。
論文参考訳（メタデータ） (2023-11-28T18:54:16Z)
Backpack Language Models [108.65930795825416]
Backpacksは、強力なモデリング性能と、解釈可能性と制御のためのインターフェースを組み合わせた、新しいニューラルアーキテクチャである。学習のあと、感覚ベクトルが特殊化され、それぞれが単語の異なる側面を符号化することがわかった。本稿では,感覚ベクトルに介入し,制御可能なテキスト生成とデバイアスを行うシンプルなアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-05-26T09:26:23Z)
Extracting Latent Steering Vectors from Pretrained Language Models [14.77762401765532]
本研究では,言語モデルデコーダから直接潜在ベクトルを抽出できることを示す。実験により、ステアリングベクトルが存在し、それが言語モデルの隠れ状態に追加されると、ほぼ完璧にターゲット文を生成することが示された。テキスト類似度ベンチマークで評価すると, ステアリングベクトル間の距離が文類似度を反映していることが分かる。
論文参考訳（メタデータ） (2022-05-10T19:04:37Z)
MFGNet: Dynamic Modality-Aware Filter Generation for RGB-T Tracking [72.65494220685525]
可視データと熱データ間のメッセージ通信を促進するために,新しい動的モダリティ対応フィルタ生成モジュール(MFGNet)を提案する。我々は、2つの独立ネットワークを持つ動的モダリティ対応フィルタを生成し、その可視フィルタとサーマルフィルタをそれぞれ、対応する入力特徴写像上で動的畳み込み演算を行う。重閉塞,高速移動,外見による問題に対処するため,新たな方向認識型目標誘導型アテンション機構を活用することで,共同で局所的・グローバル検索を行うことを提案する。
論文参考訳（メタデータ） (2021-07-22T03:10:51Z)
Inverse reinforcement learning for autonomous navigation via differentiable semantic mapping and planning [20.66819092398541]
本稿では,距離と意味カテゴリー観測を用いた自律ナビゲーションのための逆強化学習について述べる。観測シーケンスから意味的カテゴリ確率を推測するマップエンコーダと、意味論的特徴に対するディープニューラルネットワークとして定義されるコストエンコーダを開発している。本研究では,建物,歩道,路面のセマンティックな観察に頼って,自律走行型CARLAシミュレータの交通ルールを追従する手法を提案する。
論文参考訳（メタデータ） (2021-01-01T07:41:08Z)
Trajformer: Trajectory Prediction with Local Self-Attentive Contexts for Autonomous Driving [13.861631911491651]
自己意識は、エージェントの社会的文脈を表現するためのより良い制御を可能にする。 Argoverseデータセットの様々なベースラインに対する標準メトリクスの改善を示す。
論文参考訳（メタデータ） (2020-11-30T15:42:15Z)
Positional Artefacts Propagate Through Masked Language Model Embeddings [16.97378491957158]
BERT と RoBERTa の隠れ状態ベクトル内で持続性外方ニューロンの症例が発見された。我々はRoBERTaベースモデルをスクラッチから事前訓練し、位置埋め込みを使わずに外れ値が消えることを見出した。
論文参考訳（メタデータ） (2020-11-09T12:49:39Z)
Learning Navigation Costs from Demonstration with Semantic Observations [24.457042947946025]
本稿では,自律型ロボットナビゲーションにおける意味的観察を用いた逆強化学習(IRL)に焦点を当てた。観測シーケンスからセマンティッククラス確率を推定するマップエンコーダと、セマンティックな特徴よりもディープニューラルネットワークとして定義されるコストエンコーダを開発する。提案手法は,自動車,歩道,道路路面のセマンティックな観察に頼って,自律走行CARLAシミュレータにおける交通ルールに従うことを学習していることを示す。
論文参考訳（メタデータ） (2020-06-09T04:35:57Z)
VectorNet: Encoding HD Maps and Agent Dynamics from Vectorized Representation [74.56282712099274]
本稿では,ベクトルで表される個々の道路成分の空間的局所性を利用する階層型グラフニューラルネットワークであるVectorNetを紹介する。ベクトル化高定義(HD)マップとエージェントトラジェクトリの操作により、ロッキーなレンダリングや計算集約的なConvNetエンコーディングのステップを避けることができる。我々は、社内行動予測ベンチマークと最近リリースされたArgoverse予測データセットでVectorNetを評価した。
論文参考訳（メタデータ） (2020-05-08T19:07:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。