論文の概要: Persistent Sparse Autoencoders: Learning Feature Timescales in Language Models
- arxiv url: http://arxiv.org/abs/2607.17117v1
- Date: Sun, 19 Jul 2026 08:07:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.375695
- Title: Persistent Sparse Autoencoders: Learning Feature Timescales in Language Models
- Title（参考訳）: 永続スパースオートエンコーダ:言語モデルにおける特徴時間スケールの学習
- Abstract要約: パーシステントスパースオートエンコーダ(Persistent SAE)を紹介する。
永続的なSAEは各機能に対して永続係数を学習し、モデルがどの機能を維持するべきか、どのくらいの期間継続するかを学習できるようにする。
提案実験は,特徴量のスペクトルを学習しながら,競争力のある復元品質を維持していることを示す。
- 参考スコア（独自算出の注目度）: 23.93187817296646
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sparse autoencoders (SAEs) decompose language model activations into sparse features, but standard SAEs encode each token independently and do not expose information that persists across a sequence. We introduce Persistent Sparse Autoencoders (Persistent SAEs), which extend standard SAEs by learning a persistence coefficient for each feature, allowing the model to learn which features should persist and for how long. Our experiments show that they retain competitive reconstruction quality while learning a spectrum of feature timescales: fast features behave as locally interpretable detectors, whereas slow features concentrate topic-level information in a persistent state. Moreover, as shown in a prompt-injection monitoring case study, slow features preserve detection signals and remain causally effective over long contexts. These results suggest that Persistent SAEs open up new opportunities for interpreting and monitoring language models through persistent semantic representations.
- Abstract（参考訳）: スパースオートエンコーダ(SAE)は、言語モデルのアクティベーションをスパース機能に分解するが、標準のSAEは各トークンを独立してエンコードし、シーケンスにまたがる情報を公開しない。
永続スパースオートエンコーダ (Persistent Sparse Autoencoders, SAE) を導入し、各機能に対する持続係数を学習することで標準SAEを拡張する。
高速な特徴は局所的に解釈可能な検出器として振る舞うが、遅い特徴はトピックレベルの情報を永続的に集中する。
さらに、急速噴射監視ケーススタディで示されているように、遅い特徴は検出信号を保存し、長いコンテキストにおいて因果的に有効である。
これらの結果から,永続的な意味表現を通じて言語モデルを解釈し,監視する新たな機会が開かれたことが示唆された。
関連論文リスト
- Tracking the Truth: Object-Centric Spatio-Temporal Monitoring for Video Large Language Models [154.39583176906893]
大規模言語モデル(ML)は高度な理解を持ち、シーンにおける幻覚の傾向が高い。
これは、時間的モニタリングの失敗、オブジェクトの動的アイデンティティ、状態、そして時間とともに関係を永続的に追跡する能力に起因している、と我々は主張する。
既存のベンチマークでは、局所的な視覚的手がかりや統計的先行によってしばしば解決される1つの最終回答クエリに頼って、この欠陥を曖昧にしている。
論文 参考訳（メタデータ） (2026-05-09T14:32:36Z) - Beyond Visual Cues: Semantic-Driven Token Filtering and Expert Routing for Anytime Person ReID [10.58405139566836]
Any-Time Person Re-identification (AT-ReID) は、任意の条件下で対象者の堅牢な検索を必要とする。
既存の手法は、環境や時間的要因によって変化しがちな純粋な視覚的特徴に強く依存している。
本稿では,LVLM(Large Vision-Language Models)を利用した識別整合性テキスト生成手法を提案する。
論文 参考訳（メタデータ） (2026-04-16T14:49:30Z) - In-Sync: Adaptation of Speech Aware Large Language Models for ASR with Word Level Timestamp Predictions [51.236148875603185]
我々は既存の音声認識言語モデルを拡張して、文字起こしと直接タイムスタンプを予測する。
認識品質を維持しつつアライメントの堅牢性を向上する,新しい軽量なトレーニング戦略を導入する。
論文 参考訳（メタデータ） (2026-04-14T20:56:24Z) - TS-Haystack: A Multi-Scale Retrieval Benchmark for Time Series Language Models [4.387988928531881]
時系列言語モデル(TSLM)は、自然言語における連続的な信号の推論のための統一モデルとして登場している。
既存のモデルは通常、短いシーケンスでトレーニングされ、評価されるが、現実の時系列センサーストリームは数百万のデータポイントにまたがる。
TS-Haystackは4つのカテゴリにまたがる10のタスクタイプからなる長期コンテキストの時間的評価ベンチマークである。
論文 参考訳（メタデータ） (2026-02-15T15:50:02Z) - Priors in Time: Missing Inductive Biases for Language Model Interpretability [58.07412640266836]
スパースオートエンコーダは、時間とともに概念の独立を前提としており、定常性を暗示している。
本稿では,時間的帰納バイアスを持つ新たな解釈可能性目標である時間的特徴分析を導入し,その表現を2つの部分に分解する。
私たちの結果は、堅牢な解釈可能性ツールの設計において、データにマッチする帰納的バイアスの必要性を浮き彫りにしています。
論文 参考訳（メタデータ） (2025-11-03T18:43:48Z) - Temporal Sparse Autoencoders: Leveraging the Sequential Nature of Language for Interpretability [31.30541946703775]
モデルの内部表現と計算を人間が理解できる概念に変換することが、解釈可能性の重要な目標である。
スパースオートエンコーダのような最近の辞書学習手法は、人間の解釈可能な特徴を発見するための有望な経路を提供する。
しかし、彼らは「文の始めの「The」というフレーズ」のような浅い、トークン特有の、または騒々しい特徴に偏りを呈している。
論文 参考訳（メタデータ） (2025-10-30T17:59:30Z) - Temporal-Aware Iterative Speech Model for Dementia Detection [0.0]
音声を用いた認知症自動検出の現在の手法は,静的,時間に依存しない特徴や集約された言語コンテンツに依存している。
本稿では,認知症検出のための自然発話を動的にモデル化するテンポラル・アウェア・イテレーティブ・フレームワークであるTAI-Speechを紹介する。
私たちの研究は、より柔軟で堅牢な認知評価ソリューションを提供し、生のオーディオのダイナミクスを直接操作します。
論文 参考訳（メタデータ） (2025-09-26T01:56:07Z) - Dense SAE Latents Are Features, Not Bugs [86.50389855919292]
言語モデル計算において,高密度潜伏剤が機能的役割を担っていることを示す。
位置追跡,コンテキストバインディング,エントロピー制御,文字固有出力信号,パート・オブ・音声,主成分再構成に関連するクラスを同定する。
論文 参考訳（メタデータ） (2025-06-18T17:59:35Z) - StPR: Spatiotemporal Preservation and Routing for Exemplar-Free Video Class-Incremental Learning [79.44594332189018]
CIL(Class-Incremental Learning)は、以前取得した知識を使わずに、時間とともに新しいアクションカテゴリを継続的に学習するモデルの開発を目指している。
既存のアプローチでは、メモリとプライバシに関する懸念を忘れたり、あるいは時間的モデリングを無視する静的なイメージベースのメソッドを適用したりする。
本稿では,情報を明示的に切り離して保存する,統一的で非定型なVCILフレームワークを提案する。
論文 参考訳（メタデータ） (2025-05-20T06:46:51Z) - On the Consistency of Video Large Language Models in Temporal Comprehension [57.985769348320616]
ビデオ大言語モデル(Video-LLMs)は、時間的に言語クエリを解析し、ビデオモーメントを検索することができる。
予測整合性 - 時間的根拠の堅牢性と信頼性を示す重要な指標である。
論文 参考訳（メタデータ） (2024-11-20T00:47:17Z) - Temporal Blind Spots in Large Language Models [20.631107338678234]
大規模言語モデル(LLM)は、様々な自然言語処理タスクを実行する非並列性のため、最近注目されている。
本研究では,時間的理解を必要とするタスクに対して,汎用LLMの基本的な限界について検討する。
論文 参考訳（メタデータ） (2024-01-22T16:20:14Z) - Multi-scale temporal network for continuous sign language recognition [10.920363368754721]
連続手話認識は,手話データの時間的順序に関する正確なアノテーションがないため,困難な研究課題である。
本稿では,より正確な時間的特徴を抽出するマルチスケール時間的ネットワーク(MSTNet)を提案する。
2つの公開データセットによる実験結果から,従来の知識を使わずに手話の特徴をエンドツーエンドで効果的に抽出できることが示されている。
論文 参考訳（メタデータ） (2022-04-08T06:14:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。