論文の概要: Priors in Time: Missing Inductive Biases for Language Model Interpretability

• arxiv url: http://arxiv.org/abs/2511.01836v1
• Date: Mon, 03 Nov 2025 18:43:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 16:37:27.374663
• Title: Priors in Time: Missing Inductive Biases for Language Model Interpretability
• Title（参考訳）: Pres in Time: 言語モデル解釈容易性のためのインダクティブバイアスの欠如
• Authors: Ekdeep Singh Lubana, Can Rager, Sai Sumedh R. Hindupur, Valerie Costa, Greta Tuckute, Oam Patel, Sonia Krishna Murthy, Thomas Fel, Daniel Wurgaft, Eric J. Bigelow, Johnny Lin, Demba Ba, Martin Wattenberg, Fernanda Viegas, Melanie Weber, Aaron Mueller,
• Abstract要約: スパースオートエンコーダは、時間とともに概念の独立を前提としており、定常性を暗示している。 本稿では,時間的帰納バイアスを持つ新たな解釈可能性目標である時間的特徴分析を導入し,その表現を2つの部分に分解する。 私たちの結果は、堅牢な解釈可能性ツールの設計において、データにマッチする帰納的バイアスの必要性を浮き彫りにしています。
• 参考スコア（独自算出の注目度）: 58.07412640266836
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recovering meaningful concepts from language model activations is a central aim of interpretability. While existing feature extraction methods aim to identify concepts that are independent directions, it is unclear if this assumption can capture the rich temporal structure of language. Specifically, via a Bayesian lens, we demonstrate that Sparse Autoencoders (SAEs) impose priors that assume independence of concepts across time, implying stationarity. Meanwhile, language model representations exhibit rich temporal dynamics, including systematic growth in conceptual dimensionality, context-dependent correlations, and pronounced non-stationarity, in direct conflict with the priors of SAEs. Taking inspiration from computational neuroscience, we introduce a new interpretability objective -- Temporal Feature Analysis -- which possesses a temporal inductive bias to decompose representations at a given time into two parts: a predictable component, which can be inferred from the context, and a residual component, which captures novel information unexplained by the context. Temporal Feature Analyzers correctly parse garden path sentences, identify event boundaries, and more broadly delineate abstract, slow-moving information from novel, fast-moving information, while existing SAEs show significant pitfalls in all the above tasks. Overall, our results underscore the need for inductive biases that match the data in designing robust interpretability tools.
• Abstract（参考訳）: 言語モデルのアクティベーションから意味のある概念を復元することは、解釈可能性の中心的な目的である。 既存の特徴抽出手法は、独立方向の概念を識別することを目的としているが、この仮定が言語の豊富な時間構造を捉えることができるかどうかは不明である。 具体的には、ベイズレンズを通して、スパースオートエンコーダ(SAEs)が時間の経過とともに概念の独立性を前提とした事前を課していることを示し、定常性を示唆する。 一方、言語モデル表現は、概念的次元性の体系的な成長、文脈依存的相関、SAEの先行と直接競合する非定常性など、豊かな時間的ダイナミクスを示す。 計算神経科学からインスピレーションを得て,時間的インダクティブなバイアスを持つ時間的特徴分析(Temporal Feature Analysis)を導入し,文脈から推測可能な予測可能な成分と,文脈によって説明されていない新規情報をキャプチャする残留成分の2つに分けた。 時間的特徴分析器は、庭の道の文を正しく解析し、イベント境界を識別し、より広い範囲で抽象的でゆっくり動く情報を、新しい、素早く動く情報から切り離し、既存のSAEは上記の全てのタスクに重大な落とし穴を示す。 私たちの結果は、堅牢な解釈可能性ツールを設計する上で、データにマッチする帰納的バイアスの必要性を浮き彫りにしています。

関連論文リスト

• VITATECS: A Diagnostic Dataset for Temporal Concept Understanding of Video-Language Models [27.280311932711847]
  VITATECS, 診断用VIdeo-Text dAtasetについて述べる。 まず、異なる時間的側面を理解するためのVidLMの能力を診断するために、自然言語における時間的概念のきめ細かい分類法を導入する。 特定の時間的側面においてのみ、オリジナルと異なる反実的な映像記述を生成する。
  論文  参考訳（メタデータ） (2023-11-29T07:15:34Z)
• An Overview Of Temporal Commonsense Reasoning and Acquisition [20.108317515225504]
  時間的コモンセンス推論(英: Temporal Commonsense reasoning)とは、フレーズ、行動、出来事の典型的な時間的文脈を理解する能力である。 大規模言語モデルの性能に関する最近の研究は、しばしば推論においてショートカットを行い、単純な言語トラップに陥ることが示唆されている。
  論文  参考訳（メタデータ） (2023-07-28T01:30:15Z)
• Unlocking Temporal Question Answering for Large Language Models with Tailor-Made Reasoning Logic [84.59255070520673]
  大きな言語モデル(LLM)は、時間的推論に関わる際に課題に直面します。 本研究では,時間的質問応答タスクに特化して設計された新しいフレームワークであるTempLogicを提案する。
  論文  参考訳（メタデータ） (2023-05-24T10:57:53Z)
• A Threefold Review on Deep Semantic Segmentation: Efficiency-oriented, Temporal and Depth-aware design [77.34726150561087]
  我々は、自動運転車のビジョンの文脈において、Deep Semanticの最も関連性があり最近の進歩について調査を行う。 私たちの主な目的は、それぞれの視点で直面している主要な方法、利点、制限、結果、課題に関する包括的な議論を提供することです。
  論文  参考訳（メタデータ） (2023-03-08T01:29:55Z)
• Causal Reasoning Meets Visual Representation Learning: A Prospective Study [117.08431221482638]
  解釈可能性の欠如、堅牢性、分布外一般化が、既存の視覚モデルの課題となっている。 人間レベルのエージェントの強い推論能力にインスパイアされた近年では、因果推論パラダイムの開発に多大な努力が注がれている。 本稿では,この新興分野を包括的に概観し,注目し,議論を奨励し,新たな因果推論手法の開発の急激さを先導することを目的とする。
  論文  参考訳（メタデータ） (2022-04-26T02:22:28Z)
• Interpretable Time-series Representation Learning With Multi-Level Disentanglement [56.38489708031278]
  Disentangle Time Series (DTS)は、シーケンシャルデータのための新しいDisentanglement Enhanceingフレームワークである。 DTSは時系列の解釈可能な表現として階層的意味概念を生成する。 DTSは、セマンティック概念の解釈性が高く、下流アプリケーションで優れたパフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-05-17T22:02:24Z)
• Temporal Common Sense Acquisition with Minimal Supervision [77.8308414884754]
  この研究は、時間的常識の明示的で暗黙的な言及を活用する新しいシーケンスモデリング手法を提案する。 本手法は,時間的共通感覚の様々な次元の質予測を行う。 また、時間比較、親子関係、イベントコア参照、時間的QAなど、関連するタスクに対するイベントの表現も生成する。
  論文  参考訳（メタデータ） (2020-05-08T22:20:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。