論文の概要: Identifying Temporal Features within Transcoders for Time Sensitive Factual Recall

• arxiv url: http://arxiv.org/abs/2609.33183v1
• Date: Sun, 27 Sep 2026 04:01:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 02:27:54.266954
• Title: Identifying Temporal Features within Transcoders for Time Sensitive Factual Recall
• Title（参考訳）: 時間知覚的ファクトリコールのためのトランスコーダ内の時間的特徴の同定
• Abstract要約: 本稿では,トランスコーダ回路のトレースによって個々の特徴を分離し,時間的リコールのための最初の特徴レベルマップを提供する。 これらの特徴は, 単純な線形ではなく, 層をまたいだ並列的, 混合的な構文・意味的相互作用を通して時間を表現する。 これらの結果から, 時間に敏感な事実リコールにおける潜在的介入の構成要素が示唆された。
• 参考スコア（独自算出の注目度）: 16.94139262260136
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) suffer from temporal misalignment, often due to the contradictory nature of their training corpora. While current mitigation strategies rely on computationally expensive fine-tuning or context-heavy retrieval augmented generation (RAG), the internal mechanisms governing time-sensitive recall remain under-explored. Unlike prior studies that identify temporal components such as attention heads and MLP layers, we provide the first feature-level map of temporal recall by isolating individual MLP features via transcoder circuit tracing. We identify three node categories (common temporal, common to the year, and chrono-semantic) which interact to generate a temporal filter during factual recall. By analysing Gemma 2 2B, LLaMA 3.2 1B, and Qwen3-4B, we show that these features do not follow a simple linear pipeline but represent time through a parallel and mixed syntactic-semantic interplay across layers. We additionally discover a class of higher-layer temporal components invisible to existing EAP-IG methods, establishing transcoders as a more complete lens for temporal interpretability in time-sensitive factual recall. These findings present MLP components for potential targeted interventions in time-sensitive factual recall
• Abstract（参考訳）: 大規模言語モデル(LLM)は、しばしば訓練コーパスの矛盾した性質のために、時間的ミスアライメントに悩まされる。 現在の緩和戦略は、計算に費用がかかる微調整や文脈重み検索の強化(RAG)に依存しているが、時間に敏感なリコールを規定する内部メカニズムは未探索のままである。 注意頭やMLP層などの時間的成分を識別する従来の研究とは異なり、トランスコーダ回路のトレースにより個々のMLP特徴を分離し、時間的リコールの最初の特徴レベルマップを提供する。 実時間リコール中に時間フィルタを生成するために相互作用する3つのノードカテゴリ(一般的には、その年に共通する、クロノ・セマンティック)を同定する。 Gemma 2 2B, LLaMA 3.2 1B, Qwen3-4Bを解析した結果, これらの特徴は単純な線形パイプラインに従わず, 層をまたいだ並列的, 混合的な構文・意味的相互作用を通して時間を表現することがわかった。 さらに,既存のEAP-IG法では見えない高層時間成分のクラスを発見し,時間依存的事実リコールにおける時間的解釈性を高めるために,トランスコーダをより完全なレンズとして確立する。 これらの結果から, 時間依存的事実リコールにおけるMLP成分の有用性が示唆された。

関連論文リスト

• Chronofy: A Temporal-Logical Decay Architecture for Information Validity in Time-Aware Retrieval-Augmented Generation [0.0]
  Retrieval-Augmented Generation (RAG) システムは、外部知識を検索して統合し、基盤となる大規模言語モデル(LLM)出力を出力する。 現在のRAGアーキテクチャは、全ての検索された事実を時間的前兆に関係なく等しく有効と扱い、時間的幻覚につながる。 本稿では, 時間的妥当性をRAGシステムの表現, 検索, 推論層に直接組み込むTLDA(Temporal-Logical Decay Architecture)を実装した3層ニューロシンボリック・フレームワークであるクロノフィーについて述べる。
  論文  参考訳（メタデータ） (2026-07-17T23:20:24Z)
• A Study of Temporal Fusion Strategies for Named Entity Recognition in Historical Texts [0.43064121494080315]
  時間的変動は、歴史的テキストで名前付きエンティティ認識に固有の課題を生じさせる。 我々は,軽量融合戦略を用いて,時間的メタデータをNERモデルに構造的に組み込む方法について検討した。 フランスとドイツの歴史的データセットに対する我々の評価は、後期融合戦略がより堅牢で時間的に一般化可能な性能をもたらすことを示している。
  論文  参考訳（メタデータ） (2026-06-26T09:23:31Z)
• MA-DLE: Speech-based Automatic Depression Level Estimation via Memory Augmentation [59.709198999959206]
  音声に基づく抑うつ状態の自動推定は、早期発見と時間的介入を可能にするために不可欠である。 既存のアプローチのほとんどは、うつ病推定のための時間情報をモデル化するためにRNNベースのアーキテクチャに依存している。 本稿では,GRU抽出した特徴の表現能力を向上するメモリベースの特徴拡張手法を提案する。
  論文  参考訳（メタデータ） (2026-04-20T14:42:13Z)
• Online Segment Any 3D Thing as Instance Tracking [60.20416622842975]
  オンライン3Dセグメンテーションをインスタンス追跡問題として再認識する(AutoSeg3D)。 視覚基礎モデルに固有の断片化問題を緩和するために,空間整合性学習を導入する。 ScanNet200上でESAMを2.8 AP上回る新しい最先端技術を確立する。
  論文  参考訳（メタデータ） (2025-12-08T14:48:51Z)
• Causality Matters: How Temporal Information Emerges in Video Language Models [17.570777893613137]
  ビデオ入力における位置エンコーディングの除去や修正は、時間的理解の性能の低下を最小限に抑えることが判明した。 この振る舞いを説明するために、我々は時間的情報がモデルにどのように組み込まれているかを追跡するための重要な分析実験を行った。 そこで我々は,2つの効率重視戦略を提案する。
  論文  参考訳（メタデータ） (2025-08-15T16:33:14Z)
• GaitFormer: Revisiting Intrinsic Periodicity for Gait Recognition [6.517046095186713]
  歩行認識は、外見情報に頼るのではなく、ビデオレベルの人間のシルエットを分析することで、異なる歩行パターンを区別することを目的としている。 これまでの研究は主に局所的あるいはグローバルな時間的表現の抽出に重点を置いてきた。 本稿では,周期的特性と歩行パターンの微細な時間依存性を生かした,TPA (Temporal Periodic Alignment) と呼ばれるプラグイン・アンド・プレイ戦略を提案する。
  論文  参考訳（メタデータ） (2023-07-25T05:05:07Z)
• FuTH-Net: Fusing Temporal Relations and Holistic Features for Aerial Video Classification [49.06447472006251]
  本稿では,FuTH-Netと呼ばれる新しいディープニューラルネットワークを提案する。 本モデルは,ERAとDrone-Actionの2つの航空映像分類データセットを用いて評価し,最先端の成果を得た。
  論文  参考訳（メタデータ） (2022-09-22T21:15:58Z)
• Multi-scale temporal network for continuous sign language recognition [10.920363368754721]
  連続手話認識は,手話データの時間的順序に関する正確なアノテーションがないため,困難な研究課題である。 本稿では,より正確な時間的特徴を抽出するマルチスケール時間的ネットワーク(MSTNet)を提案する。 2つの公開データセットによる実験結果から,従来の知識を使わずに手話の特徴をエンドツーエンドで効果的に抽出できることが示されている。
  論文  参考訳（メタデータ） (2022-04-08T06:14:22Z)
• Short and Long Range Relation Based Spatio-Temporal Transformer for Micro-Expression Recognition [61.374467942519374]
  我々は,マイクロ圧縮認識のための最初の純粋トランスフォーマーベースアプローチである,新しいアテンポ的トランスフォーマーアーキテクチャを提案する。 空間パターンを学習する空間エンコーダと、時間的分析のための時間的次元分類と、ヘッドとを備える。 広範に使用されている3つの自発的マイクロ圧縮データセットに対する総合的な評価は,提案手法が一貫して芸術の状態を上回っていることを示している。
  論文  参考訳（メタデータ） (2021-12-10T22:10:31Z)
• Spatio-Temporal Representation Factorization for Video-based Person Re-Identification [55.01276167336187]
  本稿では、re-IDのための時空間表現分解モジュール(STRF)を提案する。 STRFはフレキシブルな新しい計算ユニットであり、re-IDのための既存のほとんどの3D畳み込みニューラルネットワークアーキテクチャと併用することができる。 実験により、STRFは様々なベースラインアーキテクチャの性能を向上し、新しい最先端の成果を示す。
  論文  参考訳（メタデータ） (2021-07-25T19:29:37Z)
• Temporal Memory Relation Network for Workflow Recognition from Surgical Video [53.20825496640025]
  本研究では, 長期および多スケールの時間パターンを関連づける, エンドツーエンドの時間メモリ関係ネットワーク (TMNet) を提案する。 我々はこのアプローチを2つのベンチマーク手術ビデオデータセットで広範囲に検証した。
  論文  参考訳（メタデータ） (2021-03-30T13:20:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。