論文の概要: Titans Revisited: A Lightweight Reimplementation and Critical Analysis of a Test-Time Memory Model

• arxiv url: http://arxiv.org/abs/2510.09551v1
• Date: Fri, 10 Oct 2025 17:03:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 00:38:49.408602
• Title: Titans Revisited: A Lightweight Reimplementation and Critical Analysis of a Test-Time Memory Model
• Title（参考訳）: タイタン再考:テスト時間記憶モデルの軽量化と臨界解析
• Authors: Gavriel Di Nepi, Federico Siciliano, Fabrizio Silvestri,
• Abstract要約: Googleが開発したニューラルネットワークモデルであるTitansの軽量な再実装を提案する。 以上の結果から,タイタンはチャンキングによって常に確立されたベースラインを上回っているわけではないことが判明した。 そのNeural Memoryコンポーネントは、注目のみのモデルと比較して、一貫してパフォーマンスを改善している。
• 参考スコア（独自算出の注目度）: 13.333452313251437
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: By the end of 2024, Google researchers introduced Titans: Learning at Test Time, a neural memory model achieving strong empirical results across multiple tasks. However, the lack of publicly available code and ambiguities in the original description hinder reproducibility. In this work, we present a lightweight reimplementation of Titans and conduct a comprehensive evaluation on Masked Language Modeling, Time Series Forecasting, and Recommendation tasks. Our results reveal that Titans does not always outperform established baselines due to chunking. However, its Neural Memory component consistently improves performance compared to attention-only models. These findings confirm the model's innovative potential while highlighting its practical limitations and raising questions for future research.
• Abstract（参考訳）: 2024年の終わりまでに、Googleの研究者たちはTitans: Learning at Test Timeを紹介した。 しかし、オリジナルの記述に公開コードや曖昧さが欠如していることは再現性を妨げている。 本研究では,タイタンを軽量に再実装し,マスケッド言語モデリング,時系列予測,レコメンデーションタスクの総合評価を行う。 以上の結果から,タイタンはチャンキングによって常に確立されたベースラインを上回っているわけではないことが判明した。 しかし、Neural Memoryコンポーネントは、注意のみのモデルと比較して、パフォーマンスを一貫して改善している。 これらの結果は、実用的限界を強調し、将来の研究への疑問を提起しながら、このモデルの革新的な可能性を裏付けるものである。

関連論文リスト

• Noise Hypernetworks: Amortizing Test-Time Compute in Diffusion Models [57.49136894315871]
  テストタイムスケーリングの新しいパラダイムは、推論モデルと生成視覚モデルにおいて驚くべきブレークスルーをもたらした。 本稿では,テスト時間スケーリングの知識をモデルに組み込むことの課題に対する1つの解決策を提案する。 拡散モデルにおいて、初期入力ノイズを変調するノイズハイパーネットワークにより、報酬誘導試験時間雑音の最適化を行う。
  論文  参考訳（メタデータ） (2025-08-13T17:33:37Z)
• Towards Thinking-Optimal Scaling of Test-Time Compute for LLM Reasoning [113.49074603075032]
  近年の研究では、モデルをより長い思考の連鎖(CoTs)を通して考える時間を増やすことで、複雑な推論タスクにおいて大幅な改善が得られることが示されている。 より長いCoTによるスケーリングが、特定のドメインにおけるLarge Language Model(LLM)の推論性能を損なうかどうかを考察する。
  論文  参考訳（メタデータ） (2025-02-25T10:48:05Z)
• Do Large Language Model Benchmarks Test Reliability? [66.1783478365998]
  モデル信頼性の定量化について検討する。 信頼性評価におけるこのギャップにより、我々はいわゆるプラチナベンチマークの概念を提案する。 我々は、これらのプラチナベンチマークにおいて、幅広いモデルを評価し、実際、フロンティアLSMは、単純なタスクで失敗を示す。
  論文  参考訳（メタデータ） (2025-02-05T18:58:19Z)
• Titans: Learning to Memorize at Test Time [20.12643072017223]
  歴史的文脈を記憶するために学習するニューラルな長期記憶モジュールを提案する。 このニューラルメモリは高速な推論を維持しつつ、高速な並列化可能なトレーニングの利点があることが示される。 我々は、Titansと呼ばれる新しいアーキテクチャのファミリーを紹介し、このアーキテクチャにメモリを効果的に組み込む方法に対処する3つのバリエーションを提示します。
  論文  参考訳（メタデータ） (2024-12-31T22:32:03Z)
• Do Language Models Understand the Cognitive Tasks Given to Them? Investigations with the N-Back Paradigm [9.577716124021029]
  GPT 3.5の2-backタスクと3-backタスクのパフォーマンス低下は、人間のように動作するメモリ容量の限界を反映していることを示す。 これらのタスクにおける様々なパフォーマンスレベルのオープンソース言語モデルを解析することにより、少なくともタスク理解とタスクセットのメンテナンスの制限によるパフォーマンスの低下が少なくとも一部原因であることを示す。
  論文  参考訳（メタデータ） (2024-12-24T03:06:52Z)
• Idempotent Unsupervised Representation Learning for Skeleton-Based Action Recognition [13.593511876719367]
  教師なし表現学習のための新しい骨格ベース等等化生成モデル(IGM)を提案する。 ベンチマークデータセットであるNTU RGB+DとPKUMMDに関する実験により,提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-10-27T06:29:04Z)
• Exploring Strategies for Generalizable Commonsense Reasoning with Pre-trained Models [62.28551903638434]
  モデルの一般化と精度に及ぼす3つの異なる適応法の影響を計測する。 2つのモデルを用いた実験では、微調整はタスクの内容と構造の両方を学習することで最もうまく機能するが、過度に適合し、新しい答えへの限定的な一般化に苦しむ。 我々は、プレフィックスチューニングのような代替適応手法が同等の精度を持つのを観察するが、解を見落とさずに一般化し、対数分割に対してより堅牢である。
  論文  参考訳（メタデータ） (2021-09-07T03:13:06Z)
• When Liebig's Barrel Meets Facial Landmark Detection: A Practical Model [87.25037167380522]
  正確で、堅牢で、効率的で、一般化可能で、エンドツーエンドのトレーニングが可能なモデルを提案する。 精度を向上させるために,2つの軽量モジュールを提案する。 DQInitは、インプットからデコーダのクエリを動的に初期化し、複数のデコーダ層を持つものと同じ精度でモデルを実現する。 QAMemは、共有するクエリではなく、それぞれのクエリに別々のメモリ値を割り当てることで、低解像度のフィーチャーマップ上のクエリの識別能力を高めるように設計されている。
  論文  参考訳（メタデータ） (2021-05-27T13:51:42Z)
• TimeSHAP: Explaining Recurrent Models through Sequence Perturbations [3.1498833540989413]
  リカレントニューラルネットワークは、多くの機械学習ドメインで標準的なビルディングブロックである。 これらのモデルにおける複雑な意思決定はブラックボックスと見なされ、正確性と解釈可能性の間の緊張を生み出す。 本研究では,モデルに依存しないリカレント説明器であるTimeSHAPを提示することにより,これらのギャップを埋めることに寄与する。
  論文  参考訳（メタデータ） (2020-11-30T19:48:57Z)
• Rethinking Generalization of Neural Models: A Named Entity Recognition Case Study [81.11161697133095]
  NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。 詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。 本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
  論文  参考訳（メタデータ） (2020-01-12T04:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。