論文の概要: Temporal Chunking Enhances Recognition of Implicit Sequential Patterns

• arxiv url: http://arxiv.org/abs/2506.00588v1
• Date: Sat, 31 May 2025 14:51:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:33.275478
• Title: Temporal Chunking Enhances Recognition of Implicit Sequential Patterns
• Title（参考訳）: 時間的チャンキングは不必要なシーケンスパターンの認識を促進する
• Authors: Jayanta Dey, Nicholas Soures, Miranda Gonzales, Itamar Lerner, Christopher Kanan, Dhireesha Kudithipudi,
• Abstract要約: 本稿では、時間的シーケンスを文脈タグ付きチャンクに圧縮する神経インスパイアされたアプローチを提案する。 これらのタグはオフラインのスリープフェーズで生成され、過去の経験のコンパクトな参照として機能する。 我々は、従来のニューラルネットワークに基づくシーケンス学習者の限界を明らかにするために、制御された合成環境において、このアイデアを評価する。
• 参考スコア（独自算出の注目度）: 11.298233331771975
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In this pilot study, we propose a neuro-inspired approach that compresses temporal sequences into context-tagged chunks, where each tag represents a recurring structural unit or``community'' in the sequence. These tags are generated during an offline sleep phase and serve as compact references to past experience, allowing the learner to incorporate information beyond its immediate input range. We evaluate this idea in a controlled synthetic environment designed to reveal the limitations of traditional neural network based sequence learners, such as recurrent neural networks (RNNs), when facing temporal patterns on multiple timescales. We evaluate this idea in a controlled synthetic environment designed to reveal the limitations of traditional neural network based sequence learners, such as recurrent neural networks (RNNs), when facing temporal patterns on multiple timescales. Our results, while preliminary, suggest that temporal chunking can significantly enhance learning efficiency under resource constrained settings. A small-scale human pilot study using a Serial Reaction Time Task further motivates the idea of structural abstraction. Although limited to synthetic tasks, this work serves as an early proof-of-concept, with initial evidence that learned context tags can transfer across related task, offering potential for future applications in transfer learning.
• Abstract（参考訳）: 本研究では,時間的シーケンスをコンテキストタグ付きチャンクに圧縮する神経刺激型アプローチを提案する。 これらのタグはオフライン睡眠期に生成され、過去の体験へのコンパクトな参照として機能し、学習者は即座に入力範囲を超えて情報を組み込むことができる。 複数の時間スケールで時間的パターンに直面する場合、リカレントニューラルネットワーク(RNN)のような従来のニューラルネットワークに基づくシーケンス学習者の限界を明らかにするために、制御された合成環境でこのアイデアを評価する。 複数の時間スケールで時間的パターンに直面する場合、リカレントニューラルネットワーク(RNN)のような従来のニューラルネットワークに基づくシーケンス学習者の限界を明らかにするために、制御された合成環境でこのアイデアを評価する。 この結果から,時間的チャンキングが資源制約条件下での学習効率を大幅に向上させる可能性が示唆された。 シリアル・リアクション・タイム・タスク(Serial Reaction Time Task)を用いた小規模な人間のパイロット研究は、構造的抽象化の考え方をさらに動機付けている。 合成タスクに限定されているが、この研究は初期の概念実証として機能し、学習されたコンテキストタグが関連するタスク間で伝達可能であるという最初の証拠が得られた。

関連論文リスト

• ELiSe: Efficient Learning of Sequences in Structured Recurrent Networks [1.5931140598271163]
  局所的な常時オンおよび位相自由可塑性のみを用いて,効率的な学習シーケンスのモデルを構築した。 鳥の鳴き声学習のモックアップでELiSeの能力を実証し、パラメトリゼーションに関してその柔軟性を実証する。
  論文  参考訳（メタデータ） (2024-02-26T17:30:34Z)
• TC-LIF: A Two-Compartment Spiking Neuron Model for Long-Term Sequential Modelling [54.97005925277638]
  潜在的な可能性や危険に関連する感覚的手がかりの同定は、長期間の遅延によって有用な手がかりを分離する無関係な事象によってしばしば複雑になる。 SNN(State-of-the-art spiking Neural Network)は、遠方のキュー間の長期的な時間的依存関係を確立する上で、依然として困難な課題である。 そこで本研究では,T-LIFとよばれる,生物学的にインスパイアされたTwo-compartment Leaky Integrate- and-Fireのスパイキングニューロンモデルを提案する。
  論文  参考訳（メタデータ） (2023-08-25T08:54:41Z)
• Contextualizing MLP-Mixers Spatiotemporally for Urban Data Forecast at Scale [54.15522908057831]
  本稿では,STTD予測を大規模に行うためのコンピュータ・ミクサーの適応版を提案する。 我々の結果は、この単純な効率の良いソリューションが、いくつかのトラフィックベンチマークでテストした場合、SOTAベースラインに匹敵する可能性があることを驚くほど示している。 本研究は, 実世界のSTTD予測において, 簡便な有効モデルの探索に寄与する。
  論文  参考訳（メタデータ） (2023-07-04T05:19:19Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Spiking Neural Networks for event-based action recognition: A new task to understand their advantage [1.4348901037145936]
  スパイキングニューラルネットワーク(SNN)は、そのユニークな時間的ダイナミクスによって特徴づけられる。 フィードフォワードニューラルネットワークにおいて、スパイキングニューロンが時間的特徴抽出を可能にする方法を示す。 また、繰り返しSNNがLSTMに匹敵する結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-09-29T16:22:46Z)
• Path sampling of recurrent neural networks by incorporating known physics [0.0]
  我々は、再帰的なニューラルネットワークに一般的な熱力学または運動論的制約を組み込むことができる経路サンプリング手法を示す。 本稿では,長期記憶ネットワークとして広く利用されているリカレントニューラルネットワークについて述べる。 我々の手法は、他の生成人工知能モデルや、物理・社会科学の様々な分野における一般的な時系列に容易に一般化できる。
  論文  参考訳（メタデータ） (2022-03-01T16:35:50Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Developing Constrained Neural Units Over Time [81.19349325749037]
  本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。 ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。 提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
  論文  参考訳（メタデータ） (2020-09-01T09:07:25Z)
• Spiking Associative Memory for Spatio-Temporal Patterns [0.21094707683348418]
  スパイクタイミング依存塑性(Spike Timing Dependent Plasticity)は、実際の皮質組織で実証された学習形式である。 我々はサイクリックSTDPと呼ばれる単純な学習規則を開発し、ニューロンの正確なスパイク時間におけるパターンを抽出する。 この学習規則によって与えられるニューロンの集団は、短期記憶として有効であることを示す。
  論文  参考訳（メタデータ） (2020-06-30T11:08:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。