論文の概要: Decision Trees That Remember: Gradient-Based Learning of Recurrent Decision Trees with Memory

• arxiv url: http://arxiv.org/abs/2502.04052v1
• Date: Thu, 06 Feb 2025 13:11:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-07 14:31:56.097389
• Title: Decision Trees That Remember: Gradient-Based Learning of Recurrent Decision Trees with Memory
• Title（参考訳）: 記憶に残る決定木:記憶を伴う反復決定木のグラディエントベース学習
• Authors: Sascha Marton, Moritz Schneider,
• Abstract要約: 我々はReMeDe Treesを紹介した。ReMeDe Treesは、RNNに似た内部メモリ機構を統合して、シーケンシャルデータにおける長期依存を学習する新しいDTアーキテクチャである。 我々のモデルは、出力生成と状態更新の両方に対して、厳密な軸整列決定ルールを学習し、勾配降下により効率よく最適化する。
• 参考スコア（独自算出の注目度）: 1.4487264853431878
• License:
• Abstract: Neural architectures such as Recurrent Neural Networks (RNNs), Transformers, and State-Space Models have shown great success in handling sequential data by learning temporal dependencies. Decision Trees (DTs), on the other hand, remain a widely used class of models for structured tabular data but are typically not designed to capture sequential patterns directly. Instead, DT-based approaches for time-series data often rely on feature engineering, such as manually incorporating lag features, which can be suboptimal for capturing complex temporal dependencies. To address this limitation, we introduce ReMeDe Trees, a novel recurrent DT architecture that integrates an internal memory mechanism, similar to RNNs, to learn long-term dependencies in sequential data. Our model learns hard, axis-aligned decision rules for both output generation and state updates, optimizing them efficiently via gradient descent. We provide a proof-of-concept study on synthetic benchmarks to demonstrate the effectiveness of our approach.
• Abstract（参考訳）: リカレントニューラルネットワーク(RNN)やトランスフォーマー、ステートスペースモデルといったニューラルアーキテクチャは、一時的な依存関係を学習することでシーケンシャルなデータを扱う上で大きな成功を収めている。 一方、決定木(DT)は構造化表データのモデルとして広く使われているが、典型的にはシーケンシャルなパターンを直接キャプチャするために設計されていない。 その代わり、DTベースの時系列データに対するアプローチは、しばしば、複雑な時間的依存関係をキャプチャするのに最適なラグ機能を手動で組み込むなど、機能エンジニアリングに依存します。 この制限に対処するために、RNNに似た内部メモリ機構を統合し、シーケンシャルデータにおける長期依存を学習する新しいDTアーキテクチャであるReMeDe Treesを導入する。 我々のモデルは、出力生成と状態更新の両方に対して、厳密な軸整列決定ルールを学習し、勾配降下により効率よく最適化する。 提案手法の有効性を実証するために,合成ベンチマークに関する概念実証研究を行った。

関連論文リスト

• Enhancing Adaptive History Reserving by Spiking Convolutional Block Attention Module in Recurrent Neural Networks [21.509659756334802]
  スパイキングニューラルネットワーク(SNN)は、時系列における時間的パターンを処理するための1種類の効率的なモデルである。 本稿では、先進的なスパイキング・コンボリューション・アテンション・モジュール(SCBAM)コンポーネントを組み込んだ繰り返しスパイキング・ニューラルネットワーク(RSNN)モデルを開発する。 SCBAMを通して空間的・時間的チャネルの履歴情報を適応的に呼び出すことで、効率的なメモリ呼び出し履歴と冗長性排除の利点をもたらす。
  論文  参考訳（メタデータ） (2024-01-08T08:05:34Z)
• NCART: Neural Classification and Regression Tree for Tabular Data [0.5439020425819]
  NCARTはResidual Networksの修正版で、完全に接続されたレイヤを複数の識別不能な決定木で置き換える。 ニューラルネットワークのエンドツーエンド能力の恩恵を受けながら、解釈可能性を維持している。 NCARTアーキテクチャの単純さは、さまざまなサイズのデータセットに適している。
  論文  参考訳（メタデータ） (2023-07-23T01:27:26Z)
• OpenSTL: A Comprehensive Benchmark of Spatio-Temporal Predictive Learning [67.07363529640784]
  提案するOpenSTLは,一般的なアプローチを再帰的モデルと再帰的モデルに分類する。 我々は, 合成移動物体軌道, 人間の動き, 運転シーン, 交通流, 天気予報など, さまざまな領域にわたるデータセットの標準評価を行う。 リカレントフリーモデルは、リカレントモデルよりも効率と性能のバランスが良いことがわかった。
  論文  参考訳（メタデータ） (2023-06-20T03:02:14Z)
• PDSketch: Integrated Planning Domain Programming and Learning [86.07442931141637]
  我々は PDSketch という新しいドメイン定義言語を提案する。 これにより、ユーザーはトランジションモデルで柔軟にハイレベルな構造を定義できる。 移行モデルの詳細は、トレーニング可能なニューラルネットワークによって満たされる。
  論文  参考訳（メタデータ） (2023-03-09T18:54:12Z)
• Learning Sequence Representations by Non-local Recurrent Neural Memory [61.65105481899744]
  教師付きシーケンス表現学習のためのNon-local Recurrent Neural Memory (NRNM)を提案する。 我々のモデルは長距離依存を捉えることができ、潜伏した高レベル特徴を我々のモデルで抽出することができる。 我々のモデルは、これらのシーケンスアプリケーションごとに特別に設計された他の最先端の手法と比較して好意的に比較する。
  論文  参考訳（メタデータ） (2022-07-20T07:26:15Z)
• A Hybrid Framework for Sequential Data Prediction with End-to-End Optimization [0.0]
  オンライン環境での非線形予測について検討し,手作業による特徴や手作業によるモデル選択の問題を効果的に緩和するハイブリッドモデルを提案する。 逐次データからの適応的特徴抽出にはLSTM(Recurrent Neural Network)、効果的な教師付き回帰には勾配強化機構(soft GBDT)を用いる。 本稿では, 合成データに対するアルゴリズムの学習挙動と, 各種実生活データセットに対する従来の手法による性能改善について述べる。
  論文  参考訳（メタデータ） (2022-03-25T17:13:08Z)
• Online learning of windmill time series using Long Short-term Cognitive Networks [58.675240242609064]
  風車農場で生成されたデータの量は、オンライン学習が従うべき最も有効な戦略となっている。 我々はLong Short-term Cognitive Networks (LSTCNs) を用いて、オンライン環境での風車時系列を予測する。 提案手法は,単純なRNN,長期記憶,Gated Recurrent Unit,Hidden Markov Modelに対して最も低い予測誤差を報告した。
  論文  参考訳（メタデータ） (2021-07-01T13:13:24Z)
• CARRNN: A Continuous Autoregressive Recurrent Neural Network for Deep Representation Learning from Sporadic Temporal Data [1.8352113484137622]
  本稿では,散発データにおける複数の時間的特徴をモデル化するための新しい深層学習モデルを提案する。 提案モデルはCARRNNと呼ばれ、時間ラグによって変調されたニューラルネットワークを用いてエンドツーエンドにトレーニング可能な一般化された離散時間自己回帰モデルを使用する。 アルツハイマー病進行モデルおよび集中治療単位(ICU)死亡率予測のためのデータを用いて,多変量時系列回帰タスクに適用した。
  論文  参考訳（メタデータ） (2021-04-08T12:43:44Z)
• Embedding Symbolic Temporal Knowledge into Deep Sequential Models [21.45383857094518]
  時系列や時系列はロボットのタスク、例えば活動認識や模倣学習で発生することが多い。 深層ニューラルネットワーク(DNN)は、十分なトレーニングデータと計算リソースを与えられたシーケンスを処理する効果的なデータ駆動手法として登場した。 グラフニューラルネットワークを用いて定式から生成された自動機械のセマンティックな埋め込みを構築する。実験により、これらの学習された埋め込みは、シーケンシャルな動作認識や模倣学習などの下流ロボットタスクの改善につながることが示された。
  論文  参考訳（メタデータ） (2021-01-28T13:17:46Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)
• Recognizing Long Grammatical Sequences Using Recurrent Networks Augmented With An External Differentiable Stack [73.48927855855219]
  リカレントニューラルネットワーク(RNN)は、シーケンスモデリング、生成、予測に広く使われているディープアーキテクチャである。 RNNは、非常に長いシーケンスに対してあまり一般化せず、多くの重要な時間的処理や時系列予測問題に適用性を制限する。 これらの欠点に対処する方法の1つは、スタックのような外部の異なるメモリ構造とRNNを結合することである。 本稿では,重要なアーキテクチャと状態更新機構を備えたメモリ拡張RNNを改良する。
  論文  参考訳（メタデータ） (2020-04-04T14:19:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。