論文の概要: A constrained recursion algorithm for batch normalization of
tree-sturctured LSTM
- arxiv url: http://arxiv.org/abs/2008.09409v1
- Date: Fri, 21 Aug 2020 10:31:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-26 20:52:57.242056
- Title: A constrained recursion algorithm for batch normalization of
tree-sturctured LSTM
- Title（参考訳）: 木構造LSTMのバッチ正規化のための制約付き再帰アルゴリズム
- Authors: Ruo Ando, Yoshiyasu Takefuji
- Abstract要約: 木構造LSTMは階層上の長距離相互作用を考える上で有望な方法である。
提案手法はバッチ数などのハイパーパラメータチューニングに有効である。
- 参考スコア（独自算出の注目度）: 0.29008108937701327
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tree-structured LSTM is promising way to consider long-distance interaction
over hierarchies. However, there have been few research efforts on the
hyperparameter tuning of the construction and traversal of tree-structured
LSTM. To name a few, hyperparamters such as the interval of state
initialization, the number of batches for normalization have been left
unexplored specifically in applying batch normalization for reducing training
cost and parallelization. In this paper, we propose a novel recursive algorithm
for traversing batch normalized tree-structured LSTM. In proposal method, we
impose the constraint on the recursion algorithm for the depth-first search of
binary tree representation of LSTM for which batch normalization is applied.
With our constrained recursion, we can control the hyperparameter in the
traversal of several tree-structured LSTMs which is generated in the process of
batch normalization. The tree traversal is divided into two steps. At first
stage, the width-first search over models is applied for discover the start
point of the latest tree-structured LSTM block. Then, the depth-first search is
run to traverse tree-structured LSTM. Proposed method enables us to explore the
optimized selection of hyperparameters of recursive neural network
implementation by changing the constraints of our recursion algorithm. In
experiment, we measure and plot the validation loss and computing time with
changing the length of internal of state initialization of tree-structured
LSTM. It has been turned out that proposal method is effective for
hyperparameter tuning such as the number of batches and length of interval of
state initialization of tree-structured LSTM.
- Abstract（参考訳）: 木構造LSTMは階層上の長距離相互作用を考える上で有望な方法である。
しかし,木構造LSTMの構築と走行のハイパーパラメータチューニングに関する研究はほとんど行われていない。
例えば、状態初期化の間隔のようなハイパーパラメータは、トレーニングコストと並列化を減らすためにバッチ正規化を適用することに特化して検討されていない。
本稿では,バッチ正規化木構造LSTMをトラバースする新しい再帰アルゴリズムを提案する。
提案手法では,バッチ正規化を適用したLSTMの2進木表現の深度優先探索のための再帰アルゴリズムに制約を課す。
制約付き再帰法により、バッチ正規化の過程で発生するいくつかの木構造LSTMのトラバースにおけるハイパーパラメータを制御できる。
木道は2つの段階に分けられる。
まず,最新の木構造LSTMブロックの開始点を発見するために,モデルの幅優先探索を適用した。
次に、深度優先探索を行い、木構造LSTMを横切る。
提案手法により,再帰アルゴリズムの制約を変更することにより,再帰的ニューラルネットワーク実装のハイパーパラメータの選択を最適化することが可能になる。
実験では,木構造LSTMの状態初期化の長さを変化させることで,検証損失と計算時間を計測・プロットする。
提案手法は,木構造LSTMのバッチ数や状態初期化間隔の長さなどのハイパーパラメータチューニングに有効であることが判明した。
関連論文リスト
- LiteSearch: Efficacious Tree Search for LLM [70.29796112457662]
本研究では,動的ノード選択とノードレベルの探索予算を備えた新しいガイド付き木探索アルゴリズムを提案する。
GSM8KおよびTabMWPデータセットを用いて行った実験により,本手法はベースライン法に比べて計算コストが大幅に低いことを示した。
論文 参考訳（メタデータ） (2024-06-29T05:14:04Z) - Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
大規模言語モデルを用いた最適化に基づく構造解析手法を提案する。
我々は,プルーニングモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する。
A100 GPUで13Bモデルに対して約35GBのメモリで2.7時間動作させる。
論文 参考訳（メタデータ） (2024-06-15T09:31:03Z) - Latent Logic Tree Extraction for Event Sequence Explanation from LLMs [19.90330712436838]
医療やロボティクスなどの現代のハイテイクシステムは、しばしば巨大なストリーミングイベントシーケンスを生成する。
我々のゴールは、Large Language Models (LLMs) から論理木に基づく説明を引き出すための効率的なプラグイン・アンド・プレイツールを設計し、観測された各イベントシーケンスに対するカスタマイズされた洞察を提供することです。
オンライン設定では、ローカルに構築された軽量なモデルが、数回だけ繰り返して、各シーケンスのLSMから最も関連性の高いルールを反復的に抽出します。
論文 参考訳（メタデータ） (2024-06-03T09:10:42Z) - Des-q: a quantum algorithm to provably speedup retraining of decision trees [2.7262923206583136]
Des-qは、回帰および二分分類タスクのための決定木を構築し、再訓練するための新しい量子アルゴリズムである。
我々は,複数のデータセット上での最先端の古典的手法に対して,Des-qのシミュレーションバージョンをベンチマークする。
提案アルゴリズムは,最新の決定木に類似した性能を示しながら,周期木再学習を著しく高速化する。
論文 参考訳（メタデータ） (2023-09-18T17:56:08Z) - Revisiting Recursive Least Squares for Training Deep Neural Networks [10.44340837533087]
再帰最小二乗法(RLS)アルゴリズムは、その高速収束のため、かつては小規模ニューラルネットワークのトレーニングに広く用いられていた。
従来のRSSアルゴリズムは、計算複雑性が高く、事前条件が多すぎるため、ディープニューラルネットワーク(DNN)のトレーニングには適さない。
本稿では,フィードフォワードニューラルネットワーク,畳み込みニューラルネットワーク,リカレントニューラルネットワークの3つの新しいRSS最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-09-07T17:43:51Z) - Robustifying Algorithms of Learning Latent Trees with Vector Variables [92.18777020401484]
Recursive Grouping (RG) と Chow-Liu Recursive Grouping (CLRG) のサンプル複雑性について述べる。
RG,CLRG,Neighbor Joining (NJ) およびSpectral NJ (SNJ) をトラッピングした内積を用いて強化する。
我々は、潜在木の構造学習において、最初の既知のインスタンス依存の不合理性の結果を導出する。
論文 参考訳（メタデータ） (2021-06-02T01:37:52Z) - Spectral Top-Down Recovery of Latent Tree Models [13.681975313065477]
スペクトルトップダウン・リカバリ (STDR) は、大きな潜在木モデルを推定するための分割・コンカレントアプローチである。
STDRの分割ステップは非ランダムです。
代わりに、観測されたノードに関連する適切なラプラシア行列のFiedlerベクトルに基づいている。
私達はSTDRが統計的に一貫性があることを証明し、高い確率で木を正確に回復するために必要なサンプルの数を縛ります。
論文 参考訳（メタデータ） (2021-02-26T02:47:42Z) - Trilevel Neural Architecture Search for Efficient Single Image
Super-Resolution [127.92235484598811]
本稿では,高効率単一画像超解像(SR)のための3レベルニューラルネットワーク探索法を提案する。
離散探索空間をモデル化するために、離散探索空間に新たな連続緩和を適用し、ネットワークパス、セル操作、カーネル幅の階層的混合を構築する。
階層型スーパーネット方式による最適化を行うため,効率的な探索アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-01-17T12:19:49Z) - Iterative Algorithm Induced Deep-Unfolding Neural Networks: Precoding
Design for Multiuser MIMO Systems [59.804810122136345]
本稿では,AIIDNN(ディープ・アンフォールディング・ニューラルネット)を一般化した,ディープ・アンフォールディングのためのフレームワークを提案する。
古典的重み付き最小二乗誤差(WMMSE)反復アルゴリズムの構造に基づく効率的なIAIDNNを提案する。
提案したIAIDNNは,計算複雑性を低減した反復WMMSEアルゴリズムの性能を効率よく向上することを示す。
論文 参考訳（メタデータ） (2020-06-15T02:57:57Z) - A Tree Architecture of LSTM Networks for Sequential Regression with
Missing Data [0.0]
本稿では,Long Short-Term Memory (LSTM) ネットワークに基づく新しいツリーアーキテクチャを提案する。
アーキテクチャでは、配列内の既存の入力のみを使用するLSTMネットワークの可変数を用いる。
我々は、よく知られた財務・実生活データセットの最先端手法に関して、大幅な性能向上を実現している。
論文 参考訳（メタデータ） (2020-05-22T18:57:47Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。