Fugu-MT 論文翻訳(概要): Discrete Tree Flows via Tree-Structured Permutations

論文の概要: Discrete Tree Flows via Tree-Structured Permutations

arxiv url: http://arxiv.org/abs/2207.01744v1
Date: Mon, 4 Jul 2022 23:11:04 GMT
ステータス: 処理完了
システム内更新日: 2022-07-06 13:59:23.334917
Title: Discrete Tree Flows via Tree-Structured Permutations
Title（参考訳）: 木構造順列による離散木流
Authors: Mai Elkady, Jim Lim, David I. Inouye
Abstract要約: 離散フローベースモデルは、離散関数の勾配が未定義あるいはゼロであるため、従来のディープラーニング手法では直接最適化できない。提案手法は,決定木に基づく離散フローを開発することにより,計算負担を低減し,擬似勾配の必要性を解消することを目的としている。
参考スコア（独自算出の注目度）: 5.929956715430168
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: While normalizing flows for continuous data have been extensively researched, flows for discrete data have only recently been explored. These prior models, however, suffer from limitations that are distinct from those of continuous flows. Most notably, discrete flow-based models cannot be straightforwardly optimized with conventional deep learning methods because gradients of discrete functions are undefined or zero. Previous works approximate pseudo-gradients of the discrete functions but do not solve the problem on a fundamental level. In addition to that, backpropagation can be computationally burdensome compared to alternative discrete algorithms such as decision tree algorithms. Our approach seeks to reduce computational burden and remove the need for pseudo-gradients by developing a discrete flow based on decision trees -- building upon the success of efficient tree-based methods for classification and regression for discrete data. We first define a tree-structured permutation (TSP) that compactly encodes a permutation of discrete data where the inverse is easy to compute; thus, we can efficiently compute the density value and sample new data. We then propose a decision tree algorithm to build TSPs that learns the tree structure and permutations at each node via novel criteria. We empirically demonstrate the feasibility of our method on multiple datasets.
Abstract（参考訳）: 連続データに対する正規化フローは広く研究されているが、離散データに対するフローは近年研究されている。しかし、これらの先行モデルは連続フローとは異なる制限に悩まされる。特に、離散フローベースモデルは、離散関数の勾配が未定義またはゼロであるため、従来のディープラーニング手法では直接最適化できない。先行研究は離散関数の擬次数を近似しているが、基本レベルでは解かない。それに加えて、バックプロパゲーションは決定木アルゴリズムのような別の離散アルゴリズムと比較して計算的に負担がかかる。本手法は,決定木に基づく離散フローを開発することにより,計算負担の低減と擬似勾配の必要性を解消することを目的としている。まず、逆の計算が容易な離散データの置換をコンパクトに符号化する木構造置換(TSP)を定義し、その密度値を効率的に計算し、新しいデータをサンプリングする。そこで本研究では,各ノードにおける木構造と置換を学習するtspsを構築する決定木アルゴリズムを提案する。複数のデータセットに対して,本手法の有効性を実証的に示す。

関連論文リスト

Unmasking Trees for Tabular Data [0.0]
勾配型決定木を用いた表計算(および生成)の簡易な方法であるUnmaskingTreesを提案する。条件生成サブプロブレムを解決するために,木分類器のバランス木に適合するBaltoBotを提案する。従来の方法とは異なり、条件分布のパラメトリックな仮定は必要とせず、多重モーダル分布を持つ特徴を収容する。我々はついに2つのアプローチをメタアルゴリズムとみなし、TabPFNを用いた文脈内学習に基づく生成モデリングを実証した。
論文参考訳（メタデータ） (2024-07-08T04:15:43Z)
Learning accurate and interpretable decision trees [27.203303726977616]
我々は、同じドメインから繰り返しデータにアクセスして決定木学習アルゴリズムを設計するためのアプローチを開発する。本研究では,ベイズ決定木学習における事前パラメータのチューニングの複雑さについて検討し,その結果を決定木回帰に拡張する。また、学習した決定木の解釈可能性について検討し、決定木を用いた説明可能性と精度のトレードオフを最適化するためのデータ駆動型アプローチを提案する。
論文参考訳（メタデータ） (2024-05-24T20:10:10Z)
Learning to Bound Counterfactual Inference in Structural Causal Models from Observational and Randomised Data [64.96984404868411]
我々は、従来のEMベースのアルゴリズムを拡張するための全体的なデータの特徴付けを導出する。新しいアルゴリズムは、そのような混合データソースからモデルパラメータの(不特定性)領域を近似することを学ぶ。反実的な結果に間隔近似を与え、それが特定可能な場合の点に崩壊する。
論文参考訳（メタデータ） (2022-12-06T12:42:11Z)
On multivariate randomized classification trees: $l_0$-based sparsity, VC~dimension and decomposition methods [0.9346127431927981]
Blanquero et alで提案された非線形連続最適化の定式化について検討する。我々はまず、$l_0$ノルムの凹凸近似に基づいて、そのような木をスパース化する代替手法を検討する。より大規模なデータセットを用いた実験により,提案手法は精度を損なうことなく,学習時間を著しく短縮できることが示された。
論文参考訳（メタデータ） (2021-12-09T22:49:08Z)
Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。我々の手法は古典的DPベースの推論に広く適用できる。また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文参考訳（メタデータ） (2021-12-07T11:26:41Z)
Active-LATHE: An Active Learning Algorithm for Boosting the Error Exponent for Learning Homogeneous Ising Trees [75.93186954061943]
我々は、$rho$が少なくとも0.8$である場合に、エラー指数を少なくとも40%向上させるアルゴリズムを設計し、分析する。我々の分析は、グラフの一部により多くのデータを割り当てるために、微小だが検出可能なサンプルの統計的変動を巧みに活用することに基づいている。
論文参考訳（メタデータ） (2021-10-27T10:45:21Z)
Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
論文参考訳（メタデータ） (2021-09-10T07:01:15Z)
Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature Selection [138.97647716793333]
再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
論文参考訳（メタデータ） (2020-12-29T04:08:38Z)
Learning Binary Decision Trees by Argmin Differentiation [34.9154848754842]
ダウンストリームタスクのためにデータを分割するバイナリ決定木を学びます。離散パラメータの混合整数プログラムを緩和する。我々は、前方と後方のパスを効率的に計算するアルゴリズムを考案した。
論文参考訳（メタデータ） (2020-10-09T15:11:28Z)
From Trees to Continuous Embeddings and Back: Hyperbolic Hierarchical Clustering [33.000371053304676]
本稿では,Dasguptaの離散最適化問題に対して,証明可能な品質保証を用いた最初の連続緩和を提案する。勾配勾配勾配の近似解でさえ、凝集性クラスタリングよりも優れた品質を有することを示す。また、下流分類タスクにおけるエンドツーエンドトレーニングによるHypHCの柔軟性についても強調する。
論文参考訳（メタデータ） (2020-10-01T13:43:19Z)
MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
論文参考訳（メタデータ） (2020-07-24T17:06:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。