論文の概要: Terminating Differentiable Tree Experts

• arxiv url: http://arxiv.org/abs/2407.02060v1
• Date: Tue, 2 Jul 2024 08:45:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-03 16:14:40.360099
• Title: Terminating Differentiable Tree Experts
• Title（参考訳）: 分化可能な木の専門家を駆除する
• Authors: Jonathan Thomm, Michael Hersche, Giacomo Camposampiero, Aleksandar Terzić, Bernhard Schölkopf, Abbas Rahimi,
• Abstract要約: 本稿では,変圧器と表現生成器の組み合わせを用いて木操作を学習するニューラルシンボリック微分木機械を提案する。 まず、専門家の混在を導入することで、各ステップで使用される一連の異なるトランスフォーマーレイヤを取り除きます。 また,モデルが自動生成するステップ数を選択するための新しい終端アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 77.2443883991608
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We advance the recently proposed neuro-symbolic Differentiable Tree Machine, which learns tree operations using a combination of transformers and Tensor Product Representations. We investigate the architecture and propose two key components. We first remove a series of different transformer layers that are used in every step by introducing a mixture of experts. This results in a Differentiable Tree Experts model with a constant number of parameters for any arbitrary number of steps in the computation, compared to the previous method in the Differentiable Tree Machine with a linear growth. Given this flexibility in the number of steps, we additionally propose a new termination algorithm to provide the model the power to choose how many steps to make automatically. The resulting Terminating Differentiable Tree Experts model sluggishly learns to predict the number of steps without an oracle. It can do so while maintaining the learning capabilities of the model, converging to the optimal amount of steps.
• Abstract（参考訳）: 本稿では, 変圧器とテンソル積表現を組み合わせた木操作を学習するニューラルシンボリック微分木機械を提案する。 アーキテクチャを調査し,2つの重要なコンポーネントを提案する。 まず、専門家の混在を導入することで、各ステップで使用される一連の異なるトランスフォーマーレイヤを取り除きます。 これにより、線形成長を持つ微分可能木機械の以前の手法と比較して、任意のステップ数に対して定数数のパラメータを持つ微分可能木エキスパートモデルが得られる。 このフレキシビリティをステップ数で考慮し、モデルに自動生成するステップ数を選択するための新しい終端アルゴリズムを提案する。 その結果、決定可能な木の専門家モデルは、託宣なしでステップの数を予測するのを緩やかに学習する。 最適なステップの量に収束しながら、モデルの学習能力を維持しながら、それを実現できます。

関連論文リスト

• TreeDQN: Learning to minimize Branch-and-Bound tree [78.52895577861327]
  Branch-and-Boundは、Mixed Linear Programsという形で最適化タスクを解決するための便利なアプローチである。 解法の効率は、分割する変数を選択するのに使用される分岐に依存する。 分岐を効率的に学習できる強化学習法を提案する。
  論文  参考訳（メタデータ） (2023-06-09T14:01:26Z)
• Unboxing Tree Ensembles for interpretability: a hierarchical visualization tool and a multivariate optimal re-built tree [0.34530027457862006]
  我々は,木組モデルの解釈可能な表現を開発し,その振る舞いに関する貴重な洞察を提供する。 提案モデルは,木組決定関数を近似した浅い解釈可能な木を得るのに有効である。
  論文  参考訳（メタデータ） (2023-02-15T10:43:31Z)
• Characterizing Intrinsic Compositionality in Transformers with Tree Projections [72.45375959893218]
  トランスのようなニューラルモデルは、入力の異なる部分間で情報を任意にルーティングすることができる。 3つの異なるタスクに対するトランスフォーマーは、トレーニングの過程でより木のようなものになることを示す。 これらの木はモデル挙動を予測し、より木のようなモデルは構成的一般化のテストにおいてより良く一般化する。
  論文  参考訳（メタデータ） (2022-11-02T17:10:07Z)
• R2D2: Recursive Transformer based on Differentiable Tree for Interpretable Hierarchical Language Modeling [36.61173494449218]
  本稿では, 構成過程をエミュレートするために, 微分可能なCKYスタイルのバイナリツリーに基づくモデルを提案する。 我々は、このアーキテクチャに対して双方向言語モデル事前学習の目的を拡張し、左右の抽象ノードを与えられた各単語を予測しようと試みる。 また,本手法を大規模化するために,合成ステップの線形数だけを符号化する効率的な伐採木誘導アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2021-07-02T11:00:46Z)
• Exploring Dynamic Selection of Branch Expansion Orders for Code Generation [43.027059412639]
  Seq2Treeモデルにコンテキストベースのブランチセレクタを装備する。 セレクタは、マルチブランチノードに対するブランチの最適な拡張順序を動的に決定できる。 いくつかの一般的なデータセットに対する実験結果と詳細な分析により,本手法の有効性と汎用性を示した。
  論文  参考訳（メタデータ） (2021-06-01T06:52:41Z)
• Growing Deep Forests Efficiently with Soft Routing and Learned Connectivity [79.83903179393164]
  この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。 我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。 MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
  論文  参考訳（メタデータ） (2020-12-29T18:05:05Z)
• Rethinking Learnable Tree Filter for Generic Feature Transform [71.77463476808585]
  Learnable Tree Filterはセマンティックセグメンテーションのためのモデル構造保存関係に対する顕著なアプローチを示す。 幾何学的制約を緩和するために,マルコフ確率場として再構成して解析を行い,学習可能な不定項を導入する。 セマンティックセグメンテーションでは、ベルとホイッスルなしでCityscapesベンチマークでトップパフォーマンス(82.1% mIoU)を達成しています。
  論文  参考訳（メタデータ） (2020-12-07T07:16:47Z)
• Recursive Top-Down Production for Sentence Generation with Latent Trees [77.56794870399288]
  自然および合成言語に対する文脈自由文法の生成特性をモデル化する。 潜伏二分木構造にN$の葉を持つ動的プログラミングアルゴリズムを提案する。 また,Multi30kデータセットを用いたドイツ語と英語の翻訳実験を行った。
  論文  参考訳（メタデータ） (2020-10-09T17:47:16Z)
• Learning Binary Decision Trees by Argmin Differentiation [34.9154848754842]
  ダウンストリームタスクのためにデータを分割するバイナリ決定木を学びます。 離散パラメータの混合整数プログラムを緩和する。 我々は、前方と後方のパスを効率的に計算するアルゴリズムを考案した。
  論文  参考訳（メタデータ） (2020-10-09T15:11:28Z)
• A Flexible Pipeline for the Optimization of CSG Trees [3.622365857213782]
  CSG木は、ブール集合演算と幾何学的プリミティブを組み合わせて幾何学を表現するための直感的だが強力な技法である。 本稿では,新しい木最適化手法と既存の木最適化手法を体系的に比較し,木編集性を重視したフレキシブルな処理パイプラインを提案する。
  論文  参考訳（メタデータ） (2020-08-09T06:45:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。