論文の概要: Conditional Information Gain Trellis

• arxiv url: http://arxiv.org/abs/2402.08345v2
• Date: Mon, 8 Jul 2024 14:18:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-10 02:38:52.684493
• Title: Conditional Information Gain Trellis
• Title（参考訳）: 条件情報ゲイントレリス
• Authors: Ufuk Can Bicici, Tuna Han Salih Meral, Lale Akarun,
• Abstract要約: 条件計算は、ニューラルネットワークの計算ユニットの一部のみを使用して入力を処理する。 深層畳み込みニューラルネットワークにおける特定の実行パスを生成するために,トレリスに基づくアプローチを用いる。 条件付き実行機構は,非条件付きベースラインと比較して,同等あるいは優れたモデル性能が得られることを示す。
• 参考スコア（独自算出の注目度）: 1.290382979353427
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conditional computing processes an input using only part of the neural network's computational units. Learning to execute parts of a deep convolutional network by routing individual samples has several advantages: Reducing the computational burden is an obvious advantage. Furthermore, if similar classes are routed to the same path, that part of the network learns to discriminate between finer differences and better classification accuracies can be attained with fewer parameters. Recently, several papers have exploited this idea to take a particular child of a node in a tree-shaped network or to skip parts of a network. In this work, we follow a Trellis-based approach for generating specific execution paths in a deep convolutional neural network. We have designed routing mechanisms that use differentiable information gain-based cost functions to determine which subset of features in a convolutional layer will be executed. We call our method Conditional Information Gain Trellis (CIGT). We show that our conditional execution mechanism achieves comparable or better model performance compared to unconditional baselines, using only a fraction of the computational resources.
• Abstract（参考訳）: 条件計算は、ニューラルネットワークの計算ユニットの一部のみを使用して入力を処理する。 個々のサンプルをルーティングすることで、ディープ畳み込みネットワークの一部を実行することを学ぶことには、いくつかの利点がある。 さらに、類似したクラスが同じ経路にルーティングされると、ネットワークの一部がより微細な違いとより良い分類精度の区別を学習し、より少ないパラメータで達成できる。 最近、いくつかの論文がこのアイデアを利用して、木のようなネットワーク内のノードの特定の子をつかむか、ネットワークの一部をスキップする。 本研究では、深層畳み込みニューラルネットワークにおいて、特定の実行パスを生成するトレリスに基づくアプローチに従う。 我々は,情報ゲインに基づくコスト関数を用いて,畳み込み層のどのサブセットが実行されるかを決定するルーティング機構を設計した。 本研究では,条件情報ゲイントレリス (CIGT) と呼ぶ。 条件付き実行機構は,計算資源のごく一部を用いて,非条件付きベースラインと比較して,同等あるいは優れたモデル性能を実現することを示す。

関連論文リスト

• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• Neural Network Pruning Through Constrained Reinforcement Learning [3.2880869992413246]
  本稿では,ニューラルネットワークを解析するための一般的な手法を提案する。 提案手法は、事前に定義された計算予算を尊重するためにニューラルネットワークを創出することができる。 標準画像分類データセットにおける最先端手法との比較により,提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2021-10-16T11:57:38Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• The Connection Between Approximation, Depth Separation and Learnability in Neural Networks [70.55686685872008]
  学習可能性と近似能力の関係について検討する。 対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
  論文  参考訳（メタデータ） (2021-01-31T11:32:30Z)
• Inductive Graph Embeddings through Locality Encodings [0.42970700836450487]
  ドメイン依存のノード/エッジ属性を使わずに,大規模ネットワークにインダクティブネットワークを組み込むことの問題点を考察する。 本稿では,学習アルゴリズムの基盤として,基本的定義済みの局所符号化を用いることを提案する。 本手法は,役割検出,リンク予測,ノード分類などのタスクにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-09-26T13:09:11Z)
• ReMarNet: Conjoint Relation and Margin Learning for Small-Sample Image Classification [49.87503122462432]
  ReMarNet(Relation-and-Margin Learning Network)と呼ばれるニューラルネットワークを導入する。 本手法は,上記2つの分類機構の双方において優れた性能を発揮する特徴を学習するために,異なるバックボーンの2つのネットワークを組み立てる。 4つの画像データセットを用いた実験により,本手法はラベル付きサンプルの小さな集合から識別的特徴を学習するのに有効であることが示された。
  論文  参考訳（メタデータ） (2020-06-27T13:50:20Z)
• Online Sequential Extreme Learning Machines: Features Combined From Hundreds of Midlayers [0.0]
  本稿では階層型オンラインシーケンシャル学習アルゴリズム(H-OS-ELM)を提案する。 アルゴリズムは、一定のブロックサイズまたは異なるブロックサイズでチャンクごとにチャンクを学習することができる。
  論文  参考訳（メタデータ） (2020-06-12T00:50:04Z)
• Finite Difference Neural Networks: Fast Prediction of Partial Differential Equations [5.575293536755126]
  データから偏微分方程式を学習するための新しいニューラルネットワークフレームワークである有限差分ニューラルネットワーク(FDNet)を提案する。 具体的には、トラジェクトリデータから基礎となる偏微分方程式を学習するために提案した有限差分ネットワークを設計する。
  論文  参考訳（メタデータ） (2020-06-02T19:17:58Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。