論文の概要: A Closer Look at Branch Classifiers of Multi-exit Architectures

• arxiv url: http://arxiv.org/abs/2204.13347v1
• Date: Thu, 28 Apr 2022 08:37:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-29 13:54:38.946091
• Title: A Closer Look at Branch Classifiers of Multi-exit Architectures
• Title（参考訳）: マルチエグジットアーキテクチャの分岐分類器について
• Authors: Shaohui Lin, Bo Ji, Rongrong Ji, Angela Yao
• Abstract要約: 一定の複雑さのブランチはすべてのブランチを同じに保ちますが、複雑性の増大と複雑性の低下は、それぞれバックボーンの遅かれ早かれ複雑なブランチを配置します。 知識の整合性を利用して,背骨に枝を追加する効果を探索する。 以上の結果から,複雑性が増大する分岐は,背骨の特徴的抽象的階層を最小限に破壊することが明らかとなった。
• 参考スコア（独自算出の注目度）: 103.27533521196817
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-exit architectures consist of a backbone and branch classifiers that offer shortened inference pathways to reduce the run-time of deep neural networks. In this paper, we analyze different branching patterns that vary in their allocation of computational complexity for the branch classifiers. Constant-complexity branching keeps all branches the same, while complexity-increasing and complexity-decreasing branching place more complex branches later or earlier in the backbone respectively. Through extensive experimentation on multiple backbones and datasets, we find that complexity-decreasing branches are more effective than constant-complexity or complexity-increasing branches, which achieve the best accuracy-cost trade-off. We investigate a cause by using knowledge consistency to probe the effect of adding branches onto a backbone. Our findings show that complexity-decreasing branching yields the least disruption to the feature abstraction hierarchy of the backbone, which explains the effectiveness of the branching patterns.
• Abstract（参考訳）: マルチエクイットアーキテクチャは、深いニューラルネットワークの実行時間を短縮する推論経路を短縮するバックボーンとブランチ分類器で構成されている。 本稿では,分岐分類器の計算複雑性の割り当てに異なる分岐パターンを解析する。 一定の複雑度ブランチはすべてのブランチを同じに保ち、複雑さの増大と複雑さの低下はそれぞれバックボーンでより複雑なブランチを配置する。 複数のバックボーンとデータセットに関する広範な実験により、複雑性の低下するブランチは、一定の複雑さや複雑性の増大するブランチよりも効果的であることが判明した。 本稿では,バックボーンにブランチを追加する効果を調べるために,知識一貫性を用いて原因を調査する。 以上の結果から,複雑性が増大する分岐は背骨の特徴的抽象的階層を最小に破壊し,分岐パターンの有効性が説明できる。

関連論文リスト

• Low-Cost Self-Ensembles Based on Multi-Branch Transformation and Grouped Convolution [20.103367702014474]
  本稿では,高い効率と分類性能を実現するために,低コストなアンサンブル学習を提案する。 学習には,教師の信号として出力のアンサンブルを用いた知識蒸留を用いる。 実験結果から,本手法は最先端の分類精度と精度の高い不確実性推定性能を実現することが示された。
  論文  参考訳（メタデータ） (2024-08-05T08:36:13Z)
• TreeDQN: Learning to minimize Branch-and-Bound tree [78.52895577861327]
  Branch-and-Boundは、Mixed Linear Programsという形で最適化タスクを解決するための便利なアプローチである。 解法の効率は、分割する変数を選択するのに使用される分岐に依存する。 分岐を効率的に学習できる強化学習法を提案する。
  論文  参考訳（メタデータ） (2023-06-09T14:01:26Z)
• Improving Out-of-Distribution Generalization of Neural Rerankers with Contextualized Late Interaction [52.63663547523033]
  マルチベクトルの最も単純な形式である後期相互作用は、[]ベクトルのみを使用して類似度スコアを計算する神経リランカにも役立ちます。 異なるモデルサイズと多様な性質の第一段階のレトリバーに一貫性があることが示される。
  論文  参考訳（メタデータ） (2023-02-13T18:42:17Z)
• Reinforcement Learning for Branch-and-Bound Optimisation using Retrospective Trajectories [72.15369769265398]
  機械学習は分岐のための有望なパラダイムとして登場した。 分岐のための単純かつ効果的なRLアプローチであるレトロ分岐を提案する。 我々は現在最先端のRL分岐アルゴリズムを3～5倍に上回り、500の制約と1000の変数を持つMILP上での最高のILメソッドの性能の20%以内である。
  論文  参考訳（メタデータ） (2022-05-28T06:08:07Z)
• Learning to branch with Tree MDPs [6.754135838894833]
  我々は、強化学習(RL)を通して、スクラッチから分岐規則を学習することを提案する。 木マルコフ決定過程 (tree Markov Decision Processes) や木MDP (tree MDPs) を提案する。 我々は,MDPが学習収束を改善するための計算実験を通じて,MILPにおける学習とブランチの問題に対処するための有望な枠組みを提供する。
  論文  参考訳（メタデータ） (2022-05-23T07:57:32Z)
• Structural Analysis of Branch-and-Cut and the Learnability of Gomory Mixed Integer Cuts [88.94020638263467]
  ブランチ・アンド・カット(ブランチ・アンド・カット)として知られる分岐・アンド・バウンドアルゴリズムにおける切断平面の組み入れは、現代の整数計画解法のバックボーンを形成する。 入力整数プログラムに付加される切断平面を定義するパラメータの変化により、アルゴリズムの各ステップがどのように影響を受けるかをピン留めする、分岐切断の新たな構造解析を行う。 この分析の主な応用は、機械学習を用いてブランチ・アンド・カット時にどの切断面を適用するかを決定するためのサンプルの複雑性保証を導出することである。
  論文  参考訳（メタデータ） (2022-04-15T03:32:40Z)
• Towards Bi-directional Skip Connections in Encoder-Decoder Architectures and Beyond [95.46272735589648]
  本稿では,デコードされた機能をエンコーダに戻すための後方スキップ接続を提案する。 我々の設計は、任意のエンコーダ・デコーダアーキテクチャにおいて前方スキップ接続と共同で適用することができる。 本稿では,2相ニューラルネットワーク探索(NAS)アルゴリズム,すなわちBiX-NASを提案する。
  論文  参考訳（メタデータ） (2022-03-11T01:38:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。