論文の概要: Automated Search for Resource-Efficient Branched Multi-Task Networks

• arxiv url: http://arxiv.org/abs/2008.10292v2
• Date: Tue, 11 May 2021 17:58:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 11:58:49.984043
• Title: Automated Search for Resource-Efficient Branched Multi-Task Networks
• Title（参考訳）: 資源効率の高い分岐型マルチタスクネットワークの自動探索
• Authors: David Bruggemann, Menelaos Kanakis, Stamatios Georgoulis, Luc Van Gool
• Abstract要約: 我々は,多タスクニューラルネットワークにおける分岐構造を自動的に定義する,微分可能なニューラルネットワーク探索に根ざした原理的アプローチを提案する。 本手法は,限られた資源予算内で高い性能の分岐構造を見いだすことができる。
• 参考スコア（独自算出の注目度）: 81.48051635183916
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The multi-modal nature of many vision problems calls for neural network architectures that can perform multiple tasks concurrently. Typically, such architectures have been handcrafted in the literature. However, given the size and complexity of the problem, this manual architecture exploration likely exceeds human design abilities. In this paper, we propose a principled approach, rooted in differentiable neural architecture search, to automatically define branching (tree-like) structures in the encoding stage of a multi-task neural network. To allow flexibility within resource-constrained environments, we introduce a proxyless, resource-aware loss that dynamically controls the model size. Evaluations across a variety of dense prediction tasks show that our approach consistently finds high-performing branching structures within limited resource budgets.
• Abstract（参考訳）: 多くのビジョン問題のマルチモーダルな性質は、複数のタスクを同時に実行できるニューラルネットワークアーキテクチャを要求する。 典型的には、このような建築は文学で手作りされている。 しかし、問題の規模と複雑さを考えると、この手動アーキテクチャの探索は人間の設計能力を超える可能性が高い。 本稿では,多タスクニューラルネットワークの符号化段階における分岐構造(ツリー様)を自動的に定義する,微分可能なニューラルネットワーク探索に根ざした原理的アプローチを提案する。 リソース制約環境における柔軟性を実現するために,モデルサイズを動的に制御するプロキシレスなリソースアウェアロスを導入する。 各種の密集予測タスクに対する評価は, 資源予算が限られている中で, 高い性能の分岐構造が常に見つかることを示している。

関連論文リスト

• EM-DARTS: Hierarchical Differentiable Architecture Search for Eye Movement Recognition [54.99121380536659]
  眼球運動バイオメトリックスは、高い安全性の識別により注目されている。 深層学習(DL)モデルは近年,眼球運動認識に成功している。 DLアーキテクチャはまだ人間の事前知識によって決定されている。 眼球運動認識のためのDLアーキテクチャを自動設計する階層的微分可能なアーキテクチャ探索アルゴリズムEM-DARTSを提案する。
  論文  参考訳（メタデータ） (2024-09-22T13:11:08Z)
• Task Agnostic Architecture for Algorithm Induction via Implicit Composition [10.627575117586417]
  本研究の目的は,このような統一アーキテクチャの構築を探求することであり,その構築方法に関する理論的枠組みを提案することである。 最近のジェネレーティブAI、特にトランスフォーマーベースのモデルは、幅広い領域のアルゴリズムを構築することができるアーキテクチャとしての可能性を示している。 アルゴリズム合成におけるトランスフォーマーおよび他の手法の現在の機能と限界について検討する。
  論文  参考訳（メタデータ） (2024-04-03T04:31:09Z)
• DQNAS: Neural Architecture Search using Reinforcement Learning [6.33280703577189]
  畳み込みニューラルネットワークは様々な画像関連アプリケーションで使われている。 本稿では,強化学習の原則を取り入れた,ニューラルネットワークの自動探索フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-01-17T04:01:47Z)
• Avoiding Catastrophe: Active Dendrites Enable Multi-Task Learning in Dynamic Environments [0.5277756703318046]
  AIの鍵となる課題は、動的に変化する環境で動作する組み込みシステムを構築することだ。 標準的なディープラーニングシステムは、しばしば動的なシナリオで苦労する。 本稿では生物学的にインスパイアされたアーキテクチャをソリューションとして検討する。
  論文  参考訳（メタデータ） (2021-12-31T19:52:42Z)
• Learning Interpretable Models Through Multi-Objective Neural Architecture Search [0.9990687944474739]
  本稿では,タスク性能と「イントロスペクタビリティ」の両方を最適化するフレームワークを提案する。 タスクエラーとイントロスペクタビリティを共同で最適化することは、エラー内で実行されるより不整合でデバッグ可能なアーキテクチャをもたらすことを実証する。
  論文  参考訳（メタデータ） (2021-12-16T05:50:55Z)
• Elastic Architecture Search for Diverse Tasks with Different Resources [87.23061200971912]
  本研究では,異なるリソースを持つ多様なタスクを効率的に配置する上で,クラス群に対応するリソース制約や関心のタスクをテスト時に動的に指定する,新たな課題について検討する。 従来のNASアプローチでは、全てのクラスのアーキテクチャを同時に設計することを模索しており、これはいくつかの個別のタスクに最適ではないかもしれない。 本稿では、様々なリソース制約のある多様なタスクに対して、実行時に即時特殊化を可能にする、Elastic Architecture Search (EAS)と呼ばれる斬新で一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-03T00:54:27Z)
• Joint Learning of Neural Transfer and Architecture Adaptation for Image Recognition [77.95361323613147]
  現在の最先端の視覚認識システムは、大規模データセット上でニューラルネットワークを事前トレーニングし、より小さなデータセットでネットワーク重みを微調整することに依存している。 本稿では,各ドメインタスクに適応したネットワークアーキテクチャの動的適応と,効率と効率の両面で重みの微調整の利点を実証する。 本手法は,ソースドメインタスクでスーパーネットトレーニングを自己教師付き学習に置き換え,下流タスクで線形評価を行うことにより,教師なしパラダイムに容易に一般化することができる。
  論文  参考訳（メタデータ） (2021-03-31T08:15:17Z)
• NAS-Navigator: Visual Steering for Explainable One-Shot Deep Neural Network Synthesis [53.106414896248246]
  本稿では,分析者がドメイン知識を注入することで,解のサブグラフ空間を効果的に構築し,ネットワーク探索をガイドするフレームワークを提案する。 このテクニックを反復的に適用することで、アナリストは、与えられたアプリケーションに対して最高のパフォーマンスのニューラルネットワークアーキテクチャに収束することができる。
  論文  参考訳（メタデータ） (2020-09-28T01:48:45Z)
• Deep Multimodal Neural Architecture Search [178.35131768344246]
  様々なマルチモーダル学習タスクのための一般化された深層マルチモーダルニューラルアーキテクチャサーチ(MMnas)フレームワークを考案する。 マルチモーダル入力が与えられたら、まずプリミティブ演算のセットを定義し、その後、ディープエンコーダ-デコーダベースの統一バックボーンを構築する。 統合されたバックボーンの上にタスク固有のヘッドをアタッチして、異なるマルチモーダル学習タスクに取り組む。
  論文  参考訳（メタデータ） (2020-04-25T07:00:32Z)
• Dataless Model Selection with the Deep Frame Potential [45.16941644841897]
  ネットワークをその固有の能力で定量化し、ユニークでロバストな表現を行う。 本稿では,表現安定性にほぼ関係するが,ネットワーク構造にのみ依存する最小限のコヒーレンス尺度であるディープフレームポテンシャルを提案する。 モデル選択の基準としての利用を検証するとともに,ネットワークアーキテクチャの多種多様な残差および密結合化について,一般化誤差との相関性を示す。
  論文  参考訳（メタデータ） (2020-03-30T23:27:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。