論文の概要: DDNAS: Discretized Differentiable Neural Architecture Search for Text Classification

• arxiv url: http://arxiv.org/abs/2307.06005v1
• Date: Wed, 12 Jul 2023 08:33:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-13 13:51:07.392796
• Title: DDNAS: Discretized Differentiable Neural Architecture Search for Text Classification
• Title（参考訳）: DDNAS: テキスト分類のための離散化微分可能なニューラルアーキテクチャ探索
• Authors: Kuan-Chun Chen, Cheng-Te Li, Kuo-Jung Lee
• Abstract要約: 本稿では,新しいNAS法である離散微分可能ニューラルネットワーク(DDNAS)を提案する。 連続緩和アーキテクチャ表現により、DDNASは勾配勾配を利用して探索を最適化できる。 また,テキスト表現における潜在階層分類をモデル化するために,各検索ノードに課される相互情報を用いた新たな離散化層を提案する。
• 参考スコア（独自算出の注目度）: 9.023847175654602
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Architecture Search (NAS) has shown promising capability in learning text representation. However, existing text-based NAS neither performs a learnable fusion of neural operations to optimize the architecture, nor encodes the latent hierarchical categorization behind text input. This paper presents a novel NAS method, Discretized Differentiable Neural Architecture Search (DDNAS), for text representation learning and classification. With the continuous relaxation of architecture representation, DDNAS can use gradient descent to optimize the search. We also propose a novel discretization layer via mutual information maximization, which is imposed on every search node to model the latent hierarchical categorization in text representation. Extensive experiments conducted on eight diverse real datasets exhibit that DDNAS can consistently outperform the state-of-the-art NAS methods. While DDNAS relies on only three basic operations, i.e., convolution, pooling, and none, to be the candidates of NAS building blocks, its promising performance is noticeable and extensible to obtain further improvement by adding more different operations.
• Abstract（参考訳）: neural architecture search (nas)は、テキスト表現の学習に有望な能力を示している。 しかし、既存のテキストベースのNASは、アーキテクチャを最適化するための学習可能なニューラルネットワークの統合も行わず、テキスト入力の背後にある階層的分類を符号化する。 本稿では,テキスト表現学習と分類のための新しいnas法であるddna(discretized differentiable neural architecture search)を提案する。 アーキテクチャ表現の継続的な緩和により、DDNASは勾配勾配を利用して探索を最適化できる。 また,テキスト表現における潜在階層分類をモデル化するために,各探索ノードに課される相互情報最大化による新しい離散化層を提案する。 8つの多様な実データに対して行われた大規模な実験により、DDNASは最先端のNAS法より一貫して優れていることが示された。 DDNASは、NASビルディングブロックの候補となるために、畳み込み、プーリング、およびなしという3つの基本的な操作しか頼っていないが、その有望な性能は、より異なる操作を追加することでさらなる改善を得るために顕著で拡張可能である。

関連論文リスト

• Efficacy of Neural Prediction-Based Zero-Shot NAS [0.04096453902709291]
  ディープラーニングを用いたゼロショットニューラルアーキテクチャ探索(NAS)の新しい手法を提案する。 提案手法では,畳み込みカーネルを符号化した罪のフーリエ和を用いて,評価対象のアーキテクチャに類似した構造を持つ計算フィードフォワードグラフの構築を可能にする。 実験の結果,NAS-Bench-201データセットの相関関係から,グラフ畳み込みネットワークを用いた従来の手法よりも高い収束率を示すことがわかった。
  論文  参考訳（メタデータ） (2023-08-31T14:54:06Z)
• Meta-prediction Model for Distillation-Aware NAS on Unseen Datasets [55.2118691522524]
  Distillation-Aware Neural Architecture Search (DaNAS) は、最適な学生アーキテクチャを探すことを目的としている。 本稿では,あるアーキテクチャの最終的な性能をデータセット上で予測できる,蒸留対応のメタ精度予測モデルDaSSを提案する。
  論文  参考訳（メタデータ） (2023-05-26T14:00:35Z)
• GeNAS: Neural Architecture Search with Better Generalization [14.92869716323226]
  最近のニューラルアーキテクチャサーチ(NAS)アプローチは、対象データに対して優れたネットワークを見つけるために、検証損失または精度に依存している。 そこで本研究では,より一般化した探索型アーキテクチャのためのニューラルアーキテクチャ探索手法について検討する。
  論文  参考訳（メタデータ） (2023-05-15T12:44:54Z)
• NASiam: Efficient Representation Learning using Neural Architecture Search for Siamese Networks [76.8112416450677]
  シームズネットワークは、自己教師付き視覚表現学習(SSL)を実現するための最も傾向のある方法の1つである。 NASiamは、初めて微分可能なNASを使用して、多層パーセプトロンプロジェクタと予測器(エンコーダ/予測器ペア)を改善する新しいアプローチである。 NASiamは、小規模(CIFAR-10/CIFAR-100)と大規模(画像Net)画像分類データセットの両方で競合性能を達成し、わずか数GPU時間しかかからない。
  論文  参考訳（メタデータ） (2023-01-31T19:48:37Z)
• UnrealNAS: Can We Search Neural Architectures with Unreal Data? [84.78460976605425]
  ニューラルアーキテクチャサーチ(NAS)はディープニューラルネットワーク(DNN)の自動設計において大きな成功を収めた。 これまでの研究は、NASに地道ラベルを持つことの必要性を分析し、幅広い関心を喚起した。 NASが有効であるためには、実際のデータが必要であるかどうか、さらに疑問を呈する。
  論文  参考訳（メタデータ） (2022-05-04T16:30:26Z)
• HyperSegNAS: Bridging One-Shot Neural Architecture Search with 3D Medical Image Segmentation using HyperNet [51.60655410423093]
  医用画像セグメンテーションのためのワンショットニューラルアーキテクチャサーチ(NAS)を実現するためにHyperSegNASを導入する。 従来のSOTA(State-of-the-art)セグメンテーションネットワークと比較して,HyperSegNASの方がパフォーマンスが高く,直感的なアーキテクチャが得られることを示す。 本手法は,MSD (Messical Decathlon) 課題の公開データセットを用いて評価し,SOTAの性能評価を行う。
  論文  参考訳（メタデータ） (2021-12-20T16:21:09Z)
• NAS-Bench-360: Benchmarking Diverse Tasks for Neural Architecture Search [18.9676056830197]
  既存のニューラルアーキテクチャサーチ(NAS)ベンチマークとアルゴリズムは、よく研究されたタスクのパフォーマンスを優先している。 我々は、畳み込みニューラルネットワーク(CNN)のための最先端NAS手法を評価するベンチマークスイートであるNAS-Bench-360を提案する。
  論文  参考訳（メタデータ） (2021-10-12T01:13:18Z)
• Neural Architecture Search on ImageNet in Four GPU Hours: A Theoretically Inspired Perspective [88.39981851247727]
  トレーニングフリーニューラルアーキテクチャサーチ(TE-NAS)という新しいフレームワークを提案する。 TE-NASは、ニューラルネットワークカーネル(NTK)のスペクトルと入力空間内の線形領域の数を分析することによってアーキテクチャをランク付けする。 1) この2つの測定はニューラルネットワークのトレーサビリティと表現性を示し, (2) ネットワークのテスト精度と強く相関することを示した。
  論文  参考訳（メタデータ） (2021-02-23T07:50:44Z)
• Evaluating the Effectiveness of Efficient Neural Architecture Search for Sentence-Pair Tasks [14.963150544536203]
  ニューラルアーキテクチャサーチ(NAS)手法は、最近、様々な自然言語処理やコンピュータビジョンタスクにおいて、競争または最先端(SOTA)のパフォーマンスを達成した。 本研究では,SOTANASアルゴリズム(Efficient Neural Architecture Search, ENAS)の2つの文対タスクへの適用性について検討する。
  論文  参考訳（メタデータ） (2020-10-08T20:26:34Z)
• NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture Search [55.12928953187342]
  我々は,NAS-Bench-101:NAS-Bench-201の拡張を提案する。 NAS-Bench-201は固定探索空間を持ち、最新のNASアルゴリズムのほとんどすべてに統一されたベンチマークを提供する。 我々はNASアルゴリズムの新しい設計にインスピレーションを与えることができる微粒化損失や精度などの付加的な診断情報を提供する。
  論文  参考訳（メタデータ） (2020-01-02T05:28:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。