論文の概要: Conditional computation in neural networks: principles and research trends

• arxiv url: http://arxiv.org/abs/2403.07965v2
• Date: Mon, 8 Jul 2024 09:21:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-10 02:19:20.925282
• Title: Conditional computation in neural networks: principles and research trends
• Title（参考訳）: ニューラルネットワークにおける条件計算--原理と研究動向
• Authors: Simone Scardapane, Alessandro Baiocchi, Alessio Devoto, Valerio Marsocci, Pasquale Minervini, Jary Pomponi,
• Abstract要約: 本稿では,ニューラルネットワークの設計にテクトコンディショナリ計算を適用するという,新たな領域の原理とアイデアを要約する。 特に、入力に条件付きで計算グラフの一部を動的に活性化または非活性化するニューラルネットワークに焦点を当てる。
• 参考スコア（独自算出の注目度）: 48.14569369912931
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This article summarizes principles and ideas from the emerging area of applying \textit{conditional computation} methods to the design of neural networks. In particular, we focus on neural networks that can dynamically activate or de-activate parts of their computational graph conditionally on their input. Examples include the dynamic selection of, e.g., input tokens, layers (or sets of layers), and sub-modules inside each layer (e.g., channels in a convolutional filter). We first provide a general formalism to describe these techniques in an uniform way. Then, we introduce three notable implementations of these principles: mixture-of-experts (MoEs) networks, token selection mechanisms, and early-exit neural networks. The paper aims to provide a tutorial-like introduction to this growing field. To this end, we analyze the benefits of these modular designs in terms of efficiency, explainability, and transfer learning, with a focus on emerging applicative areas ranging from automated scientific discovery to semantic communication.
• Abstract（参考訳）: 本稿では,ニューラルネットワークの設計に‘textit{conditional compute} メソッドを適用するという,新たな領域の原理とアイデアを要約する。 特に、入力に条件付きで計算グラフの一部を動的に活性化または非活性化するニューラルネットワークに焦点を当てる。 例えば、入力トークン、レイヤ(またはレイヤの集合)、各レイヤ内のサブモジュール(例えば、畳み込みフィルタのチャネル)の動的選択などです。 まず、これらのテクニックを一様に記述する一般的な形式主義を提供する。 次に、これらの原則の注目すべき実装として、Mix-of-experts(MoEs)ネットワーク、トークン選択機構、早期出力ニューラルネットワークの3つを紹介する。 本論文は,この成長分野に関するチュートリアル的な紹介を提供することを目的としている。 この目的のために,これらのモジュール設計の利点を,自動科学的発見から意味コミュニケーションまで,新たな応用分野に焦点をあてて,効率性,説明可能性,伝達学習の観点から分析する。

関連論文リスト

• Identifying Sub-networks in Neural Networks via Functionally Similar Representations [41.028797971427124]
  我々は、異なるサブネットワークの存在を調査し、ネットワークの理解を自動化するための一歩を踏み出した。 我々のアプローチは、人間と計算コストを最小限に抑えたニューラルネットワークの振る舞いに関する有意義な洞察を提供する。
  論文  参考訳（メタデータ） (2024-10-21T20:19:00Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Feature emergence via margin maximization: case studies in algebraic tasks [4.401622714202886]
  訓練されたニューラルネットワークは、一般群における合成を行うために、既約群理論表現に対応する特徴を用いることを示す。 より一般的に、私たちの技術が、ニューラルネットワークが特定の計算戦略を採用する理由のより深い理解を促進するのに役立つことを願っています。
  論文  参考訳（メタデータ） (2023-11-13T18:56:33Z)
• When Deep Learning Meets Polyhedral Theory: A Survey [6.899761345257773]
  過去10年間で、ディープ・ニューラル・ラーニングの顕著な精度のおかげで、ディープは予測モデリングの一般的な方法論となった。 一方、ニューラルネットワークの構造はより単純で線形な関数に収束した。
  論文  参考訳（メタデータ） (2023-04-29T11:46:53Z)
• Simple initialization and parametrization of sinusoidal networks via their kernel bandwidth [92.25666446274188]
  従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。 まず,このような正弦波ニューラルネットワークの簡易版を提案する。 次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
  論文  参考訳（メタデータ） (2022-11-26T07:41:48Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Analyzing Representations inside Convolutional Neural Networks [8.803054559188048]
  本稿では,ネットワークが学習する概念を,一連の入力例をクラスタリングする方法に基づいて分類するフレームワークを提案する。 このフレームワークは教師なしで、入力機能のためのラベルなしで機能する。 提案手法を広範に評価し,人間の理解しやすさとコヒーレントな概念を創出することを示す。
  論文  参考訳（メタデータ） (2020-12-23T07:10:17Z)
• A Practical Tutorial on Graph Neural Networks [49.919443059032226]
  グラフニューラルネットワーク(GNN)は、人工知能(AI)分野において最近人気が高まっている。 このチュートリアルでは、GNNのパワーとノベルティをAI実践者に公開している。
  論文  参考訳（メタデータ） (2020-10-11T12:36:17Z)
• Spiking Neural Networks Hardware Implementations and Challenges: a Survey [53.429871539789445]
  スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。 スパイキングニューラルネットワークのハードウェア実装の現状について述べる。 本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
  論文  参考訳（メタデータ） (2020-05-04T13:24:00Z)
• Emergence of Network Motifs in Deep Neural Networks [0.35911228556176483]
  ニューラルネットワークの研究にネットワークサイエンスツールをうまく応用できることが示される。 特に,マルチ層パーセプトロンにおけるネットワークモチーフの出現について検討する。
  論文  参考訳（メタデータ） (2019-12-27T17:05:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。