論文の概要: Comply: Learning Sentences with Complex Weights inspired by Fruit Fly Olfaction

• arxiv url: http://arxiv.org/abs/2502.01706v1
• Date: Mon, 03 Feb 2025 13:30:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:06:34.743169
• Title: Comply: Learning Sentences with Complex Weights inspired by Fruit Fly Olfaction
• Title（参考訳）: まとめ:Fruit Fly Olfactionに触発された複雑な重みを持つ学習文
• Authors: Alexei Figueroa, Justus Westerhoff, Atefi Golzar, Dennis Fast, Benjamin Winter, Felix Alexader Gers, Alexander Löser, Wolfang Nejdl,
• Abstract要約: シーケンス表現を学習するニューラルネットワークComplyを紹介する。 FlyVecは、ハエの嗅覚回路からインスピレーションを得て、単語の埋め込みを学習する。 実験の結果,ComplyはFlyVecに取って代わるだけでなく,最先端モデルに匹敵する性能を示した。
• 参考スコア（独自算出の注目度）: 35.15031511493073
• License:
• Abstract: Biologically inspired neural networks offer alternative avenues to model data distributions. FlyVec is a recent example that draws inspiration from the fruit fly's olfactory circuit to tackle the task of learning word embeddings. Surprisingly, this model performs competitively even against deep learning approaches specifically designed to encode text, and it does so with the highest degree of computational efficiency. We pose the question of whether this performance can be improved further. For this, we introduce Comply. By incorporating positional information through complex weights, we enable a single-layer neural network to learn sequence representations. Our experiments show that Comply not only supersedes FlyVec but also performs on par with significantly larger state-of-the-art models. We achieve this without additional parameters. Comply yields sparse contextual representations of sentences that can be interpreted explicitly from the neuron weights.
• Abstract（参考訳）: 生物学的にインスパイアされたニューラルネットワークは、データ分散をモデル化するための代替手段を提供する。 FlyVecは、ハエの嗅覚回路からインスピレーションを得て、単語の埋め込みを学習するタスクに取り組む最近の例である。 驚くべきことに、このモデルはテキストを符号化する深層学習アプローチに対してさえ競争力があり、高い計算効率で実行することができる。 我々は、このパフォーマンスをさらに改善できるかどうかという疑問を提起する。 これについて、Complyを紹介します。 複雑な重みを通して位置情報を組み込むことで、単一層ニューラルネットワークがシーケンス表現を学習できるようにする。 実験の結果,ComplyはFlyVecに取って代わるだけでなく,最先端モデルに匹敵する性能を示した。 追加のパラメータなしでこれを達成する。 補足すると、ニューロンの重みから明示的に解釈できる文の簡潔な文脈表現が得られる。

関連論文リスト

• Neural Metamorphosis [72.88137795439407]
  本稿では,ニューラル・メタモルファス(NeuMeta)と呼ばれる,自己変形可能なニューラルネットワークの構築を目的とした新たな学習パラダイムを提案する。 NeuMetaはニューラルネットワークの連続重み多様体を直接学習する。 75%の圧縮速度でもフルサイズの性能を維持する。
  論文  参考訳（メタデータ） (2024-10-10T14:49:58Z)
• Modular Neural Network Approaches for Surgical Image Recognition [0.0]
  本稿では,DCSS不安定性分類のためのモジュール型学習の異なるアーキテクチャを導入,評価する。 実験の結果,モジュール型学習は非モジュール型システムと比較して性能が向上することがわかった。 第2部では,肩関節鏡画像への自己訓練によるデータラベリングとセグメンテーションのアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-17T22:28:16Z)
• The Role Of Biology In Deep Learning [0.0]
  この研究は、その歴史の一部を要約し、現代の理論神経科学をディープラーニングの分野から人工ニューラルネットワークの実験に取り入れている。 特に、反復等級プルーニングは、性能を損なうことなく、33倍の重量で疎結合ネットワークを訓練するために用いられる。 これらは、重量空間だけで画像ノイズの堅牢性を改善するという仮説をテストし、最終的に否定するために使用される。
  論文  参考訳（メタデータ） (2022-09-07T23:22:57Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Leveraging Sparse Linear Layers for Debuggable Deep Networks [86.94586860037049]
  学習した深い特徴表現に疎い線形モデルを適用することで、よりデバッグ可能なニューラルネットワークを実現する方法を示す。 その結果、スパースな説明は、スプリアス相関を特定し、誤分類を説明し、視覚および言語タスクにおけるモデルバイアスを診断するのに役立ちます。
  論文  参考訳（メタデータ） (2021-05-11T08:15:25Z)
• A Novel Deep Learning Method for Textual Sentiment Analysis [3.0711362702464675]
  本稿では,階層的注意層を統合した畳み込みニューラルネットワークを提案する。 提案モデルでは,分類精度が高く,情報的単語を抽出できる。 インクリメンタル転送学習を適用すると、分類性能が大幅に向上します。
  論文  参考訳（メタデータ） (2021-02-23T12:11:36Z)
• Learning compositional functions via multiplicative weight updates [97.9457834009578]
  乗算重み更新は構成関数に合わせた降下補題を満たすことを示す。 マダムは、学習率のチューニングなしに、最先端のニューラルネットワークアーキテクチャをトレーニングできることを示す。
  論文  参考訳（メタデータ） (2020-06-25T17:05:19Z)
• Multi-Step Inference for Reasoning Over Paragraphs [95.91527524872832]
  テキスト上の複雑な推論には、自由形式の述語と論理的な連結体を理解し、連鎖する必要がある。 本稿では,ニューラルネットワークを連想させる構成モデルを提案する。
  論文  参考訳（メタデータ） (2020-04-06T21:12:53Z)
• Adaptive Explainable Neural Networks (AxNNs) [8.949704905866888]
  我々は、予測性能とモデル解釈可能性の両目標を達成するために、Adaptive Explainable Neural Networks (AxNN) と呼ばれる新しいフレームワークを開発した。 予測性能向上のために,一般化された付加的モデルネットワークと付加的インデックスモデルからなる構造化ニューラルネットワークを構築した。 本稿では,AxNNの結果を主効果と高次相互作用効果に分解する方法を示す。
  論文  参考訳（メタデータ） (2020-04-05T23:40:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。