Fugu-MT 論文翻訳(概要): Relational Composition in Neural Networks: A Survey and Call to Action

論文の概要: Relational Composition in Neural Networks: A Survey and Call to Action

arxiv url: http://arxiv.org/abs/2407.14662v1
Date: Fri, 19 Jul 2024 20:50:57 GMT
ステータス: 処理完了
システム内更新日: 2024-07-23 21:33:49.308293
Title: Relational Composition in Neural Networks: A Survey and Call to Action
Title（参考訳）: ニューラルネットワークにおける関係構成:調査と行動への呼びかけ
Authors: Martin Wattenberg, Fernanda B. Viégas,
Abstract要約: 多くのニューラルネットは、データを「機能ベクトル」の線形結合として表現しているように見える。我々は、この成功は関係性の構成を理解せずに不完全であると主張する。
参考スコア（独自算出の注目度）: 54.47858085003077
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Many neural nets appear to represent data as linear combinations of "feature vectors." Algorithms for discovering these vectors have seen impressive recent success. However, we argue that this success is incomplete without an understanding of relational composition: how (or whether) neural nets combine feature vectors to represent more complicated relationships. To facilitate research in this area, this paper offers a guided tour of various relational mechanisms that have been proposed, along with preliminary analysis of how such mechanisms might affect the search for interpretable features. We end with a series of promising areas for empirical research, which may help determine how neural networks represent structured data.
Abstract（参考訳）: 多くのニューラルネットは、データを「機能ベクトル」の線形結合として表現しているように見える。これらのベクトルを発見するアルゴリズムは、近年顕著な成功を収めている。しかし、ニューラルネットワークが特徴ベクトルをどのように組み合わせて、より複雑な関係を表現するかという、関係性の構成を理解することなく、この成功は不完全である、と我々は論じる。本稿では,本手法が解釈可能な特徴の探索にどのように影響するかを予備分析すると共に,これまでに提案されてきた様々な関係メカニズムのガイド付きツアーについて述べる。ニューラルネットワークが構造化データの表現方法を決定するのに役立つかもしれない。

関連論文リスト

Discovering Chunks in Neural Embeddings for Interpretability [53.80157905839065]
本稿では, チャンキングの原理を応用して, 人工神経集団活動の解釈を提案する。まず、この概念を正則性を持つ人工シーケンスを訓練したリカレントニューラルネットワーク(RNN)で実証する。我々は、これらの状態に対する摂動が関連する概念を活性化または阻害すると共に、入力における概念に対応する同様の繰り返し埋め込み状態を特定する。
論文参考訳（メタデータ） (2025-02-03T20:30:46Z)
Explainable Neural Networks with Guarantees: A Sparse Estimation Approach [11.142723510517778]
本稿では,予測性と説明可能性に調和した説明可能なニューラルネットワークを構築するための新しいアプローチを提案する。我々のモデルはSparXnetと呼ばれ、共同学習された特徴のスパースセットの線形結合として設計されている。我々の研究は、スパースニューラルネットワークと説明可能なニューラルネットワークのさらなる研究の道を開く。
論文参考訳（メタデータ） (2025-01-02T12:10:17Z)
Interpreting Neural Networks through Mahalanobis Distance [0.0]
本稿では,ニューラルネットワークの線形層とマハラノビス距離を結合する理論的枠組みを提案する。この研究は理論的であり、経験的データを含んでいないが、提案された距離に基づく解釈は、モデルロバスト性を高め、一般化を改善し、ニューラルネットワークの決定をより直観的な説明を提供する可能性がある。
論文参考訳（メタデータ） (2024-10-25T07:21:44Z)
Coding schemes in neural networks learning classification tasks [52.22978725954347]
完全接続型広義ニューラルネットワーク学習タスクについて検討する。ネットワークが強力なデータ依存機能を取得することを示す。驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
論文参考訳（メタデータ） (2024-06-24T14:50:05Z)
Neuro-symbolic computing with spiking neural networks [0.6035125735474387]
我々は、スパイクベースのグラフアルゴリズムに関するこれまでの研究を、スパイクニューロンを用いてシンボリックおよびマルチリレーショナル情報をエンコードする方法を実証することによって拡張した。導入されたフレームワークは、グラフ埋め込みパラダイムと、エラーバックプロパゲーションを用いたスパイクニューラルネットワークのトレーニングの最近の進歩を組み合わせることで実現されている。
論文参考訳（メタデータ） (2022-08-04T10:49:34Z)
On Neural Architecture Inductive Biases for Relational Tasks [76.18938462270503]
合成ネットワーク一般化(CoRelNet)と呼ばれる類似度分布スコアに基づく簡単なアーキテクチャを導入する。単純なアーキテクチャの選択は、分布外一般化において既存のモデルより優れていることが分かる。
論文参考訳（メタデータ） (2022-06-09T16:24:01Z)
Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文参考訳（メタデータ） (2022-02-01T17:11:13Z)
A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文参考訳（メタデータ） (2021-04-29T14:31:09Z)
Investigating the Compositional Structure Of Deep Neural Networks [1.8899300124593645]
本稿では,一方向線形活性化関数の構成構造に基づく新しい理論的枠組みを提案する。予測ラベルと予測に使用する特定の(線形)変換の両方に関して、入力データのインスタンスを特徴付けることができる。 MNISTデータセットの予備テストでは、ニューラルネットワークの内部表現における類似性に関して、入力インスタンスをグループ化することが可能である。
論文参考訳（メタデータ） (2020-02-17T14:16:17Z)
Neural Rule Ensembles: Encoding Sparse Feature Interactions into Neural Networks [3.7277730514654555]
決定木を用いて、関連する特徴とその相互作用をキャプチャし、抽出した関係をニューラルネットワークにエンコードするマッピングを定義する。同時に、機能選択により、アートツリーベースのアプローチの状況と比較して、コンパクトな表現の学習が可能になる。
論文参考訳（メタデータ） (2020-02-11T11:22:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。