Fugu-MT 論文翻訳(概要): Exposing the Functionalities of Neurons for Gated Recurrent Unit Based Sequence-to-Sequence Model

論文の概要: Exposing the Functionalities of Neurons for Gated Recurrent Unit Based Sequence-to-Sequence Model

arxiv url: http://arxiv.org/abs/2303.15072v1
Date: Mon, 27 Mar 2023 10:25:46 GMT
ステータス: 処理完了
システム内更新日: 2023-03-28 16:00:38.588378
Title: Exposing the Functionalities of Neurons for Gated Recurrent Unit Based Sequence-to-Sequence Model
Title（参考訳）: Gated Recurrent Unit Based Sequence-to-Sequence Model におけるニューロン機能の検討
Authors: Yi-Ting Lee, Da-Yi Wu, Chih-Chun Yang, Shou-De Lin
Abstract要約: 本稿では,バニラGRUをベースとしたSeq2Seqモデルがトークン配置を達成できない理由を説明するために,ニューロンレベルの解析を行うことを目的とする。
参考スコア（独自算出の注目度）: 12.268333244760633
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The goal of this paper is to report certain scientific discoveries about a Seq2Seq model. It is known that analyzing the behavior of RNN-based models at the neuron level is considered a more challenging task than analyzing a DNN or CNN models due to their recursive mechanism in nature. This paper aims to provide neuron-level analysis to explain why a vanilla GRU-based Seq2Seq model without attention can achieve token-positioning. We found four different types of neurons: storing, counting, triggering, and outputting and further uncover the mechanism for these neurons to work together in order to produce the right token in the right position.
Abstract（参考訳）: 本論文の目的は,seq2seqモデルに関する科学的発見を報告することである。ニューロンレベルでのRNNモデルの解析は、自然界における再帰的なメカニズムのため、DNNやCNNモデルの解析よりも難しい課題であると考えられている。本稿では,バニラgrを用いたseq2seqモデルがトークン配置を実現する理由を説明するために,ニューロンレベルでの解析を行う。記憶、計数、トリガー、出力の4つの異なる種類のニューロンを発見し、それらのニューロンが協調して正しい位置にある正しいトークンを生成するメカニズムをさらに解明しました。

関連論文リスト

Confidence Regulation Neurons in Language Models [91.90337752432075]
本研究では,大規模言語モデルが次世代の予測において不確実性を表現・規制するメカニズムについて検討する。エントロピーニューロンは異常に高い重量ノルムを特徴とし、最終層正規化(LayerNorm)スケールに影響を与え、ロジットを効果的にスケールダウンさせる。ここで初めて説明するトークン周波数ニューロンは、各トークンのログをそのログ周波数に比例して増加または抑制することで、出力分布をユニグラム分布から遠ざかる。
論文参考訳（メタデータ） (2024-06-24T01:31:03Z)
Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
論文参考訳（メタデータ） (2024-05-24T06:30:36Z)
WaLiN-GUI: a graphical and auditory tool for neuron-based encoding [73.88751967207419]
ニューロモルフィックコンピューティングはスパイクベースのエネルギー効率の高い通信に依存している。本研究では, スパイクトレインへのサンプルベースデータの符号化に適した構成を同定するツールを開発した。 WaLiN-GUIはオープンソースとドキュメントが提供されている。
論文参考訳（メタデータ） (2023-10-25T20:34:08Z)
Neuron to Graph: Interpreting Language Model Neurons at Scale [8.32093320910416]
本稿では,大規模言語モデル内の多数のニューロンにまたがる解釈可能性手法のスケールアップを目的とした,新しい自動化手法を提案する。我々は、トレーニングしたデータセットからニューロンの振る舞いを自動的に抽出し、解釈可能なグラフに変換する革新的なツールであるNeuron to Graph(N2G)を提案する。
論文参考訳（メタデータ） (2023-05-31T14:44:33Z)
Simple and complex spiking neurons: perspectives and analysis in a simple STDP scenario [0.7829352305480283]
スパイキングニューラルネットワーク(SNN)は、生物学や神経科学にヒントを得て、高速で効率的な学習システムを構築する。この研究は、文学における様々なニューロンモデルを考察し、単変数で効率的な計算ニューロンモデルを選択し、様々な種類の複雑さを提示する。我々は, LIF, Quadratic I&F (QIF) および Exponential I&F (EIF) の3つの単純なI&Fニューロンモデルの比較研究を行い, より複雑なモデルの使用によってシステムの性能が向上するかどうかを検証した。
論文参考訳（メタデータ） (2022-06-28T10:01:51Z)
Modeling Implicit Bias with Fuzzy Cognitive Maps [0.0]
本稿では、構造化データセットにおける暗黙バイアスを定量化するファジィ認知マップモデルを提案する。本稿では,ニューロンの飽和を防止する正規化様伝達関数を備えた新しい推論機構を提案する。
論文参考訳（メタデータ） (2021-12-23T17:04:12Z)
The Causal Neural Connection: Expressiveness, Learnability, and Inference [125.57815987218756]
構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
論文参考訳（メタデータ） (2021-07-02T01:55:18Z)
The Neural Coding Framework for Learning Generative Models [91.0357317238509]
本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
論文参考訳（メタデータ） (2020-12-07T01:20:38Z)
Spiking Neural Networks -- Part II: Detecting Spatio-Temporal Patterns [38.518936229794214]
スパイキングニューラルネットワーク(SNN)は、符号化された時間信号で情報を検出するユニークな能力を持つ。 SNNをリカレントニューラルネットワーク(RNN)とみなす支配的アプローチのためのモデルとトレーニングアルゴリズムについてレビューする。スパイキングニューロンの確率モデルに頼り、勾配推定による局所学習規則の導出を可能にする別のアプローチについて述べる。
論文参考訳（メタデータ） (2020-10-27T11:47:42Z)
Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文参考訳（メタデータ） (2020-02-02T21:09:39Z)
Unifying and generalizing models of neural dynamics during decision-making [27.46508483610472]
本稿では,意思決定作業中の神経活動モデリングのための統一フレームワークを提案する。このフレームワークは標準ドリフト拡散モデルを含み、多次元アキュミュレータ、可変および崩壊境界、離散ジャンプなどの拡張を可能にする。
論文参考訳（メタデータ） (2020-01-13T23:57:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。