論文の概要: Memorisation Cartography: Mapping out the Memorisation-Generalisation
Continuum in Neural Machine Translation
- arxiv url: http://arxiv.org/abs/2311.05379v1
- Date: Thu, 9 Nov 2023 14:03:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-10 15:02:25.696136
- Title: Memorisation Cartography: Mapping out the Memorisation-Generalisation
Continuum in Neural Machine Translation
- Title(参考訳): 記憶地図学:神経機械翻訳における記憶一般化連続体のマッピング
- Authors: Verna Dankers, Ivan Titov and Dieuwke Hupkes
- Abstract要約: 我々は, 5M NMTデータポイントを記憶一般化マップ上に配置する資源を構築するために, 反事実記憶量を用いている。
また,NMTにおけるデータポイントの表面レベル特性とモデル毎のトレーニング信号の記憶の予測方法について述べる。
- 参考スコア(独自算出の注目度): 41.816534359921896
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When training a neural network, it will quickly memorise some source-target
mappings from your dataset but never learn some others. Yet, memorisation is
not easily expressed as a binary feature that is good or bad: individual
datapoints lie on a memorisation-generalisation continuum. What determines a
datapoint's position on that spectrum, and how does that spectrum influence
neural models' performance? We address these two questions for neural machine
translation (NMT) models. We use the counterfactual memorisation metric to (1)
build a resource that places 5M NMT datapoints on a memorisation-generalisation
map, (2) illustrate how the datapoints' surface-level characteristics and a
models' per-datum training signals are predictive of memorisation in NMT, (3)
and describe the influence that subsets of that map have on NMT systems'
performance.
- Abstract(参考訳): ニューラルネットワークのトレーニングでは、データセットからソースターゲットマッピングを素早く記憶するが、他を学ぶことはない。
しかし、暗記は良いか悪いかの2項の特徴として簡単には表現されない:個々のデータポイントは暗記-一般化連続体の上に置かれる。
そのスペクトル上のデータポイントの位置を決定するものは何で、そのスペクトルはニューラルモデルのパフォーマンスにどのように影響しますか?
ニューラルネットワーク翻訳(NMT)モデルに対するこれらの2つの疑問に対処する。
本研究では,(1)記憶・一般化マップ上に5m nmtデータポイントを配置するリソースを構築し,(2)データポイントの表面レベル特性とモデル毎のトレーニング信号がどのようにnmtにおける記憶の予測であるかを記述し,(3)そのマップのサブセットがnmtシステムの性能に与える影響を説明する。
関連論文リスト
- Assessing Neural Network Representations During Training Using
Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。
データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。
本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
論文 参考訳(メタデータ) (2023-12-04T01:32:42Z) - Deep Learning for real-time neural decoding of grasp [0.0]
本稿では,ニューラルネットワークの復号化のためのDeep Learningに基づく手法を提案する。
提案手法の主な目的は、これまでの神経科学知識に頼ることなく、最先端の復号精度を改善することである。
論文 参考訳(メタデータ) (2023-11-02T08:26:29Z) - Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。
学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。
In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文 参考訳(メタデータ) (2023-10-17T01:05:28Z) - Selective Memory Recursive Least Squares: Recast Forgetting into Memory
in RBF Neural Network Based Real-Time Learning [2.31120983784623]
放射ベース関数ニューラルネットワーク(RBFNN)に基づくリアルタイム学習タスクでは、忘れるメカニズムが広く使用されている。
本稿では,従来の記憶機構を記憶機構に再キャストする選択記憶再帰最小二乗法(SMRLS)を提案する。
SMRLSでは、RBFNNの入力空間を有限個の分割に均等に分割し、各分割から合成されたサンプルを用いて合成目的関数を開発する。
論文 参考訳(メタデータ) (2022-11-15T05:29:58Z) - Tree Mover's Distance: Bridging Graph Metrics and Stability of Graph
Neural Networks [54.225220638606814]
本稿では,属性グラフの擬似測度,ツリー・モーバー距離(TMD)を提案し,その一般化との関係について検討する。
まず、TMDはグラフ分類に関連する特性をキャプチャし、単純なTMD-SVMは標準のGNNと競合することを示す。
第2に、分散シフトの下でのGNNの一般化とTMDを関連付け、そのようなシフト下での性能低下とよく相関していることを示す。
論文 参考訳(メタデータ) (2022-10-04T21:03:52Z) - Recurrent neural networks that generalize from examples and optimize by
dreaming [0.0]
オンライン学習のためのHebbの処方則に従って,ニューロン間のペア結合が構築される一般化されたホップフィールドネットワークを導入する。
ネットワークエクスペリエンスは、パターン毎にノイズの多いサンプルのサンプルで構成されたデータセットに過ぎません。
注目すべきは、睡眠メカニズムが常に正しく一般化するために必要なデータセットサイズを著しく削減することです。
論文 参考訳(メタデータ) (2022-04-17T08:40:54Z) - Dendritic Self-Organizing Maps for Continual Learning [0.0]
我々は、DendSOM(Dendritic-Self-Organizing Map)と呼ばれる生物学的ニューロンにインスパイアされた新しいアルゴリズムを提案する。
DendSOMは、入力空間の特定の領域からパターンを抽出する単一のSOMからなる。
ベンチマークデータセットでは、古典的なSOMやいくつかの最先端の継続的学習アルゴリズムよりも優れています。
論文 参考訳(メタデータ) (2021-10-18T14:47:19Z) - PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive
Learning [109.84770951839289]
歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。
本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
論文 参考訳(メタデータ) (2021-03-17T08:28:30Z) - Training Binary Neural Networks through Learning with Noisy Supervision [76.26677550127656]
本稿では,ニューラルネットワーク上の二項化操作を学習の観点から定式化する。
ベンチマークデータセットの実験結果から,提案手法がベースラインよりも一貫した改善を達成できることが示唆された。
論文 参考訳(メタデータ) (2020-10-10T01:59:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。