論文の概要: Memorisation Cartography: Mapping out the Memorisation-Generalisation
Continuum in Neural Machine Translation
- arxiv url: http://arxiv.org/abs/2311.05379v1
- Date: Thu, 9 Nov 2023 14:03:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-10 15:02:25.696136
- Title: Memorisation Cartography: Mapping out the Memorisation-Generalisation
Continuum in Neural Machine Translation
- Title(参考訳): 記憶地図学:神経機械翻訳における記憶一般化連続体のマッピング
- Authors: Verna Dankers, Ivan Titov and Dieuwke Hupkes
- Abstract要約: 我々は, 5M NMTデータポイントを記憶一般化マップ上に配置する資源を構築するために, 反事実記憶量を用いている。
また,NMTにおけるデータポイントの表面レベル特性とモデル毎のトレーニング信号の記憶の予測方法について述べる。
- 参考スコア(独自算出の注目度): 41.816534359921896
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When training a neural network, it will quickly memorise some source-target
mappings from your dataset but never learn some others. Yet, memorisation is
not easily expressed as a binary feature that is good or bad: individual
datapoints lie on a memorisation-generalisation continuum. What determines a
datapoint's position on that spectrum, and how does that spectrum influence
neural models' performance? We address these two questions for neural machine
translation (NMT) models. We use the counterfactual memorisation metric to (1)
build a resource that places 5M NMT datapoints on a memorisation-generalisation
map, (2) illustrate how the datapoints' surface-level characteristics and a
models' per-datum training signals are predictive of memorisation in NMT, (3)
and describe the influence that subsets of that map have on NMT systems'
performance.
- Abstract(参考訳): ニューラルネットワークのトレーニングでは、データセットからソースターゲットマッピングを素早く記憶するが、他を学ぶことはない。
しかし、暗記は良いか悪いかの2項の特徴として簡単には表現されない:個々のデータポイントは暗記-一般化連続体の上に置かれる。
そのスペクトル上のデータポイントの位置を決定するものは何で、そのスペクトルはニューラルモデルのパフォーマンスにどのように影響しますか?
ニューラルネットワーク翻訳(NMT)モデルに対するこれらの2つの疑問に対処する。
本研究では,(1)記憶・一般化マップ上に5m nmtデータポイントを配置するリソースを構築し,(2)データポイントの表面レベル特性とモデル毎のトレーニング信号がどのようにnmtにおける記憶の予測であるかを記述し,(3)そのマップのサブセットがnmtシステムの性能に与える影響を説明する。
関連論文リスト
- Generalisation First, Memorisation Second? Memorisation Localisation for Natural Language Classification Tasks [33.1099258648462]
記憶は、現実世界のデータから学ぶ自然な部分です。
記憶は局所的なものではなく,段階的なプロセスであることを示す。
論文 参考訳(メタデータ) (2024-08-09T09:30:57Z) - Measuring Feature Dependency of Neural Networks by Collapsing Feature Dimensions in the Data Manifold [18.64569268049846]
ニューラルネットワークモデルの特徴依存性を測定するための新しい手法を提案する。
その動機は、人間が理解可能な機能から情報を使っているかどうかを問うことによって、モデルをよりよく理解することにある。
本手法は,合成画像データに基づいて学習した深層ニューラルネットワークモデルを用いて実験を行った。
論文 参考訳(メタデータ) (2024-04-18T17:10:18Z) - Enhancing Length Extrapolation in Sequential Models with Pointer-Augmented Neural Memory [66.88278207591294]
本稿では,新しいより長いデータ列に対して,ニューラルネットワークによるシンボル処理の理解と適用を支援するために,Pointer-Augmented Neural Memory (PANM)を提案する。
PANMは、新しい物理アドレスとポインタ操作技術を使用して、人間とコンピュータのシンボル処理能力を模倣する外部のニューラルメモリを統合する。
論文 参考訳(メタデータ) (2024-04-18T03:03:46Z) - Assessing Neural Network Representations During Training Using
Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。
データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。
本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
論文 参考訳(メタデータ) (2023-12-04T01:32:42Z) - Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。
学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。
In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文 参考訳(メタデータ) (2023-10-17T01:05:28Z) - Selective Memory Recursive Least Squares: Recast Forgetting into Memory
in RBF Neural Network Based Real-Time Learning [2.31120983784623]
放射ベース関数ニューラルネットワーク(RBFNN)に基づくリアルタイム学習タスクでは、忘れるメカニズムが広く使用されている。
本稿では,従来の記憶機構を記憶機構に再キャストする選択記憶再帰最小二乗法(SMRLS)を提案する。
SMRLSでは、RBFNNの入力空間を有限個の分割に均等に分割し、各分割から合成されたサンプルを用いて合成目的関数を開発する。
論文 参考訳(メタデータ) (2022-11-15T05:29:58Z) - Tree Mover's Distance: Bridging Graph Metrics and Stability of Graph
Neural Networks [54.225220638606814]
本稿では,属性グラフの擬似測度,ツリー・モーバー距離(TMD)を提案し,その一般化との関係について検討する。
まず、TMDはグラフ分類に関連する特性をキャプチャし、単純なTMD-SVMは標準のGNNと競合することを示す。
第2に、分散シフトの下でのGNNの一般化とTMDを関連付け、そのようなシフト下での性能低下とよく相関していることを示す。
論文 参考訳(メタデータ) (2022-10-04T21:03:52Z) - Dendritic Self-Organizing Maps for Continual Learning [0.0]
我々は、DendSOM(Dendritic-Self-Organizing Map)と呼ばれる生物学的ニューロンにインスパイアされた新しいアルゴリズムを提案する。
DendSOMは、入力空間の特定の領域からパターンを抽出する単一のSOMからなる。
ベンチマークデータセットでは、古典的なSOMやいくつかの最先端の継続的学習アルゴリズムよりも優れています。
論文 参考訳(メタデータ) (2021-10-18T14:47:19Z) - Training Binary Neural Networks through Learning with Noisy Supervision [76.26677550127656]
本稿では,ニューラルネットワーク上の二項化操作を学習の観点から定式化する。
ベンチマークデータセットの実験結果から,提案手法がベースラインよりも一貫した改善を達成できることが示唆された。
論文 参考訳(メタデータ) (2020-10-10T01:59:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。