論文の概要: Understanding attention-based encoder-decoder networks: a case study with chess scoresheet recognition

• arxiv url: http://arxiv.org/abs/2406.06538v1
• Date: Tue, 23 Apr 2024 16:23:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-01 08:00:19.039525
• Title: Understanding attention-based encoder-decoder networks: a case study with chess scoresheet recognition
• Title（参考訳）: 注意に基づくエンコーダ・デコーダネットワークの理解--チェススコアシート認識を用いたケーススタディ
• Authors: Sergio Y. Hayashi, Nina S. T. Hirata,
• Abstract要約: 本研究では,手書きチェスのスコアシートを読み取るための注意機構を備えたエンコーダ・デコーダ・リカレントニューラルネットワークについて検討する。 本稿では,3つのサブタスク,すなわち入力出力アライメント,シーケンシャルパターン認識,手書き文字認識を特徴付ける。 このような知識は、ネットワークを適切にトレーニングする要因のバランスを改善する上で有効である、と私たちは主張する。
• 参考スコア（独自算出の注目度）: 0.36832029288386137
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks are largely used for complex prediction tasks. There is plenty of empirical evidence of their successful end-to-end training for a diversity of tasks. Success is often measured based solely on the final performance of the trained network, and explanations on when, why and how they work are less emphasized. In this paper we study encoder-decoder recurrent neural networks with attention mechanisms for the task of reading handwritten chess scoresheets. Rather than prediction performance, our concern is to better understand how learning occurs in these type of networks. We characterize the task in terms of three subtasks, namely input-output alignment, sequential pattern recognition, and handwriting recognition, and experimentally investigate which factors affect their learning. We identify competition, collaboration and dependence relations between the subtasks, and argue that such knowledge might help one to better balance factors to properly train a network.
• Abstract（参考訳）: ディープニューラルネットワークは主に複雑な予測タスクに使用される。 さまざまなタスクに対するエンドツーエンドのトレーニングが成功したという実証的な証拠はたくさんあります。 成功はしばしば、トレーニングされたネットワークの最終的なパフォーマンスのみに基づいて測定され、いつ、なぜ、どのように機能するかが強調されないかを説明します。 本稿では,手書きチェスのスコアシートを読み取るための注意機構を備えたエンコーダ・デコーダ・リカレントニューラルネットワークについて検討する。 我々の関心事は、パフォーマンスを予測するのではなく、この種のネットワークで学習がどのように起こるのかをよりよく理解することである。 本研究では,入力出力アライメント,逐次パターン認識,手書き認識という3つのサブタスクを特徴付け,学習に影響する要因を実験的に検討する。 我々は、サブタスク間の競合、コラボレーション、依存関係を識別し、そのような知識がネットワークを適切に訓練する要因のバランスを改善するのに役立つと論じる。

関連論文リスト

• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Evaluating the structure of cognitive tasks with transfer learning [67.22168759751541]
  本研究では,脳波復号処理における深層学習表現の伝達可能性について検討した。 最近リリースされた2つのEEGデータセット上で、最先端デコードモデルを用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2023-07-28T14:51:09Z)
• Provable Guarantees for Nonlinear Feature Learning in Three-Layer Neural Networks [49.808194368781095]
  3層ニューラルネットワークは,2層ネットワークよりも特徴学習能力が豊富であることを示す。 この研究は、特徴学習体制における2層ネットワーク上の3層ニューラルネットワークの証明可能なメリットを理解するための前進である。
  論文  参考訳（メタデータ） (2023-05-11T17:19:30Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• Quasi-orthogonality and intrinsic dimensions as measures of learning and generalisation [55.80128181112308]
  ニューラルネットワークの特徴空間の次元性と準直交性は、ネットワークの性能差別と共同して機能する可能性があることを示す。 本研究は, ネットワークの最終的な性能と, ランダムに初期化された特徴空間の特性との関係を示唆する。
  論文  参考訳（メタデータ） (2022-03-30T21:47:32Z)
• Predictive Coding: Towards a Future of Deep Learning beyond Backpropagation? [41.58529335439799]
  ディープニューラルネットワークのトレーニングに使用されるエラーアルゴリズムのバックプロパゲーションは、ディープラーニングの成功に不可欠である。 最近の研究は、このアイデアを、局所的な計算だけでニューラルネットワークを訓練できる汎用アルゴリズムへと発展させた。 等価ディープニューラルネットワークに対する予測符号化ネットワークの柔軟性が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-02-18T22:57:03Z)
• Pointer Value Retrieval: A new benchmark for understanding the limits of neural network generalization [40.21297628440919]
  我々は、ニューラルネットワークの一般化の限界を探求する新しいベンチマーク、Pointer Value Retrieval(PVR)タスクを導入する。 PVRタスクは視覚的および記号的な入力で構成され、それぞれが様々な難易度を持つ。 このタスク構造が一般化を理解するための豊富なテストベッドを提供することを示す。
  論文  参考訳（メタデータ） (2021-07-27T03:50:31Z)
• Statistical Mechanical Analysis of Catastrophic Forgetting in Continual Learning with Teacher and Student Networks [5.209145866174911]
  計算システムが絶えず変化する環境から学習すると、その過去の経験を急速に忘れてしまう。 教師-学生学習を用いて破滅的な忘れを解析するための理論的枠組みを提供する。 その結果,入力分布の類似度が小さく,対象関数の入出力関係が大きい場合,ネットワークは壊滅的な記憶を回避できることがわかった。
  論文  参考訳（メタデータ） (2021-05-16T09:02:48Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Untangling in Invariant Speech Recognition [17.996356271398295]
  我々は、音声を認識するために訓練されたニューラルネットワークの中で、情報を解き放つ方法を研究する。 話者固有のニュアンス変動はネットワーク階層によって排除されるのに対し、タスク関連特性は後続の層で解消される。 計算の各段階におけるタスク関連特徴を効率よく抽出することにより,深部表現が時間的アンハングリングを行うことがわかった。
  論文  参考訳（メタデータ） (2020-03-03T20:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。