論文の概要: A Survey of Historical Learning: Learning Models with Learning History

• arxiv url: http://arxiv.org/abs/2303.12992v1
• Date: Thu, 23 Mar 2023 02:09:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-24 16:00:16.417982
• Title: A Survey of Historical Learning: Learning Models with Learning History
• Title（参考訳）: 歴史学習に関するサーベイ:学習履歴を持つ学習モデル
• Authors: Xiang Li, Ge Wu, Lingfeng Yang, Wenhai Wang, Renjie Song, Jian Yang
• Abstract要約: 歴史型(何)、機能部(どこに)、保存形式(方法)について研究する。 リカレント/メモリネットワーク、アンサンブル学習、強化学習など、関連するトピックに関する議論が示されている。 我々はまた、このトピックの今後の課題を明らかにし、アルゴリズムを設計する際の歴史的学習原則の考え方にコミュニティが注意を払うように促します。
• 参考スコア（独自算出の注目度）: 25.611513159484204
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: New knowledge originates from the old. The various types of elements, deposited in the training history, are a large amount of wealth for improving learning deep models. In this survey, we comprehensively review and summarize the topic--``Historical Learning: Learning Models with Learning History'', which learns better neural models with the help of their learning history during its optimization, from three detailed aspects: Historical Type (what), Functional Part (where) and Storage Form (how). To our best knowledge, it is the first survey that systematically studies the methodologies which make use of various historical statistics when training deep neural networks. The discussions with related topics like recurrent/memory networks, ensemble learning, and reinforcement learning are demonstrated. We also expose future challenges of this topic and encourage the community to pay attention to the think of historical learning principles when designing algorithms. The paper list related to historical learning is available at \url{https://github.com/Martinser/Awesome-Historical-Learning.}
• Abstract（参考訳）: 新しい知識は古いものに由来する。 トレーニング履歴に蓄積された様々な種類の要素は、深層モデルの学習を改善するための大量の富である。 本研究では,「歴史学習:学習履歴を持つ学習モデル」というトピックを,その最適化過程における学習履歴の助けを借りて,より優れたニューラルモデルを学ぶ手法について,歴史タイプ(what),機能部分(where),記憶形式(how)の3つの詳細な側面から総合的に検討・要約する。 我々の知る限りでは、ディープニューラルネットワークのトレーニングに様々な歴史的統計を利用する方法論を体系的に研究する最初の調査である。 リカレント/メモリネットワーク、アンサンブル学習、強化学習といった関連トピックとの議論が示されている。 我々はまた、このトピックの今後の課題を明らかにし、アルゴリズムを設計する際の歴史的学習原則の考え方にコミュニティが注意を払うように促します。 歴史学習に関するペーパーリストは、 \url{https://github.com/martinser/awesome-historical-learningで入手できる。 }

関連論文リスト

• Exploiting the Semantic Knowledge of Pre-trained Text-Encoders for Continual Learning [70.64617500380287]
  継続的な学習は、モデルが学習した知識を維持しながら、新しいデータから学習することを可能にする。 画像のラベル情報で利用できるセマンティック知識は、以前に取得したセマンティッククラスの知識と関連する重要なセマンティック情報を提供する。 テキスト埋め込みを用いて意味的類似性を把握し,タスク内およびタスク間のセマンティックガイダンスの統合を提案する。
  論文  参考訳（メタデータ） (2024-08-02T07:51:44Z)
• The Effect of Masking Strategies on Knowledge Retention by Language Models [9.130890741447422]
  本稿では,事前学習タスクが言語モデルによって捉え,忘れられた知識量に与える影響を理解することを目的とする。 我々は,実際の質問に答える能力を測定することによって,モデルの知識保持を検証した。 我々の研究結果は、あるタスクを実行する能力と同様に、そのタスクでトレーニングされた知識は、あるモデルが別のタスクを実行するように訓練されたときに忘れられることを示した。
  論文  参考訳（メタデータ） (2023-06-12T15:35:23Z)
• Retentive or Forgetful? Diving into the Knowledge Memorizing Mechanism of Language Models [49.39276272693035]
  大規模事前学習型言語モデルは、顕著な記憶能力を示している。 プレトレーニングのないバニラニューラルネットワークは、破滅的な忘れ物問題に悩まされていることが長年観察されてきた。 1)バニラ言語モデルは忘れがちである; 2)事前学習は暗黙の言語モデルにつながる; 3)知識の妥当性と多様化は記憶形成に大きな影響を及ぼす。
  論文  参考訳（メタデータ） (2023-05-16T03:50:38Z)
• Knowledge-augmented Deep Learning and Its Applications: A Survey [60.221292040710885]
  知識強化ディープラーニング(KADL)は、ドメイン知識を特定し、それをデータ効率、一般化可能、解釈可能なディープラーニングのためのディープモデルに統合することを目的としている。 本調査は,既存の研究成果を補足し,知識強化深層学習の一般分野における鳥眼研究の展望を提供する。
  論文  参考訳（メタデータ） (2022-11-30T03:44:15Z)
• Predicting students' learning styles using regression techniques [0.4125187280299248]
  オンライン学習は、学習者とインストラクターの相互作用が最小限であるため、パーソナライズ法を必要とする。 パーソナライズ手法の1つは、学習者の学習スタイルを検出することである。 学習者が支配的なスタイルや学習スタイルが混在していない場合、現在の検出モデルは効果がない。
  論文  参考訳（メタデータ） (2022-09-12T16:04:51Z)
• Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
  我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。 知識の抽出と知識の記憶という2つの側面から問題に取り組む。 提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
  論文  参考訳（メタデータ） (2022-08-27T09:27:36Z)
• Embedding Knowledge for Document Summarization: A Survey [66.76415502727802]
  従来の研究は、知識を組み込んだ文書要約器が優れた消化器を生成するのに優れていたことを証明した。 本稿では,文書要約ビューに基づいて,知識と知識の埋め込みを再カプセル化する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-24T04:36:07Z)
• Patterns, predictions, and actions: A story about machine learning [59.32629659530159]
  この機械学習に関する大学院教科書は、データのパターンが予測と連続的なアクションをどのようにサポートするかを物語っている。 因果関係の自己完結した導入、因果推論の実践、逐次的な意思決定、強化学習は、読者に行動とその結果について推論するための概念とツールを与える。
  論文  参考訳（メタデータ） (2021-02-10T03:42:03Z)
• Knowledge Efficient Deep Learning for Natural Language Processing [2.2701338128113124]
  この論文は、現代のディープラーニングモデルとアルゴリズムに古典的手法を適用することに焦点を当てている。 まず,事前知識を深層モデルに組み込むための統合学習フレームワークとして,知識豊富な深層学習モデル(KRDL)を提案する。 第2に,KRDLモデルを機械読解モデルに応用し,その決定を裏付ける正しい証拠文を見つける。
  論文  参考訳（メタデータ） (2020-08-28T23:32:33Z)
• An Overview of Deep Learning Architectures in Few-Shot Learning Domain [0.0]
  Few-Shot Learning(ワンショットラーニング、Few-Shot Learning)は、機械学習のサブフィールドであり、少ないデータで望ましい目的を学習できるモデルを作成することを目的としている。 我々は、いくつかのショットラーニングに対するよく知られたディープラーニングベースのアプローチをレビューした。
  論文  参考訳（メタデータ） (2020-08-12T06:58:45Z)
• Continual Learning: Tackling Catastrophic Forgetting in Deep Neural Networks with Replay Processes [0.0]
  連続的なアルゴリズムは、忘れずに学習経験のカリキュラムで知識を蓄積し、改善するように設計されている。 生成的再生は、過去の学習経験を記憶するための生成モデルで再現する。 連続学習には非常に有望な手法であることを示す。
  論文  参考訳（メタデータ） (2020-07-01T13:44:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。