論文の概要: Meta-Learning Loss Functions for Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2406.09713v2
• Date: Sat, 29 Jun 2024 23:51:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-02 13:21:08.973731
• Title: Meta-Learning Loss Functions for Deep Neural Networks
• Title（参考訳）: 深層ニューラルネットワークにおけるメタ学習損失関数
• Authors: Christian Raymond,
• Abstract要約: この論文は、しばしば見過ごされる損失関数のコンポーネントを通して、メタ学習の概念を探求し、パフォーマンスを改善する。 損失関数は学習システムの重要な要素であり、一次学習の目的を表しており、その目的のために最適化するシステムの能力によって、成功が決定され、定量化される。
• 参考スコア（独自算出の注目度）: 2.4258031099152735
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Humans can often quickly and efficiently solve complex new learning tasks given only a small set of examples. In contrast, modern artificially intelligent systems often require thousands or millions of observations in order to solve even the most basic tasks. Meta-learning aims to resolve this issue by leveraging past experiences from similar learning tasks to embed the appropriate inductive biases into the learning system. Historically methods for meta-learning components such as optimizers, parameter initializations, and more have led to significant performance increases. This thesis aims to explore the concept of meta-learning to improve performance, through the often-overlooked component of the loss function. The loss function is a vital component of a learning system, as it represents the primary learning objective, where success is determined and quantified by the system's ability to optimize for that objective successfully.
• Abstract（参考訳）: 人間は、小さな例のセットだけを考えると、しばしば素早く効率的に複雑な新しい学習タスクを解くことができる。 対照的に、現代の人工知能システムは、最も基本的なタスクを解くのに数千から数百万の観測を必要とすることが多い。 メタラーニングは、同様の学習タスクから過去の経験を活用して、適切な帰納バイアスを学習システムに埋め込むことによって、この問題を解決することを目的としている。 歴史的に、オプティマイザやパラメータの初期化といったメタ学習コンポーネントのメソッドは、大幅なパフォーマンス向上をもたらした。 この論文は、しばしば見過ごされる損失関数のコンポーネントを通して、メタ学習の概念を探求し、パフォーマンスを改善することを目的としている。 損失関数は学習システムの重要な要素であり、一次学習の目的を表しており、その目的のために最適化するシステムの能力によって、成功が決定され、定量化される。

関連論文リスト

• Fast and Efficient Local Search for Genetic Programming Based Loss Function Learning [12.581217671500887]
  本稿では,タスクとモデルに依存しない損失関数学習のためのメタラーニングフレームワークを提案する。 その結果, 学習した損失関数は, 収束性, サンプル効率, グラフ化, コンピュータビジョン, 自然言語処理問題に対する推論性能の向上をもたらすことがわかった。
  論文  参考訳（メタデータ） (2024-03-01T02:20:04Z)
• Online Loss Function Learning [13.744076477599707]
  ロス関数学習は、機械学習モデルの損失関数を設計するタスクを自動化することを目的としている。 基本モデルパラメータへの更新毎に,損失関数をオンラインに適応的に更新する新しい損失関数学習手法を提案する。
  論文  参考訳（メタデータ） (2023-01-30T19:22:46Z)
• Concept Discovery for Fast Adapatation [42.81705659613234]
  データ特徴間の構造をメタラーニングすることで、より効果的な適応を実現する。 提案手法は,概念ベースモデル非依存メタラーニング(COMAML)を用いて,合成されたデータセットと実世界のデータセットの両方に対して,構造化データの一貫した改善を実現する。
  論文  参考訳（メタデータ） (2023-01-19T02:33:58Z)
• Learning Symbolic Model-Agnostic Loss Functions via Meta-Learning [12.581217671500887]
  本稿では,ハイブリッド型ニューロシンボリックサーチ手法を用いて,モデルに依存しない損失関数を学習するためのメタラーニングフレームワークを提案する。 その結果,提案手法により発見されたメタ学習損失関数は,クロスエントロピー損失と最先端の損失関数学習の両方よりも優れていた。
  論文  参考訳（メタデータ） (2022-09-19T10:29:01Z)
• Skill-based Meta-Reinforcement Learning [65.31995608339962]
  本研究では,長期的スパース・リワードタスクにおけるメタラーニングを実現する手法を提案する。 私たちの中核となる考え方は、メタ学習中にオフラインデータセットから抽出された事前経験を活用することです。
  論文  参考訳（メタデータ） (2022-04-25T17:58:19Z)
• What Matters For Meta-Learning Vision Regression Tasks? [19.373532562905208]
  本論文は,このほとんど探索されていない領域の理解に寄与する2つの主要な貢献を行う。 まず、オブジェクト発見とポーズ推定という2つの新しいカテゴリレベルの視覚回帰タスクを設計する。 第2に,条件付きニューラルプロセス(CNP)におけるタスク表現に関数型コントラスト学習(FCL)を付加し,エンドツーエンドで学習する手法を提案する。
  論文  参考訳（メタデータ） (2022-03-09T17:28:16Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)
• Importance Weighted Policy Learning and Adaptation [89.46467771037054]
  政治外学習の最近の進歩の上に構築された,概念的にシンプルで,汎用的で,モジュール的な補完的アプローチについて検討する。 このフレームワークは確率論的推論文学のアイデアにインスパイアされ、堅牢な非政治学習と事前の行動を組み合わせる。 提案手法は,メタ強化学習ベースラインと比較して,ホールドアウトタスクにおける競合適応性能を実現し,複雑なスパース・リワードシナリオにスケールすることができる。
  論文  参考訳（メタデータ） (2020-09-10T14:16:58Z)
• Concept Learners for Few-Shot Learning [76.08585517480807]
  本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。 我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
  論文  参考訳（メタデータ） (2020-07-14T22:04:17Z)
• Provable Meta-Learning of Linear Representations [114.656572506859]
  我々は、複数の関連するタスクから共通の機能の集合を学習し、その知識を新しい未知のタスクに転送する、という2つの課題に対処する、高速でサンプル効率のアルゴリズムを提供する。 また、これらの線形特徴を学習する際のサンプルの複雑さに関する情報理論の下限も提供する。
  論文  参考訳（メタデータ） (2020-02-26T18:21:34Z)
• Automated Relational Meta-learning [95.02216511235191]
  本稿では,クロスタスク関係を自動的に抽出し,メタ知識グラフを構築する自動リレーショナルメタ学習フレームワークを提案する。 我々は,2次元玩具の回帰と少数ショット画像分類に関する広範な実験を行い,ARMLが最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-01-03T07:02:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。