論文の概要: Learning Symbolic Model-Agnostic Loss Functions via Meta-Learning

• arxiv url: http://arxiv.org/abs/2209.08907v2
• Date: Mon, 17 Apr 2023 02:21:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-19 00:15:47.711892
• Title: Learning Symbolic Model-Agnostic Loss Functions via Meta-Learning
• Title（参考訳）: メタラーニングによる記号モデル非依存損失関数の学習
• Authors: Christian Raymond, Qi Chen, Bing Xue, Mengjie Zhang
• Abstract要約: 本稿では,ハイブリッド型ニューロシンボリックサーチ手法を用いて,モデルに依存しない損失関数を学習するためのメタラーニングフレームワークを提案する。 その結果,提案手法により発見されたメタ学習損失関数は,クロスエントロピー損失と最先端の損失関数学習の両方よりも優れていた。
• 参考スコア（独自算出の注目度）: 13.781754717686416
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we develop upon the emerging topic of loss function learning, which aims to learn loss functions that significantly improve the performance of the models trained under them. Specifically, we propose a new meta-learning framework for learning model-agnostic loss functions via a hybrid neuro-symbolic search approach. The framework first uses evolution-based methods to search the space of primitive mathematical operations to find a set of symbolic loss functions. Second, the set of learned loss functions are subsequently parameterized and optimized via an end-to-end gradient-based training procedure. The versatility of the proposed framework is empirically validated on a diverse set of supervised learning tasks. Results show that the meta-learned loss functions discovered by the newly proposed method outperform both the cross-entropy loss and state-of-the-art loss function learning methods on a diverse range of neural network architectures and datasets.
• Abstract（参考訳）: 本稿では,学習中のモデルの性能を著しく向上させる損失関数の学習を目的とした,損失関数学習の新たな話題について述べる。 具体的には,ニューロシンボリック検索によるモデル非依存損失関数学習のための新しいメタラーニングフレームワークを提案する。 このフレームワークはまず進化ベースの手法を使って原始数学演算の空間を探索し、記号的損失関数の集合を見つける。 次に、学習損失関数のセットをパラメータ化し、エンドツーエンドの勾配に基づくトレーニング手順で最適化する。 提案フレームワークの汎用性は,多種多様な教師付き学習課題に対して実証的に検証される。 提案手法により発見されたメタ学習損失関数は,多種多様なニューラルネットワークアーキテクチャやデータセット上でのクロスエントロピー損失と最先端の損失関数学習法の両方より優れていた。

関連論文リスト

• Meta-Learning Loss Functions for Deep Neural Networks [2.4258031099152735]
  この論文は、しばしば見過ごされる損失関数のコンポーネントを通して、メタ学習の概念を探求し、パフォーマンスを改善する。 損失関数は学習システムの重要な要素であり、一次学習の目的を表しており、その目的のために最適化するシステムの能力によって、成功が決定され、定量化される。
  論文  参考訳（メタデータ） (2024-06-14T04:46:14Z)
• Fast and Efficient Local Search for Genetic Programming Based Loss Function Learning [12.581217671500887]
  本稿では,タスクとモデルに依存しない損失関数学習のためのメタラーニングフレームワークを提案する。 その結果, 学習した損失関数は, 収束性, サンプル効率, グラフ化, コンピュータビジョン, 自然言語処理問題に対する推論性能の向上をもたらすことがわかった。
  論文  参考訳（メタデータ） (2024-03-01T02:20:04Z)
• Class Anchor Margin Loss for Content-Based Image Retrieval [97.81742911657497]
  距離学習パラダイムに該当する新しいレペラ・トラクタ損失を提案するが、ペアを生成する必要がなく、直接L2メトリックに最適化する。 CBIRタスクにおいて,畳み込みアーキテクチャと変圧器アーキテクチャの両方を用いて,少数ショットおよびフルセットトレーニングの文脈で提案した目的を評価する。
  論文  参考訳（メタデータ） (2023-06-01T12:53:10Z)
• Online Loss Function Learning [13.744076477599707]
  ロス関数学習は、機械学習モデルの損失関数を設計するタスクを自動化することを目的としている。 基本モデルパラメータへの更新毎に,損失関数をオンラインに適応的に更新する新しい損失関数学習手法を提案する。
  論文  参考訳（メタデータ） (2023-01-30T19:22:46Z)
• A survey and taxonomy of loss functions in machine learning [51.35995529962554]
  本稿では, 回帰, 分類, 生成モデル, ランキング, エネルギーベースモデリングなど, 主要なアプリケーションにまたがる最も広く使われている損失関数について概観する。 直感的な分類法で構築された43個の個別の損失関数を導入し,それらの理論的基礎,特性,最適な適用状況を明らかにした。
  論文  参考訳（メタデータ） (2023-01-13T14:38:24Z)
• Xtreme Margin: A Tunable Loss Function for Binary Classification Problems [0.0]
  本稿では,新しい損失関数 Xtreme Margin の損失関数について概説する。 二進的クロスエントロピーやヒンジ損失関数とは異なり、この損失関数は研究者や実践者がトレーニングプロセスに柔軟性をもたらす。
  論文  参考訳（メタデータ） (2022-10-31T22:39:32Z)
• Offline Reinforcement Learning with Differentiable Function Approximation is Provably Efficient [65.08966446962845]
  歴史的データを用いて意思決定戦略を最適化することを目的としたオフライン強化学習は、現実の応用に広く適用されている。 微分関数クラス近似(DFA)を用いたオフライン強化学習の検討から一歩踏み出した。 最も重要なことは、悲観的な適合Q-ラーニングアルゴリズムを解析することにより、オフライン微分関数近似が有効であることを示すことである。
  論文  参考訳（メタデータ） (2022-10-03T07:59:42Z)
• Meta-learning PINN loss functions [5.543220407902113]
  本稿では,物理インフォームドニューラルネットワーク(PINN)損失関数のオフライン発見のためのメタラーニング手法を提案する。 パラメータ化偏微分方程式(PDE)に基づく多様なタスク分布に対応する勾配に基づくメタラーニングアルゴリズムを開発した。 この結果から,共有タスクのオフライン学習損失関数を用いることで,大幅な性能向上が達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-07-12T16:13:39Z)
• Searching for Robustness: Loss Learning for Noisy Classification Tasks [81.70914107917551]
  テイラーを用いたフレキシブルな損失関数群をパラメタライズし、この空間におけるノイズロスの探索に進化的戦略を適用する。 その結果、ホワイトボックスの損失は、さまざまな下流タスクで効果的なノイズロバスト学習を可能にするシンプルで高速な「プラグアンドプレイ」モジュールを提供します。
  論文  参考訳（メタデータ） (2021-02-27T15:27:22Z)
• Loss Function Discovery for Object Detection via Convergence-Simulation Driven Search [101.73248560009124]
  本稿では,効率的な収束シミュレーションによる進化的探索アルゴリズムCSE-Autolossを提案する。 一般的な検出器上での損失関数探索の広範囲な評価を行い、探索された損失の優れた一般化能力を検証した。 実験の結果, 2段検出器と1段検出器のmAPでは, 最適損失関数の組み合わせが1.1%と0.8%を上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-02-09T08:34:52Z)
• Progressive Self-Guided Loss for Salient Object Detection [102.35488902433896]
  画像中の深層学習に基づくサラエント物体検出を容易にするプログレッシブ自己誘導損失関数を提案する。 我々のフレームワークは適応的に集約されたマルチスケール機能を利用して、健全な物体の探索と検出を効果的に行う。
  論文  参考訳（メタデータ） (2021-01-07T07:33:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。