論文の概要: Learning Differentiable Surrogate Losses for Structured Prediction

• arxiv url: http://arxiv.org/abs/2411.11682v1
• Date: Mon, 18 Nov 2024 16:07:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:35:33.507643
• Title: Learning Differentiable Surrogate Losses for Structured Prediction
• Title（参考訳）: 構造化予測のための微分可能なサロゲート損失の学習
• Authors: Junjie Yang, Matthieu Labeau, Florence d'Alché-Buc,
• Abstract要約: 本稿では,ニューラルネットワークによってパラメータ化された構造化損失関数を,出力トレーニングデータから直接学習する新しいフレームワークを提案する。 結果として、微分可能な損失は、サロゲート空間の有限次元によるニューラルネットワークの学習を可能にするだけでなく、出力データの新しい構造を予測できる。
• 参考スコア（独自算出の注目度）: 23.15754467559003
• License:
• Abstract: Structured prediction involves learning to predict complex structures rather than simple scalar values. The main challenge arises from the non-Euclidean nature of the output space, which generally requires relaxing the problem formulation. Surrogate methods build on kernel-induced losses or more generally, loss functions admitting an Implicit Loss Embedding, and convert the original problem into a regression task followed by a decoding step. However, designing effective losses for objects with complex structures presents significant challenges and often requires domain-specific expertise. In this work, we introduce a novel framework in which a structured loss function, parameterized by neural networks, is learned directly from output training data through Contrastive Learning, prior to addressing the supervised surrogate regression problem. As a result, the differentiable loss not only enables the learning of neural networks due to the finite dimension of the surrogate space but also allows for the prediction of new structures of the output data via a decoding strategy based on gradient descent. Numerical experiments on supervised graph prediction problems show that our approach achieves similar or even better performance than methods based on a pre-defined kernel.
• Abstract（参考訳）: 構造予測は、単純なスカラー値ではなく、複雑な構造を予測する学習を伴う。 主な課題は出力空間の非ユークリッドの性質から生じ、一般に問題定式化を緩和する必要がある。 Surrogateメソッドはカーネルが引き起こした損失またはより一般的には、Implicit Loss Embeddingを許容する損失関数に基づいて構築され、元の問題を回帰タスクに変換し、デコードステップで処理する。 しかし、複雑な構造を持つオブジェクトに対して効果的な損失を設計することは重大な課題であり、しばしばドメイン固有の専門知識を必要とする。 本稿では,ニューラルネットワークによってパラメータ化された構造的損失関数を,教師付き代理回帰問題に対処する前に,コントラスト学習を通じて出力トレーニングデータから直接学習する,新しいフレームワークを提案する。 その結果、この微分可能な損失は、サロゲート空間の有限次元によるニューラルネットワークの学習を可能にするだけでなく、勾配降下に基づく復号戦略によって出力データの新しい構造を予測できる。 教師付きグラフ予測問題に関する数値実験により,提案手法は事前に定義されたカーネルに基づく手法と同等あるいはそれ以上の性能が得られることを示した。

関連論文リスト

• Deep Sketched Output Kernel Regression for Structured Prediction [21.93695380726788]
  カーネルによる損失は、構造化された出力予測タスクを定義するための原則化された方法を提供する。 我々は、構造化出力予測タスクを解決するためにニューラルネットワークをトレーニングする方法の課題に取り組む。
  論文  参考訳（メタデータ） (2024-06-13T15:56:55Z)
• Multi-modal Causal Structure Learning and Root Cause Analysis [67.67578590390907]
  根本原因局所化のためのマルチモーダル因果構造学習手法であるMulanを提案する。 ログ選択言語モデルを利用してログ表現学習を行い、ログシーケンスを時系列データに変換する。 また、モダリティの信頼性を評価し、最終因果グラフを共同学習するための新しいキーパフォーマンスインジケータ対応アテンション機構も導入する。
  論文  参考訳（メタデータ） (2024-02-04T05:50:38Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Uncovering mesa-optimization algorithms in Transformers [61.06055590704677]
  いくつかの自己回帰モデルは、入力シーケンスが処理されたときに学習でき、パラメータの変更を受けずに、それを行うように明示的に訓練されていない。 我々は,新しい入力が明らかになったときにモデルを調整するための補助学習アルゴリズムが,標準の次トーケン予測誤差最小化によって生まれることを示す。 本研究は、自己回帰損失最小化の産物としてコンテキスト内学習を説明し、新しい最適化ベースのトランスフォーマー層の設計を通知する。
  論文  参考訳（メタデータ） (2023-09-11T22:42:50Z)
• Regularization, early-stopping and dreaming: a Hopfield-like setup to address generalization and overfitting [0.0]
  正規化損失関数に勾配降下を適用し,最適ネットワークパラメータを求める。 この枠組みの中で、最適なニューロン相互作用行列は、繰り返し学習プロトコルによって修正されたヘビアン核に対応する。
  論文  参考訳（メタデータ） (2023-08-01T15:04:30Z)
• Transformer Meets Boundary Value Inverse Problems [4.165221477234755]
  変圧器を用いた深部直接サンプリング法は境界値逆問題のクラスを解くために提案される。 慎重に設計されたデータと再構成された画像の間に学習した逆演算子を評価することにより、リアルタイムな再構成を実現する。
  論文  参考訳（メタデータ） (2022-09-29T17:45:25Z)
• Amortized Inference for Causal Structure Learning [72.84105256353801]
  因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。 本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。 我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
  論文  参考訳（メタデータ） (2022-05-25T17:37:08Z)
• Relaxing the Constraints on Predictive Coding Models [62.997667081978825]
  予測符号化(英: Predictive coding)は、脳が行う主計算が予測誤差の最小化であるとする皮質機能の影響力のある理論である。 アルゴリズムの標準的な実装は、同じ前方と後方の重み、後方の非線形微分、1-1エラーユニット接続といった、潜在的に神経的に予測できない特徴を含んでいる。 本稿では,これらの特徴はアルゴリズムに不可欠なものではなく,Hebbianの更新ルールを用いてパラメータセットを直接あるいは学習することで,学習性能に悪影響を及ぼすことなく除去可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-02T15:21:37Z)
• Learning Output Embeddings in Structured Prediction [73.99064151691597]
  構造化予測に対する強力で柔軟なアプローチは、予測される構造化対象を潜在的に無限次元の特徴空間に埋め込むことである。 原空間における予測は、前像問題の解法により計算される。 本研究では,新しい特徴空間に出力埋め込みと回帰関数の有限近似を共同で学習することを提案する。
  論文  参考訳（メタデータ） (2020-07-29T09:32:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。