論文の概要: Learning Output Embeddings in Structured Prediction

• arxiv url: http://arxiv.org/abs/2007.14703v3
• Date: Mon, 2 Nov 2020 11:39:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-05 19:44:07.787114
• Title: Learning Output Embeddings in Structured Prediction
• Title（参考訳）: 構造化予測における学習結果埋め込み
• Authors: Luc Brogat-Motte, Alessandro Rudi, C\'eline Brouard, Juho Rousu, Florence d'Alch\'e-Buc
• Abstract要約: 構造化予測に対する強力で柔軟なアプローチは、予測される構造化対象を潜在的に無限次元の特徴空間に埋め込むことである。 原空間における予測は、前像問題の解法により計算される。 本研究では,新しい特徴空間に出力埋め込みと回帰関数の有限近似を共同で学習することを提案する。
• 参考スコア（独自算出の注目度）: 73.99064151691597
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A powerful and flexible approach to structured prediction consists in embedding the structured objects to be predicted into a feature space of possibly infinite dimension by means of output kernels, and then, solving a regression problem in this output space. A prediction in the original space is computed by solving a pre-image problem. In such an approach, the embedding, linked to the target loss, is defined prior to the learning phase. In this work, we propose to jointly learn a finite approximation of the output embedding and the regression function into the new feature space. For that purpose, we leverage a priori information on the outputs and also unexploited unsupervised output data, which are both often available in structured prediction problems. We prove that the resulting structured predictor is a consistent estimator, and derive an excess risk bound. Moreover, the novel structured prediction tool enjoys a significantly smaller computational complexity than former output kernel methods. The approach empirically tested on various structured prediction problems reveals to be versatile and able to handle large datasets.
• Abstract（参考訳）: 構造化予測に対する強力で柔軟なアプローチは、予測される構造化オブジェクトを出力カーネルによって無限次元の機能空間に埋め込み、この出力空間における回帰問題を解決することである。 画像前問題を解決することにより、原空間での予測を算出する。 このようなアプローチでは、学習フェーズに先立って、目標損失にリンクした埋め込みが定義される。 本研究では,新しい特徴空間への出力埋め込みと回帰関数の有限近似を共同で学習することを提案する。 その目的のために、我々は、出力に関する優先順位情報と、構造化予測問題でよく利用可能な教師なし出力データを活用する。 得られた構造的予測器が一貫した推定器であることを証明し、過剰なリスク境界を導出する。 さらに、新しい構造化予測ツールは、以前の出力カーネル法よりも計算の複雑さがかなり小さい。 様々な構造化予測問題に対して実験的に検証されたアプローチは、汎用性があり、大規模なデータセットを扱うことができることを示している。

関連論文リスト

• Learning Differentiable Surrogate Losses for Structured Prediction [23.15754467559003]
  本稿では,ニューラルネットワークによってパラメータ化された構造化損失関数を,出力トレーニングデータから直接学習する新しいフレームワークを提案する。 結果として、微分可能な損失は、サロゲート空間の有限次元によるニューラルネットワークの学習を可能にするだけでなく、出力データの新しい構造を予測できる。
  論文  参考訳（メタデータ） (2024-11-18T16:07:47Z)
• Structured Prediction in Online Learning [66.36004256710824]
  オンライン学習環境における構造化予測のための理論的・アルゴリズム的枠組みについて検討する。 このアルゴリズムは教師付き学習環境からの最適アルゴリズムの一般化であることを示す。 本稿では,非定常データ分布,特に逆データを含む2番目のアルゴリズムについて考察する。
  論文  参考訳（メタデータ） (2024-06-18T07:45:02Z)
• Deep Sketched Output Kernel Regression for Structured Prediction [21.93695380726788]
  カーネルによる損失は、構造化された出力予測タスクを定義するための原則化された方法を提供する。 我々は、構造化出力予測タスクを解決するためにニューラルネットワークをトレーニングする方法の課題に取り組む。
  論文  参考訳（メタデータ） (2024-06-13T15:56:55Z)
• Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient for Out-of-Distribution Generalization [52.7137956951533]
  既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。 本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。 自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
  論文  参考訳（メタデータ） (2022-02-14T16:42:16Z)
• Neuro-Symbolic Entropy Regularization [78.16196949641079]
  構造化予測では、目的は構造化されたオブジェクトをエンコードする多くの出力変数を共同で予測することである。 エントロピー正則化(Entropy regularization)という1つのアプローチは、決定境界が低確率領域にあるべきであることを示唆している。 我々は、モデルが有効対象を確実に予測することを奨励する損失、ニューロシンボリックエントロピー正規化を提案する。
  論文  参考訳（メタデータ） (2022-01-25T06:23:10Z)
• Representation Learning for Sequence Data with Deep Autoencoding Predictive Components [96.42805872177067]
  本稿では,シーケンスデータの有用な表現が潜在空間における単純な構造を示すべきという直感に基づく,シーケンスデータの自己教師型表現学習法を提案する。 我々は,過去と将来のウィンドウ間の相互情報である潜在特徴系列の予測情報を最大化することにより,この潜時構造を奨励する。 提案手法は,ノイズの多い動的システムの潜時空間を復元し,タスク予測のための予測特徴を抽出し,エンコーダを大量の未ラベルデータで事前訓練する場合に音声認識を改善する。
  論文  参考訳（メタデータ） (2020-10-07T03:34:01Z)
• A General Framework for Consistent Structured Prediction with Implicit Loss Embeddings [113.15416137912399]
  構造化予測のための理論的・アルゴリズム的な枠組みを提案し,解析する。 問題に対して適切な幾何を暗黙的に定義する、損失関数の大規模なクラスについて検討する。 出力空間を無限の濃度で扱うとき、推定子の適切な暗黙の定式化が重要であることが示される。
  論文  参考訳（メタデータ） (2020-02-13T10:30:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。