論文の概要: Learning Output Embeddings in Structured Prediction
- arxiv url: http://arxiv.org/abs/2007.14703v3
- Date: Mon, 2 Nov 2020 11:39:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-05 19:44:07.787114
- Title: Learning Output Embeddings in Structured Prediction
- Title(参考訳): 構造化予測における学習結果埋め込み
- Authors: Luc Brogat-Motte, Alessandro Rudi, C\'eline Brouard, Juho Rousu,
Florence d'Alch\'e-Buc
- Abstract要約: 構造化予測に対する強力で柔軟なアプローチは、予測される構造化対象を潜在的に無限次元の特徴空間に埋め込むことである。
原空間における予測は、前像問題の解法により計算される。
本研究では,新しい特徴空間に出力埋め込みと回帰関数の有限近似を共同で学習することを提案する。
- 参考スコア(独自算出の注目度): 73.99064151691597
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A powerful and flexible approach to structured prediction consists in
embedding the structured objects to be predicted into a feature space of
possibly infinite dimension by means of output kernels, and then, solving a
regression problem in this output space. A prediction in the original space is
computed by solving a pre-image problem. In such an approach, the embedding,
linked to the target loss, is defined prior to the learning phase. In this
work, we propose to jointly learn a finite approximation of the output
embedding and the regression function into the new feature space. For that
purpose, we leverage a priori information on the outputs and also unexploited
unsupervised output data, which are both often available in structured
prediction problems. We prove that the resulting structured predictor is a
consistent estimator, and derive an excess risk bound. Moreover, the novel
structured prediction tool enjoys a significantly smaller computational
complexity than former output kernel methods. The approach empirically tested
on various structured prediction problems reveals to be versatile and able to
handle large datasets.
- Abstract(参考訳): 構造化予測に対する強力で柔軟なアプローチは、予測される構造化オブジェクトを出力カーネルによって無限次元の機能空間に埋め込み、この出力空間における回帰問題を解決することである。
画像前問題を解決することにより、原空間での予測を算出する。
このようなアプローチでは、学習フェーズに先立って、目標損失にリンクした埋め込みが定義される。
本研究では,新しい特徴空間への出力埋め込みと回帰関数の有限近似を共同で学習することを提案する。
その目的のために、我々は、出力に関する優先順位情報と、構造化予測問題でよく利用可能な教師なし出力データを活用する。
得られた構造的予測器が一貫した推定器であることを証明し、過剰なリスク境界を導出する。
さらに、新しい構造化予測ツールは、以前の出力カーネル法よりも計算の複雑さがかなり小さい。
様々な構造化予測問題に対して実験的に検証されたアプローチは、汎用性があり、大規模なデータセットを扱うことができることを示している。
関連論文リスト
- Structured Radial Basis Function Network: Modelling Diversity for
Multiple Hypotheses Prediction [51.82628081279621]
多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。
構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。
この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
論文 参考訳(メタデータ) (2023-09-02T01:27:53Z) - On Certified Generalization in Structured Prediction [1.0152838128195467]
構造化予測では、対象オブジェクトは独立成分に分解されない豊富な内部構造を持つ。
一般化の速度は、構造化された例の数だけでなく、その大きさでスケールする、構造化予測のための新しいPAC-ベイジアンリスクバウンドを提案する。
論文 参考訳(メタデータ) (2023-06-15T13:15:26Z) - Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient
for Out-of-Distribution Generalization [52.7137956951533]
既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。
本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。
自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
論文 参考訳(メタデータ) (2022-02-14T16:42:16Z) - Neuro-Symbolic Entropy Regularization [78.16196949641079]
構造化予測では、目的は構造化されたオブジェクトをエンコードする多くの出力変数を共同で予測することである。
エントロピー正則化(Entropy regularization)という1つのアプローチは、決定境界が低確率領域にあるべきであることを示唆している。
我々は、モデルが有効対象を確実に予測することを奨励する損失、ニューロシンボリックエントロピー正規化を提案する。
論文 参考訳(メタデータ) (2022-01-25T06:23:10Z) - Deep KKL: Data-driven Output Prediction for Non-Linear Systems [7.5456680887905145]
まず、そのような出力予測器の開発に必要なプロパティをまとめる一般的なフレームワークを定義します。
Kazantzis-Kravaris/Luenberger(KKL)オブザーバーに基づく予測器構造を提案し、KKLが一般的なフレームワークによく適合することを示します。
実験の結果,観測空間のサブセット上で効率的な予測器が得られることがわかった。
論文 参考訳(メタデータ) (2021-03-23T10:48:07Z) - Representation Learning for Sequence Data with Deep Autoencoding
Predictive Components [96.42805872177067]
本稿では,シーケンスデータの有用な表現が潜在空間における単純な構造を示すべきという直感に基づく,シーケンスデータの自己教師型表現学習法を提案する。
我々は,過去と将来のウィンドウ間の相互情報である潜在特徴系列の予測情報を最大化することにより,この潜時構造を奨励する。
提案手法は,ノイズの多い動的システムの潜時空間を復元し,タスク予測のための予測特徴を抽出し,エンコーダを大量の未ラベルデータで事前訓練する場合に音声認識を改善する。
論文 参考訳(メタデータ) (2020-10-07T03:34:01Z) - Dimensionality reduction to maximize prediction generalization
capability [0.7614628596146599]
時系列予測の一般化は機械学習において依然として重要な課題であり、初期の手法は大きな一般化誤差または局所最小値を持つ。
我々は,予測主成分分析(PredPCA)と呼ばれる,将来の入力を予測するための最も情報性の高いコンポーネントを抽出する,解析的に解決可能な教師なし学習手法を開発した。
提案手法は,予測不能なノイズを効果的に除去し,凸最適化によるテスト予測誤差を最小化することができる。
論文 参考訳(メタデータ) (2020-03-01T12:04:59Z) - A General Framework for Consistent Structured Prediction with Implicit
Loss Embeddings [113.15416137912399]
構造化予測のための理論的・アルゴリズム的な枠組みを提案し,解析する。
問題に対して適切な幾何を暗黙的に定義する、損失関数の大規模なクラスについて検討する。
出力空間を無限の濃度で扱うとき、推定子の適切な暗黙の定式化が重要であることが示される。
論文 参考訳(メタデータ) (2020-02-13T10:30:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。