論文の概要: Fine-grained Generalization Analysis of Structured Output Prediction
- arxiv url: http://arxiv.org/abs/2106.00115v1
- Date: Mon, 31 May 2021 21:44:14 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-02 14:14:42.587305
- Title: Fine-grained Generalization Analysis of Structured Output Prediction
- Title（参考訳）: 構造化出力予測の細粒度一般化解析
- Authors: Waleed Mustafa, Yunwen Lei, Antoine Ledent, Marius Kloft
- Abstract要約: 機械学習では、しばしば構造化出力予測問題(SOPP)に遭遇する。
本稿では, 対数依存性を持つ新しい高確率境界を$d$で開発することにより, 技術の現状を著しく改善する。
そこで本研究は,大規模SOPPの学習に有効な理論基盤を構築した。
- 参考スコア（独自算出の注目度）: 25.842980122940784
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In machine learning we often encounter structured output prediction problems
(SOPPs), i.e. problems where the output space admits a rich internal structure.
Application domains where SOPPs naturally occur include natural language
processing, speech recognition, and computer vision. Typical SOPPs have an
extremely large label set, which grows exponentially as a function of the size
of the output. Existing generalization analysis implies generalization bounds
with at least a square-root dependency on the cardinality $d$ of the label set,
which can be vacuous in practice. In this paper, we significantly improve the
state of the art by developing novel high-probability bounds with a logarithmic
dependency on $d$. Moreover, we leverage the lens of algorithmic stability to
develop generalization bounds in expectation without any dependency on $d$. Our
results therefore build a solid theoretical foundation for learning in
large-scale SOPPs. Furthermore, we extend our results to learning with weakly
dependent data.
- Abstract（参考訳）: 機械学習では、しばしば構造化出力予測問題(SOPP)に遭遇する。
出力空間がリッチな内部構造を持つような問題。
SOPPが自然に発生するアプリケーションドメインには、自然言語処理、音声認識、コンピュータビジョンがある。
典型的なSOPPは、非常に大きなラベルセットを持ち、出力の大きさの関数として指数関数的に成長する。
既存の一般化解析は、ラベル集合の濃度$d$に少なくとも平方根依存を持つ一般化境界を意味し、実際は空である可能性がある。
本稿では, 対数依存性を持つ新しい高確率境界を$d$で開発することにより, 技術の現状を著しく改善する。
さらに、アルゴリズム安定性のレンズを利用して、$d$に依存することなく期待値の一般化境界を開発する。
そこで本研究は,大規模SOPPの学習に有効な理論基盤を構築した。
さらに,弱依存データを用いた学習にも結果を拡大する。
関連論文リスト
- RDGCN: Reinforced Dependency Graph Convolutional Network for
Aspect-based Sentiment Analysis [43.715099882489376]
距離と型の両方のビューにおける依存性の重要度を計算するために,新たに強化された依存グラフ畳み込みネットワーク(RDGCN)を提案する。
この基準の下で、重み分布探索と相似性制御に強化学習を利用する距離重要度関数を設計する。
3つの一般的なデータセットに関する総合的な実験は、基準と重要度関数の有効性を示す。
論文 参考訳（メタデータ） (2023-11-08T05:37:49Z) - On Certified Generalization in Structured Prediction [1.0152838128195467]
構造化予測では、対象オブジェクトは独立成分に分解されない豊富な内部構造を持つ。
一般化の速度は、構造化された例の数だけでなく、その大きさでスケールする、構造化予測のための新しいPAC-ベイジアンリスクバウンドを提案する。
論文 参考訳（メタデータ） (2023-06-15T13:15:26Z) - Generalization Analysis for Contrastive Representation Learning [80.89690821916653]
既存の一般化誤差境界は負の例の数$k$に線形に依存する。
対数項まで$k$に依存しないコントラスト学習のための新しい一般化境界を確立する。
論文 参考訳（メタデータ） (2023-02-24T01:03:56Z) - Amortized Inference for Causal Structure Learning [72.84105256353801]
因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。
本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。
我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
論文 参考訳（メタデータ） (2022-05-25T17:37:08Z) - A general sample complexity analysis of vanilla policy gradient [101.16957584135767]
政策勾配(PG)は、最も一般的な強化学習(RL)問題の1つである。
PG軌道の「バニラ」理論的理解は、RL問題を解く最も一般的な方法の1つである。
論文 参考訳（メタデータ） (2021-07-23T19:38:17Z) - Measuring Generalization with Optimal Transport [111.29415509046886]
我々は、マージンを最適輸送コストで正規化する、マージンベースの一般化境界を開発する。
我々の境界は、大規模データセット上でトレーニングデータとネットワークパラメータを与えられた一般化誤差を強く予測する。
論文 参考訳（メタデータ） (2021-06-07T03:04:59Z) - Learning Output Embeddings in Structured Prediction [73.99064151691597]
構造化予測に対する強力で柔軟なアプローチは、予測される構造化対象を潜在的に無限次元の特徴空間に埋め込むことである。
原空間における予測は、前像問題の解法により計算される。
本研究では,新しい特徴空間に出力埋め込みと回帰関数の有限近似を共同で学習することを提案する。
論文 参考訳（メタデータ） (2020-07-29T09:32:53Z) - A General Framework for Consistent Structured Prediction with Implicit
Loss Embeddings [113.15416137912399]
構造化予測のための理論的・アルゴリズム的な枠組みを提案し,解析する。
問題に対して適切な幾何を暗黙的に定義する、損失関数の大規模なクラスについて検討する。
出力空間を無限の濃度で扱うとき、推定子の適切な暗黙の定式化が重要であることが示される。
論文 参考訳（メタデータ） (2020-02-13T10:30:04Z) - Structural Decompositions of Epistemic Logic Programs [29.23726484912091]
認識論理プログラム(ELP)は標準解集合プログラミング(ASP)の一般的な一般化である
本研究では, 木幅境界で構造特性を示すELPに対して, 線形時間で中心的な問題を解くことができることを示す。
また、これらの境界に従属する完全な動的プログラミングアルゴリズムも提供します。
論文 参考訳（メタデータ） (2020-01-13T13:16:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。