論文の概要: Structural Entropy Guided Probabilistic Coding

• arxiv url: http://arxiv.org/abs/2412.08841v2
• Date: Fri, 13 Dec 2024 12:23:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-16 11:43:03.738236
• Title: Structural Entropy Guided Probabilistic Coding
• Title（参考訳）: 構造エントロピーガイドによる確率的符号化
• Authors: Xiang Huang, Hao Peng, Li Sun, Hui Lin, Chunyang Liu, Jiang Cao, Philip S. Yu,
• Abstract要約: 構造エントロピー誘導型確率的符号化モデルSEPCを提案する。 我々は、構造エントロピー正規化損失を提案することにより、潜在変数間の関係を最適化に組み込む。 分類タスクと回帰タスクの両方を含む12の自然言語理解タスクに対する実験結果は、SEPCの優れた性能を示す。
• 参考スコア（独自算出の注目度）: 52.01765333755793
• License:
• Abstract: Probabilistic embeddings have several advantages over deterministic embeddings as they map each data point to a distribution, which better describes the uncertainty and complexity of data. Many works focus on adjusting the distribution constraint under the Information Bottleneck (IB) principle to enhance representation learning. However, these proposed regularization terms only consider the constraint of each latent variable, omitting the structural information between latent variables. In this paper, we propose a novel structural entropy-guided probabilistic coding model, named SEPC. Specifically, we incorporate the relationship between latent variables into the optimization by proposing a structural entropy regularization loss. Besides, as traditional structural information theory is not well-suited for regression tasks, we propose a probabilistic encoding tree, transferring regression tasks to classification tasks while diminishing the influence of the transformation. Experimental results across 12 natural language understanding tasks, including both classification and regression tasks, demonstrate the superior performance of SEPC compared to other state-of-the-art models in terms of effectiveness, generalization capability, and robustness to label noise. The codes and datasets are available at https://github.com/SELGroup/SEPC.
• Abstract（参考訳）: 確率的埋め込みは、決定論的埋め込みよりもいくつかの利点があり、各データポイントを分布にマッピングし、データの不確実性と複雑さをよりよく記述する。 多くの研究は、表現学習を強化するためにInformation Bottleneck(IB)の原則の下で分布制約を調整することに重点を置いている。 しかし、これらの正則化項は各潜伏変数の制約のみを考慮し、潜伏変数間の構造情報を省略する。 本稿では,新しい構造エントロピー誘導型確率符号化モデルSEPCを提案する。 具体的には、構造エントロピー正規化損失を提案することにより、潜在変数間の関係を最適化に組み込む。 また,従来の構造情報理論は回帰タスクには適さないため,回帰タスクを分類タスクに転送し,変換の影響を減らしながら確率的符号化木を提案する。 分類タスクと回帰タスクの両方を含む12の自然言語理解タスクに対する実験結果は、他の最先端モデルと比較して、効果、一般化能力、ラベルノイズに対する堅牢性の観点から、SEPCの優れた性能を示す。 コードとデータセットはhttps://github.com/SELGroup/SEPCで公開されている。

関連論文リスト

• Optimal Classification under Performative Distribution Shift [13.508249764979075]
  本稿では,動作効果をプッシュフォワード尺度としてモデル化した新しい視点を提案する。 我々は、新しい仮定のセットの下で、パフォーマンスリスクの凸性を証明する。 また, 性能リスクの最小化を min-max 変動問題として再定義することにより, 逆向きの頑健な分類との関係を確立する。
  論文  参考訳（メタデータ） (2024-11-04T12:20:13Z)
• DeCaf: A Causal Decoupling Framework for OOD Generalization on Node Classification [14.96980804513399]
  グラフニューラルネットワーク(GNN)は、分散シフトの影響を受けやすいため、クリティカルドメインの脆弱性やセキュリティ上の問題が発生する。 不変(機能、構造)-ラベルマッピングの学習を目標とする既存の方法は、データ生成プロセスに関する過度に単純化された仮定に依存することが多い。 構造因果モデル(SCM)を用いたより現実的なグラフデータ生成モデルを提案する。 本稿では,非バイアスな特徴ラベルと構造ラベルのマッピングを独立に学習する,カジュアルなデカップリングフレームワークDeCafを提案する。
  論文  参考訳（メタデータ） (2024-10-27T00:22:18Z)
• Structured Probabilistic Coding [28.46046583495838]
  本稿では、新しい教師付き表現学習フレームワーク、すなわち構造化確率符号化(SPC)を提案する。 SPCはエンコーダのみの確率的符号化技術であり、ターゲット空間から構造化された正規化を持つ。 事前訓練された言語モデルの一般化能力を高め、言語理解を向上させることができる。
  論文  参考訳（メタデータ） (2023-12-21T15:28:02Z)
• Variable Importance in High-Dimensional Settings Requires Grouping [19.095605415846187]
  Conditional Permutation Importance (CPI)は、そのような場合のPIの制限をバイパスする。 クラスタリングまたはいくつかの事前知識を介して統計的に変数をグループ化すると、ある程度のパワーバックが得られる。 重み付けにより拡張された手法は,高相関なグループであっても,型Iエラーを制御可能であることを示す。
  論文  参考訳（メタデータ） (2023-12-18T00:21:47Z)
• iSCAN: Identifying Causal Mechanism Shifts among Nonlinear Additive Noise Models [48.33685559041322]
  本稿では,同一変数集合上の2つ以上の関連するデータセットにおける因果メカニズムシフトの同定に焦点をあてる。 提案手法を実装したコードはオープンソースであり、https://github.com/kevinsbello/iSCAN.comで公開されている。
  論文  参考訳（メタデータ） (2023-06-30T01:48:11Z)
• SUN: Exploring Intrinsic Uncertainties in Text-to-SQL Parsers [61.48159785138462]
  本稿では,ニューラルネットワークに基づくアプローチ(SUN)における本質的な不確かさを探索することにより,テキストから依存への変換性能を向上させることを目的とする。 5つのベンチマークデータセットの大規模な実験により、我々の手法は競合より大幅に優れ、新しい最先端の結果が得られた。
  論文  参考訳（メタデータ） (2022-09-14T06:27:51Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Structural Learning of Probabilistic Sentential Decision Diagrams under Partial Closed-World Assumption [127.439030701253]
  確率感性決定図は構造化分解可能な回路のクラスである。 本稿では,回路の論理的基盤を暗黙的に提供する部分閉世界仮定に基づく新しいスキームを提案する。 予備実験では、提案手法がトレーニングデータに適切に適合し、基礎となる論理的基盤と整合性を維持した上で、テストデータによく適合することを示した。
  論文  参考訳（メタデータ） (2021-07-26T12:01:56Z)
• Learning Discrete Structured Representations by Adversarially Maximizing Mutual Information [39.87273353895564]
  本研究では、構造化潜在変数と対象変数の相互情報を最大化することにより、ラベルのないデータから離散的構造化表現を学習する。 我々の重要な技術的貢献は、クロスエントロピー計算の実現可能性のみを前提として、相互情報を的確に見積もることができる敵の目的である。 文書ハッシュに本モデルを適用し,離散およびベクトル量子化変分オートエンコーダに基づいて,現在の最良ベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-04-08T13:31:53Z)
• Supervised Learning for Non-Sequential Data: A Canonical Polyadic Decomposition Approach [85.12934750565971]
  特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。 この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。 表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
  論文  参考訳（メタデータ） (2020-01-27T22:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。