論文の概要: HyperFormer: Learning Expressive Sparse Feature Representations via Hypergraph Transformer

• arxiv url: http://arxiv.org/abs/2305.17386v1
• Date: Sat, 27 May 2023 06:35:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-30 19:44:22.411401
• Title: HyperFormer: Learning Expressive Sparse Feature Representations via Hypergraph Transformer
• Title（参考訳）: HyperFormer: Hypergraph Transformerによる表現的スパース特徴表現の学習
• Authors: Kaize Ding, Albert Jiongqian Liang, Bryan Perrozi, Ting Chen, Ruoxi Wang, Lichan Hong, Ed H. Chi, Huan Liu, Derek Zhiyuan Cheng
• Abstract要約: グラフ学習の観点から,特徴スパースデータを用いた表現学習の課題に取り組む。 具体的には、ハイパーグラフを用いて異なるインスタンスのスパース特徴をモデル化する。 構築されたハイパーグラフにメッセージを渡すことで、学習された特徴表現は、異なるインスタンス間の相関だけでなく、特徴間の相関もキャプチャする。
• 参考スコア（独自算出の注目度）: 38.15972001888762
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning expressive representations for high-dimensional yet sparse features has been a longstanding problem in information retrieval. Though recent deep learning methods can partially solve the problem, they often fail to handle the numerous sparse features, particularly those tail feature values with infrequent occurrences in the training data. Worse still, existing methods cannot explicitly leverage the correlations among different instances to help further improve the representation learning on sparse features since such relational prior knowledge is not provided. To address these challenges, in this paper, we tackle the problem of representation learning on feature-sparse data from a graph learning perspective. Specifically, we propose to model the sparse features of different instances using hypergraphs where each node represents a data instance and each hyperedge denotes a distinct feature value. By passing messages on the constructed hypergraphs based on our Hypergraph Transformer (HyperFormer), the learned feature representations capture not only the correlations among different instances but also the correlations among features. Our experiments demonstrate that the proposed approach can effectively improve feature representation learning on sparse features.
• Abstract（参考訳）: 高次元でスパースな特徴のための表現表現の学習は、情報検索における長年の問題であった。 最近のディープラーニング手法は部分的には解決できるが、多くのスパースな特徴、特にトレーニングデータで発生頻度の低いテール特徴値の処理に失敗することが多い。 さらに悪いことに、既存のメソッドは、異なるインスタンス間の相関を明示的に活用できないので、そのような関係の事前知識が提供されていないため、スパース機能での表現学習をさらに改善することができる。 本稿では,これらの課題に対処するために,グラフ学習の観点から特徴スパースデータを用いた表現学習の問題に取り組む。 具体的には,各ノードがデータインスタンスを表し,各ハイパーエッジが特徴値を表すハイパーグラフを用いて,異なるインスタンスのスパース特徴をモデル化することを提案する。 ハイパーグラフトランスフォーマー(hyperformer)に基づいて構築したハイパーグラフにメッセージを渡すことにより、学習された特徴表現は、異なるインスタンス間の相関だけでなく、特徴間の相関もキャプチャする。 提案手法は,スパース特徴量に基づく特徴表現学習を効果的に改善できることを示す。

関連論文リスト

• Invariant Causal Mechanisms through Distribution Matching [86.07327840293894]
  本研究では、因果的視点と不変表現を学習するための新しいアルゴリズムを提供する。 実験により,このアルゴリズムは様々なタスク群でうまく動作し,特にドメインの一般化における最先端のパフォーマンスを観察する。
  論文  参考訳（メタデータ） (2022-06-23T12:06:54Z)
• Learning to Imagine: Diversify Memory for Incremental Learning using Unlabeled Data [69.30452751012568]
  本研究では,多様な特徴を適応的に生成することで,経験を多様化する学習可能な特徴生成装置を開発する。 生成したサンプルを前例とセマンティックに整合させるために,意味的コントラスト学習を導入する。 提案手法は, 余分な推論コストを伴わず, 2つのベンチマークで最先端の手法より優れている。
  論文  参考訳（メタデータ） (2022-04-19T15:15:18Z)
• Can I see an Example? Active Learning the Long Tail of Attributes and Relations [64.50739983632006]
  視覚シーンの属性や関係を問う,新たな逐次能動学習フレームワークを提案する。 従来のアクティブな学習手法では、特定の例のラベルを求めるが、エージェントが特定のカテゴリからサンプルを求めることができるように、このフレーミングを反転させる。 このフレーミングを用いて、データ分布の尾からサンプルを求めるアクティブサンプリング手法を導入し、Visual Genomeの古典的アクティブラーニング手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-11T19:28:19Z)
• Learning Debiased and Disentangled Representations for Semantic Segmentation [52.35766945827972]
  セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。 各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。 提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
  論文  参考訳（メタデータ） (2021-10-31T16:15:09Z)
• Connecting Images through Time and Sources: Introducing Low-data, Heterogeneous Instance Retrieval [3.6526118822907594]
  バリエーションやセマンティックな内容のパネルによく反応する機能を選択するのは簡単ではないことを示す。 Alegoriaベンチマークの新しい拡張バージョンを導入し、詳細なアノテーションを使って記述子を比較します。
  論文  参考訳（メタデータ） (2021-03-19T10:54:51Z)
• Learning over Families of Sets -- Hypergraph Representation Learning for Higher Order Tasks [12.28143554382742]
  可変サイズのハイパーエッジの表現を実証的に表現するためのハイパーグラフニューラルネットワークを開発した。 複数の実世界のハイパーグラフデータセットのパフォーマンスを評価し、最新モデルよりも一貫性のある大幅な精度向上を実証します。
  論文  参考訳（メタデータ） (2021-01-19T18:37:50Z)
• HyperSAGE: Generalizing Inductive Representation Learning on Hypergraphs [24.737560790401314]
  2段階のニューラルメッセージパッシング戦略を用いて、ハイパーグラフを介して情報を正確かつ効率的に伝播する新しいハイパーグラフ学習フレームワークHyperSAGEを提案する。 本稿では,HyperSAGEが代表的ベンチマークデータセット上で最先端のハイパーグラフ学習手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-09T13:28:06Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)
• Inverse Feature Learning: Feature learning based on Representation Learning of Error [12.777440204911022]
  本稿では,新しい教師付き特徴学習手法としての逆特徴学習を提案し,誤り表現アプローチに基づく分類のための高レベル特徴セットを学習する。 提案手法は,いくつかの一般的なデータセットに対する最先端の分類手法と比較して,性能が著しく向上する。
  論文  参考訳（メタデータ） (2020-03-08T00:22:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。