論文の概要: Pre-trained Graphformer-based Ranking at Web-scale Search (Extended Abstract)

• arxiv url: http://arxiv.org/abs/2409.16590v1
• Date: Wed, 25 Sep 2024 03:33:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-27 05:45:19.482438
• Title: Pre-trained Graphformer-based Ranking at Web-scale Search (Extended Abstract)
• Title（参考訳）: Webスケール検索における事前学習グラフフォーマーによるランク付け(拡張要約)
• Authors: Yuchen Li, Haoyi Xiong, Linghe Kong, Zeyi Sun, Hongyang Chen, Shuaiqiang Wang, Dawei Yin,
• Abstract要約: 本稿では,変換器の回帰能力をGNNのリンク予測強度と統合することを目的とした新しいMPGrafモデルを提案する。 我々は、MPGrafの性能を厳格に評価するために、大規模なオフラインおよびオンライン実験を行っている。
• 参考スコア（独自算出の注目度）: 56.55728466130238
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Both Transformer and Graph Neural Networks (GNNs) have been employed in the domain of learning to rank (LTR). However, these approaches adhere to two distinct yet complementary problem formulations: ranking score regression based on query-webpage pairs, and link prediction within query-webpage bipartite graphs, respectively. While it is possible to pre-train GNNs or Transformers on source datasets and subsequently fine-tune them on sparsely annotated LTR datasets, the distributional shifts between the pair-based and bipartite graph domains present significant challenges in integrating these heterogeneous models into a unified LTR framework at web scale. To address this, we introduce the novel MPGraf model, which leverages a modular and capsule-based pre-training strategy, aiming to cohesively integrate the regression capabilities of Transformers with the link prediction strengths of GNNs. We conduct extensive offline and online experiments to rigorously evaluate the performance of MPGraf.
• Abstract（参考訳）: TransformerとGraph Neural Networks(GNN)はどちらも、LTR(Learning to rank)の分野に採用されている。 しかし、これらのアプローチは、クエリ-ページ対に基づくランキングスコアの回帰と、クエリ-ページ二部グラフ内のリンク予測の2つの異なる相補的な問題定式化に固執する。 ソースデータセット上でGNNやTransformerを事前トレーニングし、少量の注釈付きLTRデータセットで微調整することは可能だが、ペアベースと二部グラフドメイン間の分散シフトは、これらの異種モデルをWebスケールで統一LTRフレームワークに統合する上で大きな課題となる。 これを解決するために,モジュール型およびカプセル型事前学習戦略を活用する新しいMPGrafモデルを導入し,トランスフォーマーの回帰能力をGNNのリンク予測強度と密に統合することを目的とした。 我々は、MPGrafの性能を厳格に評価するために、大規模なオフラインおよびオンライン実験を行っている。

関連論文リスト

• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• Analysing the Behaviour of Tree-Based Neural Networks in Regression Tasks [3.912345988363511]
  本稿では、回帰課題の文脈において、木に基づくニューラルネットワークモデルの振る舞いを復号化するための取り組みを行う。 我々は,ツリーベースのCNN,Code2Vec,Transformerベースのメソッドといった確立されたモデルの応用を拡張し,ASTに解析することでソースコードの実行時間を予測する。 提案するデュアルトランスは,多様なデータセットにまたがる顕著な適応性とロバストな性能を示す。
  論文  参考訳（メタデータ） (2024-06-17T11:47:14Z)
• Novel Representation Learning Technique using Graphs for Performance Analytics [0.0]
  本稿では,グラフニューラルネットワーク(GNN)技術の進歩を活用するために,パフォーマンスデータをグラフに変換する新しいアイデアを提案する。 ソーシャルネットワークのような他の機械学習アプリケーションドメインとは対照的に、グラフは提供されない。 我々は,GNNから生成された埋め込みの有効性を,単純なフィードフォワードニューラルネットワークによる回帰処理の性能評価に基づいて評価した。
  論文  参考訳（メタデータ） (2024-01-19T16:34:37Z)
• Learning to Reweight for Graph Neural Network [63.978102332612906]
  グラフニューラルネットワーク(GNN)は、グラフタスクに対して有望な結果を示す。 既存のGNNの一般化能力は、テストとトレーニンググラフデータの間に分散シフトが存在する場合に低下する。 本稿では,分布外一般化能力を大幅に向上させる非線形グラフデコリレーション法を提案する。
  論文  参考訳（メタデータ） (2023-12-19T12:25:10Z)
• Domain Generalization Deep Graph Transformation [5.456279425545284]
  あるモードから別のモードへのグラフ遷移を予測するグラフ変換は、重要かつ一般的な問題である。 本稿では、エンコーダとデコーダを用いて、入力モードと出力モードの両方のトポロジを符号化するマルチインプット、マルチアウトプット、ハイパーネットワークベースのグラフニューラルネットワーク(MultiHyperGNN)を提案する。 総合的な実験により、MultiHyperGNNは予測タスクとドメインタスクの両方で競合するモデルよりも優れた性能を示している。
  論文  参考訳（メタデータ） (2023-05-19T02:33:22Z)
• Training Free Graph Neural Networks for Graph Matching [103.45755859119035]
  TFGMは、グラフニューラルネットワーク(GNN)ベースのグラフマッチングのパフォーマンスをトレーニングなしで向上するフレームワークである。 TFGMをさまざまなGNNに適用することは、ベースラインよりも有望な改善を示している。
  論文  参考訳（メタデータ） (2022-01-14T09:04:46Z)
• Meta-Aggregator: Learning to Aggregate for 1-bit Graph Neural Networks [127.32203532517953]
  我々は,GNNパラメータとグラフ特徴をバイナライズするバニラ1ビットフレームワークを開発した。 軽量なアーキテクチャにもかかわらず、我々はこのバニラフレームワークがグラフトポロジを区別するのに十分な差別力に悩まされていることを観察した。 この発見は、バニラ二項化GNNの表現力を向上させるためにメタアグリゲータを考案する動機となる。
  論文  参考訳（メタデータ） (2021-09-27T08:50:37Z)
• Bayesian Graph Neural Networks with Adaptive Connection Sampling [62.51689735630133]
  グラフニューラルネットワーク(GNN)における適応接続サンプリングのための統一的なフレームワークを提案する。 提案フレームワークは,深部GNNの過度なスムース化や過度に適合する傾向を緩和するだけでなく,グラフ解析タスクにおけるGNNによる不確実性の学習を可能にする。
  論文  参考訳（メタデータ） (2020-06-07T07:06:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。