Fugu-MT 論文翻訳(概要): PGT: Pseudo Relevance Feedback Using a Graph-Based Transformer

論文の概要: PGT: Pseudo Relevance Feedback Using a Graph-Based Transformer

arxiv url: http://arxiv.org/abs/2101.07918v1
Date: Wed, 20 Jan 2021 01:07:47 GMT
ステータス: 処理完了
システム内更新日: 2021-03-22 01:32:10.755404
Title: PGT: Pseudo Relevance Feedback Using a Graph-Based Transformer
Title（参考訳）: PGT:グラフベースの変換器を用いた擬似関連フィードバック
Authors: HongChien Yu, Zhuyun Dai, Jamie Callan
Abstract要約: 本稿では、トランスフォーマーベースのリランクもPRFが提供する余分なコンテキストから恩恵を受けることができることを示す。 PGTはグラフベースのトランスフォーマーで、PRFを有効にするためにグラフノード間で注意を分散する。
参考スコア（独自算出の注目度）: 18.78280026918991
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Most research on pseudo relevance feedback (PRF) has been done in vector space and probabilistic retrieval models. This paper shows that Transformer-based rerankers can also benefit from the extra context that PRF provides. It presents PGT, a graph-based Transformer that sparsifies attention between graph nodes to enable PRF while avoiding the high computational complexity of most Transformer architectures. Experiments show that PGT improves upon non-PRF Transformer reranker, and it is at least as accurate as Transformer PRF models that use full attention, but with lower computational costs.
Abstract（参考訳）: 擬似関連フィードバック(PRF)に関するほとんどの研究はベクトル空間と確率的検索モデルで行われている。本稿では、トランスフォーマーベースのリカウンタがprfが提供する余分なコンテキストによってもメリットがあることを示す。 PGTはグラフベースのTransformerで、ほとんどのTransformerアーキテクチャの計算複雑性を回避しつつ、PRFを有効にするためにグラフノード間の注意を分散する。実験により、PGTは非PRFトランスフォーマー・リランカにより改善され、少なくとも完全な注意を払って計算コストを下げるTransformer PRFモデルと同程度に正確であることが示されている。

関連論文リスト

Interpretable Lightweight Transformer via Unrolling of Learned Graph Smoothness Priors [16.04850782310842]
我々は反復最適化アルゴリズムをアンロールすることで、解釈可能で軽量なトランスフォーマーのようなニューラルネットワークを構築する。正規化信号依存グラフ学習モジュールは、従来の変圧器の基本自己保持機構の変種に相当する。
論文参考訳（メタデータ） (2024-06-06T14:01:28Z)
Counterfactual Graph Transformer for Traffic Flow Prediction [8.104461240718226]
既存のトラフィックフロー予測手法では、データセットからバイアスパターンを継承する傾向があり、解釈性に欠ける。実例レベルの説明器(重要な部分グラフを見つけるなど)を用いたグラフ変換モデルを提案する。我々は,CGTが信頼性の高い説明を作成でき,交通流予測に期待できることを示す。
論文参考訳（メタデータ） (2023-08-01T09:12:08Z)
Cost Aggregation with 4D Convolutional Swin Transformer for Few-Shot Segmentation [58.4650849317274]
Volumetric Aggregation with Transformers (VAT)は、数ショットセグメンテーションのためのコスト集約ネットワークである。 VATは、コスト集約が中心的な役割を果たすセマンティック対応のための最先端のパフォーマンスも達成する。
論文参考訳（メタデータ） (2022-07-22T04:10:30Z)
The Lighter The Better: Rethinking Transformers in Medical Image Segmentation Through Adaptive Pruning [26.405243756778606]
本稿では,医療画像セグメンテーションのための変換器に適応型プルーニングを適用し,軽量ネットワークAPFormerを提案する。私たちの知る限りでは、医療画像解析タスクのためのトランスフォーマープルーニングに関する最初の研究である。我々は,アダプティブプルーニングが他のハイブリッド/トランスフォーマー方式の性能向上のためのプラグイン-n-playモジュールとして機能することを,アブレーション研究を通じて証明した。
論文参考訳（メタデータ） (2022-06-29T05:49:36Z)
Your Transformer May Not be as Powerful as You Expect [88.11364619182773]
連続列列列関数を近似できるかどうかに関して, RPE ベースの変換器のパワーを数学的に解析する。 RPEをベースとしたトランスフォーマーでは,ニューラルネットワークの深さや幅がどんなに深くても近似できない連続列列列列関数が存在することを示す。我々は,その条件を満たす,Universal RPE-based (URPE) Attentionと呼ばれる新しいアテンションモジュールを開発する。
論文参考訳（メタデータ） (2022-05-26T14:51:30Z)
XAI for Transformers: Better Explanations through Conservative Propagation [60.67748036747221]
変換器の勾配は局所的にのみ関数を反映しており、入力特徴の予測への寄与を確実に識別できないことを示す。我々の提案は、よく確立されたLPP法のトランスフォーマーへの適切な拡張と見なすことができる。
論文参考訳（メタデータ） (2022-02-15T10:47:11Z)
Gophormer: Ego-Graph Transformer for Node Classification [27.491500255498845]
本稿では,egoグラフにフルグラフの代わりにトランスフォーマーを適用した新しいGophormerモデルを提案する。具体的には、変圧器の入力としてエゴグラフをサンプリングするためにNode2Seqモジュールが提案されており、スケーラビリティの課題が軽減されている。エゴグラフサンプリングで導入された不確実性に対処するために,一貫性の正則化とマルチサンプル推論戦略を提案する。
論文参考訳（メタデータ） (2021-10-25T16:43:32Z)
PnP-DETR: Towards Efficient Visual Analysis with Transformers [146.55679348493587]
近年、DeTRはトランスフォーマーを用いたソリューションビジョンタスクの先駆者であり、画像特徴マップを直接オブジェクト結果に変換する。最近の変圧器を用いた画像認識モデルとTTは、一貫した効率向上を示す。
論文参考訳（メタデータ） (2021-09-15T01:10:30Z)
Stable, Fast and Accurate: Kernelized Attention with Relative Positional Encoding [63.539333383965726]
相対的位置符号化(RPE)を用いた変換器の注意計算を高速化する新しい手法を提案する。相対的な位置符号化がToeplitz行列を形成するという観測に基づいて、Fast Fourier Transform (FFT) を用いて、RPEによるカーネル化された注意を効率的に計算できることを数学的に示す。
論文参考訳（メタデータ） (2021-06-23T17:51:26Z)
Spatiotemporal Transformer for Video-based Person Re-identification [102.58619642363958]
我々は、強い学習能力にもかかわらず、バニラトランスフォーマーは過剰フィットのリスクの増加に苦しむことを示しています。そこで本研究では,合成ビデオデータからモデルを事前学習し,下流領域に伝達する新しいパイプラインを提案する。提案アルゴリズムは,3つの人気ビデオベース人物識別ベンチマークにおいて,精度向上を実現する。
論文参考訳（メタデータ） (2021-03-30T16:19:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。