論文の概要: Modeling Document Interactions for Learning to Rank with Regularized Self-Attention

• arxiv url: http://arxiv.org/abs/2005.03932v1
• Date: Fri, 8 May 2020 09:53:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-05 13:09:16.014728
• Title: Modeling Document Interactions for Learning to Rank with Regularized Self-Attention
• Title（参考訳）: 正規化自己認識によるランク付け学習のための文書間相互作用のモデル化
• Authors: Shuo Sun, Kevin Duh
• Abstract要約: 自己注意に基づくニューラルネットワークと相互作用する文書のモデリングについて検討する。 文書間の相互作用をモデル化するために設計された,単純かつ効果的な正規化用語を提案する。 提案した正規化項による自己注意ネットワークのトレーニングは,既存の学習方法よりも格付けに優れることを示す。
• 参考スコア（独自算出の注目度）: 22.140197412459393
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning to rank is an important task that has been successfully deployed in many real-world information retrieval systems. Most existing methods compute relevance judgments of documents independently, without holistically considering the entire set of competing documents. In this paper, we explore modeling documents interactions with self-attention based neural networks. Although self-attention networks have achieved state-of-the-art results in many NLP tasks, we find empirically that self-attention provides little benefit over baseline neural learning to rank architecture. To improve the learning of self-attention weights, We propose simple yet effective regularization terms designed to model interactions between documents. Evaluations on publicly available Learning to Rank (LETOR) datasets show that training self-attention network with our proposed regularization terms can significantly outperform existing learning to rank methods.
• Abstract（参考訳）: ランク付け学習は多くの実世界の情報検索システムにうまく展開されている重要な課題である。 既存のほとんどの手法は、競合する文書の集合全体を考えることなく、文書の関連判断を個別に計算する。 本稿では,自己着眼型ニューラルネットワークとの相互作用をモデル化する。 自己意識ネットワークは多くのNLPタスクで最先端の結果を得たが、アーキテクチャをランク付けするベースラインニューラルラーニングよりも、自己意識がほとんど利益がないことを実証的に見出した。 自己注意重みの学習を改善するために,文書間の相互作用をモデル化するためのシンプルかつ効果的な正規化用語を提案する。 公開されているLearning to Rank(LETOR)データセットの評価は、提案した正規化条件による自己認識ネットワークのトレーニングが、既存の学習方法よりも格付けに優れていることを示している。

関連論文リスト

• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• EAML: Ensemble Self-Attention-based Mutual Learning Network for Document Image Classification [1.1470070927586016]
  我々は、アンサンブルトレーニング可能なネットワークのブロックとして機能する自己アテンションベースの融合モジュールを設計する。 トレーニング段階を通して、画像とテキストの区別された特徴を同時に学習することができる。 文書画像分類を行うための自己注意に基づく融合モジュールとともに、相互学習アプローチを活用するのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-05-11T16:05:03Z)
• VLCDoC: Vision-Language Contrastive Pre-Training Model for Cross-Modal Document Classification [3.7798600249187295]
  文書データからのマルチモーダル学習は、前もって意味論的に意味のある機能を学習可能な下流タスクに事前学習可能にすることで、近年大きな成功を収めている。 本稿では,言語と視覚の手がかりを通したクロスモーダル表現の学習により,文書分類問題にアプローチする。 提案手法は,ハイレベルなインタラクションを利用して,モダリティ内外における効果的な注意の流れから関連する意味情報を学習する。
  論文  参考訳（メタデータ） (2022-05-24T12:28:12Z)
• Few-shot Learning for Slot Tagging with Attentive Relational Network [35.624877181332636]
  メトリックベース学習は、特にコンピュータビジョンにおいて、少ないショット学習のためのよく知られた手法である。 メトリクスに基づく新しい学習アーキテクチャであるアテンシブネットワークを提案する。 SNIPSの結果は,提案手法が他の最先端のメトリックベース学習法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2021-03-03T11:24:24Z)
• Self-Attention Meta-Learner for Continual Learning [5.979373021392084]
  SAM(Self-Attention Meta-Learner)は,タスクのシーケンスを学習する継続的学習の事前知識を学習する。 SAMには、将来のタスクごとに特定の関連する表現を選択することを学ぶアテンションメカニズムが組み込まれている。 タスク推論において,提案手法を Split CIFAR-10/100 と Split MNIST のベンチマークで評価した。
  論文  参考訳（メタデータ） (2021-01-28T17:35:04Z)
• Improving Few-Shot Learning with Auxiliary Self-Supervised Pretext Tasks [0.0]
  最近の少数ショット学習の研究は、学習された表現の質が少数ショット分類のパフォーマンスにおいて重要な役割を果たしていることを示しています。 一方,自己教師付き学習の目標は,クラスラベルを使わずにデータの有用な意味情報を復元することである。 我々は,最近の自己教師あり手法を補助タスクとして利用するマルチタスクフレームワークを用いて,両パラダイムの相補性を活用する。
  論文  参考訳（メタデータ） (2021-01-24T23:21:43Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• Graph-Based Neural Network Models with Multiple Self-Supervised Auxiliary Tasks [79.28094304325116]
  グラフ畳み込みネットワークは、構造化されたデータポイント間の関係をキャプチャするための最も有望なアプローチである。 マルチタスク方式でグラフベースニューラルネットワークモデルを学習するための3つの新しい自己教師付き補助タスクを提案する。
  論文  参考訳（メタデータ） (2020-11-14T11:09:51Z)
• Concept Learners for Few-Shot Learning [76.08585517480807]
  本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。 我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
  論文  参考訳（メタデータ） (2020-07-14T22:04:17Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)
• Automated Relational Meta-learning [95.02216511235191]
  本稿では,クロスタスク関係を自動的に抽出し,メタ知識グラフを構築する自動リレーショナルメタ学習フレームワークを提案する。 我々は,2次元玩具の回帰と少数ショット画像分類に関する広範な実験を行い,ARMLが最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-01-03T07:02:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。