論文の概要: Efficient Document Embeddings via Self-Contrastive Bregman Divergence Learning

• arxiv url: http://arxiv.org/abs/2305.16031v1
• Date: Thu, 25 May 2023 13:08:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 15:09:37.829269
• Title: Efficient Document Embeddings via Self-Contrastive Bregman Divergence Learning
• Title（参考訳）: 自己Contrastive Bregman Divergence Learningによる効果的な文書埋め込み
• Authors: Daniel Saggau, Mina Rezaei, Bernd Bisch, Ilias Chalkidis
• Abstract要約: 我々は、最先端の教師なしコントラスト学習法(SimCSE)を用いて、Longfomerベースの文書エンコーダを訓練する。 本稿では, 自己コントラスト型シアムネットワークとニューラルブレグマンネットワークの組み合わせが, 2つの線形分類設定において, ベースラインよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 8.78989768750675
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning quality document embeddings is a fundamental problem in natural language processing (NLP), information retrieval (IR), recommendation systems, and search engines. Despite recent advances in the development of transformer-based models that produce sentence embeddings with self-contrastive learning, the encoding of long documents (Ks of words) is still challenging with respect to both efficiency and quality considerations. Therefore, we train Longfomer-based document encoders using a state-of-the-art unsupervised contrastive learning method (SimCSE). Further on, we complement the baseline method -- siamese neural network -- with additional convex neural networks based on functional Bregman divergence aiming to enhance the quality of the output document representations. We show that overall the combination of a self-contrastive siamese network and our proposed neural Bregman network outperforms the baselines in two linear classification settings on three long document topic classification tasks from the legal and biomedical domains.
• Abstract（参考訳）: 学習品質文書の埋め込みは自然言語処理(NLP)、情報検索(IR)、レコメンデーションシステム、検索エンジンの基本的な問題である。 近年, 自己矛盾学習による文埋め込みを生成するトランスフォーマーモデルの開発が進んでいるが, 長文(単語のK)の符号化は, 効率と品質の両面において依然として困難である。 そこで我々は,最先端の教師なしコントラスト学習法(SimCSE)を用いて,Longfomerベースの文書エンコーダを訓練する。 さらに,出力文書表現の質を高めることを目的とした機能的ブレグマン発散に基づく,新たな凸型ニューラルネットワークをベースラインとして,シアム型ニューラルネットワークを補完する。 提案するニューラルブレグマンネットワークと自己矛盾性シャムネットワークの組み合わせは, 法領域と生物医学領域の3つの長文文書トピック分類タスクにおいて, 2つの線形分類設定においてベースラインを上回った。

関連論文リスト

• EAML: Ensemble Self-Attention-based Mutual Learning Network for Document Image Classification [1.1470070927586016]
  我々は、アンサンブルトレーニング可能なネットワークのブロックとして機能する自己アテンションベースの融合モジュールを設計する。 トレーニング段階を通して、画像とテキストの区別された特徴を同時に学習することができる。 文書画像分類を行うための自己注意に基づく融合モジュールとともに、相互学習アプローチを活用するのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-05-11T16:05:03Z)
• Credit Assignment for Trained Neural Networks Based on Koopman Operator Theory [3.130109807128472]
  ニューラルネットワークのクレジット割り当て問題は、最終的な出力に対する各ネットワークコンポーネントのクレジットを評価することを指す。 本稿では,ニューラルネットワークの信頼割当問題に対する線形力学の代替的視点について述べる。 典型的なニューラルネットワークを用いた実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-12-02T06:34:27Z)
• Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks [51.8723187709964]
  ニューラルネットワーク推論タスクのOOD一般化について検討する。 目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
  論文  参考訳（メタデータ） (2022-11-01T18:33:20Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Learning Structures for Deep Neural Networks [99.8331363309895]
  我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。 スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。 公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
  論文  参考訳（メタデータ） (2021-05-27T12:27:24Z)
• Collaborative Method for Incremental Learning on Classification and Generation [32.07222897378187]
  本稿では,ニューラルネットワークを用いたインクリメンタルなクラス学習のための新しいアルゴリズム,Incrmental Class Learning with Attribute Sharing (ICLAS)を導入する。 そのコンポーネントの1つであるincGANは、トレーニングデータよりも多彩な画像を生成することができる。 データ不足の困難な環境下で、ICLASは段階的に分類と生成ネットワークを訓練する。
  論文  参考訳（メタデータ） (2020-10-29T06:34:53Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• An Evaluation of Recent Neural Sequence Tagging Models in Turkish Named Entity Recognition [5.161531917413708]
  本研究では,条件付きランダムフィールド層を有する変圧器ベースネットワークを提案する。 本研究は,移動学習が形態的に豊かな言語処理に与える影響を定量化する文献に寄与する。
  論文  参考訳（メタデータ） (2020-05-14T06:54:07Z)
• Improved Code Summarization via a Graph Neural Network [96.03715569092523]
  一般に、ソースコード要約技術はソースコードを入力として使用し、自然言語記述を出力する。 これらの要約を生成するために、ASTのデフォルト構造によくマッチするグラフベースのニューラルアーキテクチャを使用するアプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-06T17:36:42Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)
• Stochastic encoding of graphs in deep learning allows for complex analysis of gender classification in resting-state and task functional brain networks from the UK Biobank [0.13706331473063876]
  我々は,機能的コネクトームを性別別に分類するために,CNNのアンサンブルに符号化手法を導入する。 課題と休息状態に関わる3つの脳ネットワークとその相互作用の塩分濃度を測定した。
  論文  参考訳（メタデータ） (2020-02-25T15:10:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。