論文の概要: Efficient Document Embeddings via Self-Contrastive Bregman Divergence Learning

• arxiv url: http://arxiv.org/abs/2305.16031v2
• Date: Tue, 26 Mar 2024 09:16:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-28 01:30:07.902047
• Title: Efficient Document Embeddings via Self-Contrastive Bregman Divergence Learning
• Title（参考訳）: 自己Contrastive Bregman Divergence Learningによる効果的な文書埋め込み
• Authors: Daniel Saggau, Mina Rezaei, Bernd Bischl, Ilias Chalkidis,
• Abstract要約: 我々は、最先端の教師なしコントラスト学習法(SimCSE)を用いて、Longfomerベースの文書エンコーダを訓練する。 本稿では, 自己コントラスト型シアムネットワークとニューラルブレグマンネットワークの組み合わせが, 2つの線形分類設定において, ベースラインよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 25.788415207843677
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning quality document embeddings is a fundamental problem in natural language processing (NLP), information retrieval (IR), recommendation systems, and search engines. Despite recent advances in the development of transformer-based models that produce sentence embeddings with self-contrastive learning, the encoding of long documents (Ks of words) is still challenging with respect to both efficiency and quality considerations. Therefore, we train Longfomer-based document encoders using a state-of-the-art unsupervised contrastive learning method (SimCSE). Further on, we complement the baseline method -- siamese neural network -- with additional convex neural networks based on functional Bregman divergence aiming to enhance the quality of the output document representations. We show that overall the combination of a self-contrastive siamese network and our proposed neural Bregman network outperforms the baselines in two linear classification settings on three long document topic classification tasks from the legal and biomedical domains.
• Abstract（参考訳）: 学習品質文書の埋め込みは自然言語処理(NLP)、情報検索(IR)、レコメンデーションシステム、検索エンジンの基本的な問題である。 近年, 自己矛盾学習による文の埋め込みを生成するトランスフォーマーモデルの開発が進んでいるが, 長文(単語のK)の符号化は, 効率と品質の両面において依然として困難である。 そこで本稿では,SimCSE (State-of-the-the-art unsupervised contrastive learning method) を用いて,Longfomerベースの文書エンコーダを訓練する。 さらに,出力文書表現の質を高めることを目的とした機能的ブレグマン発散に基づく,新たな凸型ニューラルネットワークをベースラインとして,シアム型ニューラルネットワークを補完する。 提案するニューラルブレグマンネットワークと自己コントラスト型シアムネットワークの総合的な組み合わせは、法と生物医学の領域からの3つの長い文書トピック分類タスクにおいて、2つの線形分類設定においてベースラインよりも優れていることを示す。

関連論文リスト

• TPN: Transferable Proto-Learning Network towards Few-shot Document-Level Relation Extraction [9.4094500796859]
  文書レベルの関係抽出はNOTA関係表現のクロスドメイン転送性により性能が低下する。 本稿では,この課題に対処するため,Transferable Proto-Learning Network (TPN)を導入する。 TPNは3つのコアコンポーネントから構成される: ハイブリッド階層は、入力テキストのセマンティックコンテンツをアテンション情報と組み合わせてエンコードし、関係表現を強化する。
  論文  参考訳（メタデータ） (2024-10-01T05:37:31Z)
• Informed deep hierarchical classification: a non-standard analysis inspired approach [0.0]
  出力層の前に配置された特定のプロジェクション演算子を備えた多出力ディープニューラルネットワークで構成されている。 このようなアーキテクチャの設計は、LH-DNN(Lexicographic Hybrid Deep Neural Network)と呼ばれ、異なる研究分野と非常に離れた研究分野のツールを組み合わせることで実現されている。 アプローチの有効性を評価するために、階層的な分類タスクに適した畳み込みニューラルネットワークであるB-CNNと比較する。
  論文  参考訳（メタデータ） (2024-09-25T14:12:50Z)
• FaFCNN: A General Disease Classification Framework Based on Feature Fusion Neural Networks [4.097623533226476]
  本稿では,機能認識型統合相関ニューラルネットワーク (FaFCNN) を提案する。 実験結果から,事前学習による強化特徴を用いた訓練により,無作為森林法よりも高い性能向上が得られた。
  論文  参考訳（メタデータ） (2023-07-24T04:23:08Z)
• Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
  概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。 追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
  論文  参考訳（メタデータ） (2023-05-31T16:47:20Z)
• EAML: Ensemble Self-Attention-based Mutual Learning Network for Document Image Classification [1.1470070927586016]
  我々は、アンサンブルトレーニング可能なネットワークのブロックとして機能する自己アテンションベースの融合モジュールを設計する。 トレーニング段階を通して、画像とテキストの区別された特徴を同時に学習することができる。 文書画像分類を行うための自己注意に基づく融合モジュールとともに、相互学習アプローチを活用するのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-05-11T16:05:03Z)
• Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks [51.8723187709964]
  ニューラルネットワーク推論タスクのOOD一般化について検討する。 目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
  論文  参考訳（メタデータ） (2022-11-01T18:33:20Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Improved Code Summarization via a Graph Neural Network [96.03715569092523]
  一般に、ソースコード要約技術はソースコードを入力として使用し、自然言語記述を出力する。 これらの要約を生成するために、ASTのデフォルト構造によくマッチするグラフベースのニューラルアーキテクチャを使用するアプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-06T17:36:42Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。