論文の概要: BioNCERE: Non-Contrastive Enhancement For Relation Extraction In Biomedical Texts

• arxiv url: http://arxiv.org/abs/2410.23583v1
• Date: Thu, 31 Oct 2024 02:51:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 17:03:16.259340
• Title: BioNCERE: Non-Contrastive Enhancement For Relation Extraction In Biomedical Texts
• Title（参考訳）: BioNCERE: バイオメディカルテキストにおける関係抽出のための非競合性強化
• Authors: Farshad Noravesh,
• Abstract要約: 生物医学領域における関係抽出(RE)の最先端モデルは異方性の問題に悩まされる可能性がある。 対照的な学習法は、この異方性現象を減らし、クラス崩壊を避けるのに役立つ。 BioNCEREは、トランスファーラーニングと非コントラスト学習を使用して、完全なあるいは次元の崩壊を避けるとともに、バイパスオーバーフィッティングを回避している。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: State-of-the-art models for relation extraction (RE) in the biomedical domain consider finetuning BioBERT using classification, but they may suffer from the anisotropy problem. Contrastive learning methods can reduce this anisotropy phenomena, and also help to avoid class collapse in any classification problem. In the present paper, a new training method called biological non-contrastive relation extraction (BioNCERE) is introduced for relation extraction without using any named entity labels for training to reduce annotation costs. BioNCERE uses transfer learning and non-contrastive learning to avoid full or dimensional collapse as well as bypass overfitting. It resolves RE in three stages by leveraging transfer learning two times. By freezing the weights learned in previous stages in the proposed pipeline and by leveraging non-contrastive learning in the second stage, the model predicts relations without any knowledge of named entities. Experiments have been done on SemMedDB that are almost similar to State-of-the-art performance on RE without using the information of named entities.
• Abstract（参考訳）: バイオメディカル領域における関係抽出(RE)の最先端モデルは、分類を用いてBioBERTを微調整することを検討するが、それらは異方性の問題に悩まされる。 対照的な学習法は、この異方性現象を減らし、クラス崩壊を避けるのに役立つ。 本稿では,生物非競合関係抽出(biological non-contrastive relation extract, BioNCERE)と呼ばれる新たなトレーニング手法を提案する。 BioNCEREは、トランスファーラーニングと非コントラスト学習を使用して、完全なあるいは次元の崩壊を避けるとともに、バイパスオーバーフィッティングを回避している。 転送学習を2回活用することで、REを3段階に分解する。 提案したパイプラインの前の段階で学んだ重みを凍結し、第2段階で非競合学習を活用することにより、モデルは名前付きエンティティの知識のない関係を予測する。 SemMedDBの実験は、名前付きエンティティの情報を使わずに、REの最先端のパフォーマンスにほぼ似ている。

関連論文リスト

• Seeing Unseen: Discover Novel Biomedical Concepts via Geometry-Constrained Probabilistic Modeling [53.7117640028211]
  同定された問題を解決するために,幾何制約付き確率的モデリング処理を提案する。 構成された埋め込み空間のレイアウトに適切な制約を課すために、重要な幾何学的性質のスイートを組み込む。 スペクトルグラフ理論法は、潜在的な新規クラスの数を推定するために考案された。
  論文  参考訳（メタデータ） (2024-03-02T00:56:05Z)
• Graph Relation Distillation for Efficient Biomedical Instance Segmentation [80.51124447333493]
  本稿では,効率的なバイオメディカル・インスタンス・セグメンテーションのためのグラフ関係蒸留手法を提案する。 画像内レベルと画像間レベルの両方に展開する2つのグラフ蒸留方式を導入する。 多くのバイオメディカルデータセットの実験結果から,本手法の有効性が検証された。
  論文  参考訳（メタデータ） (2024-01-12T04:41:23Z)
• Improving Biomedical Entity Linking with Retrieval-enhanced Learning [53.24726622142558]
  $k$NN-BioELは、トレーニングコーパス全体から同様のインスタンスを予測のヒントとして参照する機能を備えたBioELモデルを提供する。 k$NN-BioELは、いくつかのデータセットで最先端のベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-12-15T14:04:23Z)
• ReOnto: A Neuro-Symbolic Approach for Biomedical Relation Extraction [3.263873198567265]
  ReOnto Relation extract (RE)は、文中のエンティティ間の意味関係を抽出し、語彙で定義された関係に整合させるタスクである。 本稿では,REタスクに神経記号的知識を活用する新しい手法を提案する。 BioRel と ADE の2つの公開バイオメディカルデータセットによる実験結果から,本手法がすべての基準値を上回っていることが確認された。
  論文  参考訳（メタデータ） (2023-09-04T05:36:58Z)
• Can NLI Provide Proper Indirect Supervision for Low-resource Biomedical Relation Extraction? [39.17663642263077]
  生医学的関係抽出(RE)における2つの重要な障害は、アノテーションの不足と、明示的に定義されたラベルのないインスタンスの出現である。 バイオメディカルREを多クラス分類タスクとして扱う既存のアプローチでは、低リソース環境での一般化が不十分な場合が多い。 バイオメディカルREを自然言語推論の定式化として間接的な監督によって変換するNBRを提案する。
  論文  参考訳（メタデータ） (2022-12-21T05:49:08Z)
• Joint Learning-based Causal Relation Extraction from Biomedical Literature [15.92139180835277]
  BioCreative-V Track 4 corpus の実験結果から,我々の共同学習モデルは,BEL 文抽出における個別モデルよりも優れていた。 これにより、我々の共同学習システムは、他のシステムと比較してステージ2における最先端のパフォーマンスに達することが示される。
  論文  参考訳（メタデータ） (2022-08-02T08:54:57Z)
• Does constituency analysis enhance domain-specific pre-trained BERT models for relation extraction? [0.0]
  BioCreative VII の DrugProt トラックは、関係抽出システムの開発と評価のための手動注釈付きコーパスを提供する。 本稿では,提案提案に使用したアンサンブルシステムについて述べる。このシステムでは,細調整されたbioBERT,sciBERT,const-bioBERTモデルを多数決で予測する。
  論文  参考訳（メタデータ） (2021-11-25T10:27:10Z)
• Gradient Imitation Reinforcement Learning for Low Resource Relation Extraction [52.63803634033647]
  低リソース関係抽出(LRE)は,人間のアノテーションが不足している場合に,ラベル付きコーパスから関係事実を抽出することを目的としている。 我々は、擬似ラベルデータにラベル付きデータへの勾配降下方向を模倣するように促すグラディエント・イミテーション強化学習法を開発した。 また,低リソース関係抽出における2つの主要なシナリオを扱うGradLREというフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-14T03:51:15Z)
• Federated Semi-supervised Medical Image Classification via Inter-client Relation Matching [58.26619456972598]
  フェデレートラーニング(FL)は、ディープ・ネットワークのトレーニングのために、分散医療機関とのコラボレーションで人気が高まっている。 本報告では,実践的かつ困難なFL問題であるtextitFederated Semi-supervised Learning (FSSL)について検討する。 本稿では, 従来の整合性正規化機構を改良し, クライアント間関係マッチング方式を提案する。
  論文  参考訳（メタデータ） (2021-06-16T07:58:00Z)
• ATSO: Asynchronous Teacher-Student Optimization for Semi-Supervised Medical Image Segmentation [99.90263375737362]
  教師-学生最適化の非同期版であるATSOを提案する。 ATSOはラベルのないデータを2つのサブセットに分割し、モデルの微調整に1つのサブセットを交互に使用し、他のサブセットのラベルを更新する。 医用画像のセグメンテーションデータセットを2つ評価し,様々な半教師付き環境において優れた性能を示す。
  論文  参考訳（メタデータ） (2020-06-24T04:05:12Z)
• A Data-driven Approach for Noise Reduction in Distantly Supervised Biomedical Relation Extraction [2.771933807499954]
  エンティティ強化関係分類 BERT モデルを複数インスタンス学習の問題に拡張する。 ノイズを著しく低減する単純なデータ符号化方式を定義する。 提案手法はさらに,関係学習の方向性に関する知識を符号化し,関係学習に焦点をあてることを可能にした。
  論文  参考訳（メタデータ） (2020-05-26T08:15:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。