論文の概要: HILL: Hierarchy-aware Information Lossless Contrastive Learning for Hierarchical Text Classification
- arxiv url: http://arxiv.org/abs/2403.17307v1
- Date: Tue, 26 Mar 2024 01:29:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-27 17:05:31.355765
- Title: HILL: Hierarchy-aware Information Lossless Contrastive Learning for Hierarchical Text Classification
- Title（参考訳）: HILL:階層型テキスト分類のための階層型情報ロスレスコントラスト学習
- Authors: He Zhu, Junran Wu, Ruomei Liu, Yue Hou, Ze Yuan, Shangzhe Li, Yicheng Pan, Ke Xu,
- Abstract要約: 本稿では,入力サンプルに固有の意味的・統語的情報を適切に予約したコントラッシブ学習方式の実現可能性について検討する。
構造エンコーダは、文書埋め込みを入力として、ラベル階層固有の本質的な構文情報を抽出し、構文情報をテキスト表現に注入する。
HILLの優位性を検証するために,3つの共通データセットの実験を行った。
- 参考スコア（独自算出の注目度）: 12.930158528823524
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Existing self-supervised methods in natural language processing (NLP), especially hierarchical text classification (HTC), mainly focus on self-supervised contrastive learning, extremely relying on human-designed augmentation rules to generate contrastive samples, which can potentially corrupt or distort the original information. In this paper, we tend to investigate the feasibility of a contrastive learning scheme in which the semantic and syntactic information inherent in the input sample is adequately reserved in the contrastive samples and fused during the learning process. Specifically, we propose an information lossless contrastive learning strategy for HTC, namely \textbf{H}ierarchy-aware \textbf{I}nformation \textbf{L}ossless contrastive \textbf{L}earning (HILL), which consists of a text encoder representing the input document, and a structure encoder directly generating the positive sample. The structure encoder takes the document embedding as input, extracts the essential syntactic information inherent in the label hierarchy with the principle of structural entropy minimization, and injects the syntactic information into the text representation via hierarchical representation learning. Experiments on three common datasets are conducted to verify the superiority of HILL.
- Abstract（参考訳）: 既存の自然言語処理(NLP)、特に階層型テキスト分類(HTC)は、主に自己教師型コントラスト学習に重点を置いており、コントラスト的なサンプルを生成するための人間設計の強化ルールに非常に依存している。
本稿では,入力サンプルに固有の意味的・統語的情報が,比較サンプルに適切に保持され,学習過程中に融合するコントラスト学習方式の実現可能性について検討する。
具体的には,HTCにおける情報損失のないコントラスト学習戦略,すなわち,入力文書を表すテキストエンコーダと,その正のサンプルを直接生成する構造エンコーダとからなる,情報損失のないコントラスト学習戦略を提案する。
構造エンコーダは、文書埋め込みを入力として、構造エントロピー最小化の原則によりラベル階層に固有の本質的な構文情報を抽出し、階層的表現学習を介してテキスト表現に構文情報を注入する。
HILLの優位性を検証するために,3つの共通データセットの実験を行った。
関連論文リスト
- Boosting Semi-Supervised Scene Text Recognition via Viewing and Summarizing [71.29488677105127]
既存のシーンテキスト認識(STR)手法は、特に芸術的で歪んだ文字に対して、挑戦的なテキストを認識するのに苦労している。
人的コストを伴わずに、合成データと実際のラベルなしデータを活用して、対照的な学習ベースのSTRフレームワークを提案する。
本手法は,共通ベンチマークとUnion14M-Benchmarkで平均精度94.7%,70.9%のSOTA性能を実現する。
論文 参考訳（メタデータ） (2024-11-23T15:24:47Z) - Neural Sequence-to-Sequence Modeling with Attention by Leveraging Deep Learning Architectures for Enhanced Contextual Understanding in Abstractive Text Summarization [0.0]
本稿では,単一文書の抽象TSのための新しいフレームワークを提案する。
構造、セマンティック、およびニューラルベースアプローチの3つの主要な側面を統合している。
その結果, 希少語, OOV語処理の大幅な改善が示唆された。
論文 参考訳（メタデータ） (2024-04-08T18:33:59Z) - Text2Data: Low-Resource Data Generation with Textual Control [104.38011760992637]
自然言語は、人間が機械とシームレスに対話するための共通かつ直接的な制御信号として機能する。
ラベルのないデータを用いて教師なし拡散モデルを用いて基礎となるデータ分布を理解する新しいアプローチであるText2Dataを提案する。
制御性を確保し、破滅的な忘れを効果的に防止する、新しい制約最適化ベースの学習目標を通じて制御可能な微調整を行う。
論文 参考訳（メタデータ） (2024-02-08T03:41:39Z) - Improving Mandarin Prosodic Structure Prediction with Multi-level
Contextual Information [68.89000132126536]
本研究は,音声間言語情報を用いて韻律構造予測(PSP)の性能を向上させることを提案する。
提案手法は,韻律語(PW),韻律語(PPH),国際語句(IPH)の予測におけるF1スコアの向上を実現する。
論文 参考訳（メタデータ） (2023-08-31T09:19:15Z) - An xAI Approach for Data-to-Text Processing with ASP [39.58317527488534]
本稿では,xAI要求に準拠するフレームワークを提案する。
テキスト記述は階層的に整理され、テキストがさらに詳細で豊かになるトップダウン構造になっている。
自然言語記述の構造の生成も論理規則によって管理される。
論文 参考訳（メタデータ） (2023-08-30T09:09:09Z) - Relational Contrastive Learning for Scene Text Recognition [22.131554868199782]
従来の文脈情報は、異種テキストや背景から、テキストプリミティブの関係と解釈できると論じる。
本稿では,再構成,階層化,インタラクションによるテキスト関係の強化と,RCLSTR: Contrastive Learning for Scene Text Recognitionと呼ばれる統合フレームワークの設計を提案する。
論文 参考訳（メタデータ） (2023-08-01T12:46:58Z) - Informative Text Generation from Knowledge Triples [56.939571343797304]
本稿では,トレーニング中に学習した有用な知識を記憶するために,メモリネットワークを利用した新しいメモリ拡張ジェネレータを提案する。
我々は、新しい設定のためのWebNLGからデータセットを導き、我々のモデルの有効性を調べるための広範な実験を行う。
論文 参考訳（メタデータ） (2022-09-26T14:35:57Z) - Self-Supervised Visual Representation Learning with Semantic Grouping [50.14703605659837]
我々は、未ラベルのシーン中心のデータから視覚表現を学習する問題に取り組む。
本研究では,データ駆動型セマンティックスロット,すなわちSlotConによる協調型セマンティックグルーピングと表現学習のためのコントラスト学習を提案する。
論文 参考訳（メタデータ） (2022-05-30T17:50:59Z) - CRIS: CLIP-Driven Referring Image Segmentation [71.56466057776086]
エンドツーエンドのCLIP駆動参照画像フレームワーク(CRIS)を提案する。
CRISは、テキストとピクセルのアライメントを達成するために、視覚言語によるデコーディングとコントラスト学習に頼っている。
提案するフレームワークは, 後処理を伴わずに, 最先端の性能を著しく向上させる。
論文 参考訳（メタデータ） (2021-11-30T07:29:08Z) - Learning Syntactic and Dynamic Selective Encoding for Document
Summarization [17.666036645395845]
本稿では,文書要約のための新しいニューラルネットワークを提案する。
木を解析する選挙区解析などの構文情報をエンコードシーケンスに組み込む。
そこで本稿では,デコーダ状態のコンテキストに基づいて有能な情報を選択するための動的ゲートネットワークを提案する。
論文 参考訳（メタデータ） (2020-03-25T01:29:38Z) - Hybrid Attention-Based Transformer Block Model for Distant Supervision
Relation Extraction [20.644215991166902]
DSREタスクを実行するために,マルチインスタンス学習を用いたハイブリッドアテンションベースのトランスフォーマーブロックを用いた新しいフレームワークを提案する。
提案手法は評価データセットの最先端アルゴリズムより優れている。
論文 参考訳（メタデータ） (2020-03-10T13:05:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。