論文の概要: DECSELFMASK: Leveraging Unlabeled Text via Self-Relevance-Guided Masking for Decoder-Only Classification

• arxiv url: http://arxiv.org/abs/2606.09466v1
• Date: Mon, 08 Jun 2026 13:21:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:07.08604
• Title: DECSELFMASK: Leveraging Unlabeled Text via Self-Relevance-Guided Masking for Decoder-Only Classification
• Title（参考訳）: DECSELFMASK:デコーダ専用分類のための自己関連誘導マスキングによるラベルなしテキストの活用
• Authors: Pietro Ferrazzi, Matteo Merler, Giovanni Bonetta, Alberto Lavelli, Bernardo Magnini,
• Abstract要約: DecSelfMaskは、分類タスクにおけるデコーダのみのパフォーマンスを向上させるアプローチである。 モデルを活用して、ラベルのないデータからトレーニング例を作成することで、一般的な自己学習アプローチを構築します。 イタリア病院の1.9万件の診療ノートから136件の業務に対してアプローチを検証した。
• 参考スコア（独自算出の注目度）: 4.08655791259336
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Classification tasks require annotated data, which can often be expensive, time-consuming, or even unfeasible to collect. This is the case of the medical domain, where large datasets often have few annotated examples. To address this, we propose DecSelfMask (Decoder Self-learning by Masking), an approach to enhance decoder-only performance on classification tasks. We build on common self-learning approaches by leveraging a model to create training examples from unlabeled data to propose a novel relevance-guided masking strategy. We use relevance attribution methods to determine what portions of unannotated texts are relevant for a task. We then create self-supervised training examples by masking out those portions, training the model to reconstruct them via next-token-prediction. We hypothesize that those examples convey knowledge about the structure and semantics of unannotated data that can be useful for downstream performance. We test our approach on 136 tasks from a collection of 1.9M clinical notes from an Italian hospital. We quantify DecSelfMask's impact on downstream tasks on 5 models of different scales and families, including a probing analysis. Experiments show consistent gains, outperforming standard supervised fine-tuning approaches (+19.9 points in Macro F1), synthetic label generation (+12.5), and continual pretraining (+6.3), as well as common baselines.
• Abstract（参考訳）: 分類タスクには注釈付きデータが必要です。 これは医学領域の場合で、大きなデータセットには注釈付きの例がほとんどないことが多い。 そこで我々はDecSelfMask (Decoder Self-learning by Masking)を提案する。 我々は、モデルを活用して、ラベルのないデータからトレーニング例を作成し、新しい関連性のあるマスキング戦略を提案することで、一般的な自己学習アプローチを構築します。 我々は、関連属性法を用いて、未注釈テキストのどの部分がタスクに関連しているかを決定する。 次に、これらの部分をマスクアウトして自己教師付きトレーニング例を作成し、次の予測によってモデルを再構築するように訓練する。 これらの例は、下流のパフォーマンスに有用な注釈のないデータの構造と意味に関する知識を伝達する、という仮説を立てる。 イタリア病院の1.9万件の診療ノートから136件の業務に対してアプローチを検証した。 DecSelfMaskがダウンストリームタスクに与える影響を、異なるスケールとファミリーの5つのモデルで定量化します。 実験では、一貫した利得、標準的な教師付き微調整アプローチ(マクロF1では+19.9ポイント)、合成ラベル生成(+12.5)、継続事前訓練(+6.3)、および共通のベースラインを達成している。

関連論文リスト

• Task-customized Masked AutoEncoder via Mixture of Cluster-conditional Experts [104.9871176044644]
  Masked Autoencoder (MAE) は,モデル事前学習において有望な結果が得られる自己教師型学習手法である。 我々は、新しいMAEベースの事前学習パラダイム、Mixture of Cluster-conditional Experts (MoCE)を提案する。 MoCEは、クラスタ条件ゲートを使用して、各専門家にセマンティックなイメージのみをトレーニングする。
  論文  参考訳（メタデータ） (2024-02-08T03:46:32Z)
• Mask-free OVIS: Open-Vocabulary Instance Segmentation without Manual Mask Annotations [86.47908754383198]
  Open-Vocabulary (OV) 法は、大規模な画像キャプチャペアと視覚言語モデルを利用して、新しいカテゴリを学習する。 提案手法は,イメージキャプションペアに存在するオブジェクトに対して,事前学習された視覚言語モデルの局所化能力を活用することで,擬似マスクアノテーションを生成する。 擬似マスクを用いてトレーニングした手法は,MS-COCOデータセットとOpenImagesデータセットのmAPスコアを大幅に改善する。
  論文  参考訳（メタデータ） (2023-03-29T17:58:39Z)
• Using Self-Supervised Pretext Tasks for Active Learning [7.214674613451605]
  本稿では,自己教師付きプレテキストタスクとユニークなデータサンプリング機能を利用して,困難かつ代表的なデータを選択する,新しいアクティブラーニング手法を提案する。 プレテキストタスク学習者は、未ラベルのセットでトレーニングされ、未ラベルのデータは、そのプレテキストタスクの損失によって、バッチにソートされ、グループ化される。 各イテレーションでは、メインタスクモデルを使用して、アノテートされるバッチで最も不確実なデータをサンプリングする。
  論文  参考訳（メタデータ） (2022-01-19T07:58:06Z)
• Revisiting Self-Training for Few-Shot Learning of Language Model [61.173976954360334]
  ラベル付きデータにはタスク関連情報が豊富に含まれており、言語モデルの素早い学習に有用であることが証明されている。 本研究では,言語モデルファインチューニングのための自己学習手法を再検討し,最先端のプロンプトベースの少ショット学習者,SFLMを提案する。
  論文  参考訳（メタデータ） (2021-10-04T08:51:36Z)
• Towards Good Practices for Efficiently Annotating Large-Scale Image Classification Datasets [90.61266099147053]
  多数の画像の分類ラベルを収集するための効率的なアノテーション戦略を検討する。 人間のラベリング作業を最小化するための修正とベストプラクティスを提案します。 ImageNet100の125kイメージサブセットのシミュレーション実験では、平均で0.35のアノテーションで80%のトップ-1の精度でアノテートできることが示されている。
  論文  参考訳（メタデータ） (2021-04-26T16:29:32Z)
• Robust Document Representations using Latent Topics and Metadata [17.306088038339336]
  本稿では,文書分類問題に対する事前学習型ニューラルネットワークモデルの微調整手法を提案する。 テキストとメタデータの両方をタスク形式でキャプチャする文書表現を生成します。 私たちのソリューションでは、メタデータを単にテキストで拡張するのではなく、明示的に組み込んでいます。
  論文  参考訳（メタデータ） (2020-10-23T21:52:38Z)
• Uncertainty-aware Self-training for Text Classification with Few Labels [54.13279574908808]
  本研究は,アノテーションのボトルネックを軽減するための半教師あり学習手法の1つとして,自己学習について研究する。 本稿では,基礎となるニューラルネットワークの不確実性推定を取り入れて,自己学習を改善する手法を提案する。 本手法では,クラス毎に20～30個のラベル付きサンプルをトレーニングに利用し,完全教師付き事前学習言語モデルの3%以内で検証を行う。
  論文  参考訳（メタデータ） (2020-06-27T08:13:58Z)
• UniT: Unified Knowledge Transfer for Any-shot Object Detection and Segmentation [52.487469544343305]
  オブジェクト検出とセグメンテーションの方法は、トレーニングのための大規模インスタンスレベルのアノテーションに依存します。 本稿では,直感的かつ統一的な半教師付きモデルを提案する。
  論文  参考訳（メタデータ） (2020-06-12T22:45:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。