論文の概要: Don't Pay Attention, PLANT It: Pretraining Attention via Learning-to-Rank

• arxiv url: http://arxiv.org/abs/2410.23066v2
• Date: Sun, 05 Oct 2025 05:55:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 14:28:09.070846
• Title: Don't Pay Attention, PLANT It: Pretraining Attention via Learning-to-Rank
• Title（参考訳）: 注意を払ってはならない - ラーニング・トゥ・ランドによる注意の事前訓練
• Authors: Debjyoti Saha Roy, Byron C. Wallace, Javed A. Aslam,
• Abstract要約: PLANT (Pretrained and Leveraged Attention) - 注意を初期化するためのプラグイン・アンド・プレイ戦略。 PLANTは、相互情報ゲインによって導かれる事前訓練された学習と学習のモデルを用いて、ラベル固有の注意を植えることによって機能する。 ICDコーディング、法的トピック分類、コンテンツレコメンデーションなどのタスクにおいて、最先端の手法よりも優れています。
• 参考スコア（独自算出の注目度）: 13.036827996908896
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: State-of-the-art Extreme Multi-Label Text Classification models rely on multi-label attention to focus on key tokens in input text, but learning good attention weights is challenging. We introduce PLANT - Pretrained and Leveraged Attention - a plug-and-play strategy for initializing attention. PLANT works by planting label-specific attention using a pretrained Learning-to-Rank model guided by mutual information gain. This architecture-agnostic approach integrates seamlessly with large language model backbones such as Mistral-7B, LLaMA3-8B, DeepSeek-V3, and Phi-3. PLANT outperforms state-of-the-art methods across tasks including ICD coding, legal topic classification, and content recommendation. Gains are especially pronounced in few-shot settings, with substantial improvements on rare labels. Ablation studies confirm that attention initialization is a key driver of these gains. For code and trained models, see https://github.com/debjyotiSRoy/xcube/tree/plant
• Abstract（参考訳）: State-of-the-the-the-art Extreme Multi-Label Text Classification Modelは、入力テキストのキートークンにフォーカスするために、マルチラベルの注意に依存するが、注意重みの学習は困難である。 PLANT (Pretrained and Leveraged Attention) - 注意を初期化するためのプラグイン・アンド・プレイ戦略。 PLANTは、相互情報ゲインによって導かれる事前訓練された学習と学習のモデルを用いて、ラベル固有の注意を植えることによって機能する。 このアーキテクチャに依存しないアプローチは、Mistral-7B、LLaMA3-8B、DeepSeek-V3、Phi-3のような大きな言語モデルのバックボーンとシームレスに統合される。 PLANTは、ICDコーディング、法的トピック分類、コンテンツレコメンデーションなどのタスクにおいて、最先端の手法よりも優れています。 ゲインは特にわずかな設定で発音され、レアなラベルが大幅に改善されている。 アブレーション研究は、注意の初期化がこれらの利得の重要な要因であることを確認した。 コードとトレーニングされたモデルについては、https://github.com/debjyotiSRoy/xcube/tree/plantを参照してください。

関連論文リスト

• Forgetting: A New Mechanism Towards Better Large Language Model Fine-tuning [53.398270878295754]
  Supervised Fine-tuning (SFT) は、事前訓練された大規模言語モデル (LLM) において重要な役割を果たす。 各コーパス内のトークンを、モデルパフォーマンスを改善するのに有用かどうかに基づいて、正と負の2つの部分に分類することを提案する。 我々は、よく確立されたベンチマークで実験を行い、この忘れるメカニズムが全体のモデル性能を向上するだけでなく、より多様なモデル応答を促進することを発見した。
  論文  参考訳（メタデータ） (2025-08-06T11:22:23Z)
• The Achilles Heel of AI: Fundamentals of Risk-Aware Training Data for High-Consequence Models [0.0]
  高頻度ドメインのAIシステムは、厳密なリソース制約の下で運用しながら、稀で高インパクトなイベントを検出する必要がある。 ラベルのボリュームを情報的価値よりも優先する従来のアノテーション戦略は冗長性とノイズをもたらす。 本稿では、ラベルの多様性、モデル誘導選択、限界ユーティリティベースの停止を強調するトレーニングデータ戦略であるスマートサイズについて紹介する。
  論文  参考訳（メタデータ） (2025-05-20T22:57:35Z)
• SMOTExT: SMOTE meets Large Language Models [19.394116388173885]
  本稿では,SMOTE(Synthetic Minority Over-sampling)の概念をテキストデータに適用する新しい手法SMOTExTを提案する。 提案手法は,既存の2つの例のBERTベースの埋め込みを補間することにより,新しい合成例を生成する。 初期の実験では、生成されたデータのみを対象としたトレーニングモデルは、元のデータセットでトレーニングされたモデルと同等のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2025-05-19T17:57:36Z)
• Unbiased Max-Min Embedding Classification for Transductive Few-Shot Learning: Clustering and Classification Are All You Need [83.10178754323955]
  わずかなショットラーニングにより、モデルがいくつかのラベル付き例から一般化できる。 本稿では,Unbiased Max-Min Embedding Classification (UMMEC)法を提案する。 本手法は最小ラベル付きデータを用いて分類性能を著しく向上させ, 注釈付きLの最先端化を推し進める。
  論文  参考訳（メタデータ） (2025-03-28T07:23:07Z)
• READ: Reinforcement-based Adversarial Learning for Text Classification with Limited Labeled Data [7.152603583363887]
  BERTのような事前訓練されたトランスフォーマーモデルは、多くのテキスト分類タスクで大幅に向上している。 本稿では,強化学習に基づくテキスト生成と半教師付き対角学習アプローチをカプセル化する手法を提案する。 提案手法であるREADは、ラベルのないデータセットを用いて、強化学習を通じて多様な合成テキストを生成する。
  論文  参考訳（メタデータ） (2025-01-14T11:39:55Z)
• Improving Image Clustering with Artifacts Attenuation via Inference-Time Attention Engineering [1.8786950286587742]
  モデルのサイズが大きくなるにつれて、マルチヘッドアテンションのパッチにハイノームアーティファクトが異常に現れる。 推論中に注意関数を操作するITAE(Inference-Time Attention Engineering)を提案する。 ITAEは、複数のデータセットのクラスタリング精度を改善し、潜在空間でより表現力のある機能を示す。
  論文  参考訳（メタデータ） (2024-10-07T07:26:10Z)
• Adaptive Masking Enhances Visual Grounding [12.793586888511978]
  ローショット学習シナリオにおける語彙接地を改善するために,ガウス放射変調を用いた画像解釈型マスキングを提案する。 我々はCOCOやODinWを含むベンチマークデータセットに対するアプローチの有効性を評価し、ゼロショットタスクや少数ショットタスクにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-04T05:48:02Z)
• MU-MAE: Multimodal Masked Autoencoders-Based One-Shot Learning [3.520960737058199]
  マルチモーダルマスクオートエンコに基づくワンショット学習(Mu-MAE)を紹介する。 Mu-MAEは、マルチモーダルマスク付きオートエンコーダと、ウェアラブルセンサー用に調整された同期マスク戦略を統合している。 追加データを用いることなく、最大80.17%の精度で5方向のワンショット・マルチモーダル分類を実現している。
  論文  参考訳（メタデータ） (2024-08-08T06:16:00Z)
• Focus on the Core: Efficient Attention via Pruned Token Compression for Document Classification [6.660834045805309]
  BERTのような事前訓練されたトランスフォーマーは計算コストのかかる自己保持機構に悩まされる。 トークンプルーニングとトークンの組み合わせという2つの戦略を統合することを提案する。 さまざまなデータセットによる実験は、ベースラインモデルよりも優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-06-03T12:51:52Z)
• Efficient Prompt Tuning of Large Vision-Language Model for Fine-Grained Ship Classification [62.425462136772666]
  リモートセンシング(RS-FGSC)における船のきめ細かい分類は、クラス間の高い類似性とラベル付きデータの限られた可用性のために大きな課題となる。 大規模な訓練済みビジョンランゲージモデル(VLM)の最近の進歩は、少数ショット学習やゼロショット学習において印象的な能力を示している。 本研究は, 船種別分類精度を高めるために, VLMの可能性を生かしたものである。
  論文  参考訳（メタデータ） (2024-03-13T05:48:58Z)
• SeiT++: Masked Token Modeling Improves Storage-efficient Training [36.95646819348317]
  近年のDeep Neural Network(DNN)モデルでは,コンピュータビジョンタスクのパフォーマンスが大幅に向上している。 高度に一般化可能で高性能なビジョンモデルを実現するには、拡張データセットが必要である。 SeiTによる最近のブレークスルーは、Vector-Quantized (VQ)特徴ベクトル(トークン)を視覚分類のためのネットワーク入力として使用することを提案した。 本稿では,自己指導型事前学習のためのMasked Token Modeling (MTM)を統合し,SeyTを拡張した。
  論文  参考訳（メタデータ） (2023-12-15T04:11:34Z)
• Retrieval-Enhanced Contrastive Vision-Text Models [61.783728119255365]
  そこで本研究では,メモリから取得したクロスモーダルな情報を推論時に表現することで,その埋め込みを洗練できる視覚テキストモデルを提案する。 注目すべきことに、これは凍ったCLIPの上に軽量の単層核融合トランスを用いて行うことができる。 検索強化コントラスト訓練(RECO)がCLIPの性能を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-06-12T15:52:02Z)
• Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
  未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。 モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-09T17:26:53Z)
• How Knowledge Graph and Attention Help? A Quantitative Analysis into Bag-level Relation Extraction [66.09605613944201]
  バッグレベルの関係抽出(RE)における注意と知識グラフの効果を定量的に評価する。 その結果,(1)注目精度の向上は,エンティティ参照特徴を抽出するモデルの性能を損なう可能性があること,(2)注目性能は様々なノイズ分布パターンの影響が大きいこと,(3)KG強化された注目はRE性能を向上するが,その効果は注目度を向上させるだけでなく,先行するエンティティを組み込むことによっても改善することがわかった。
  論文  参考訳（メタデータ） (2021-07-26T09:38:28Z)
• SCARF: Self-Supervised Contrastive Learning using Random Feature Corruption [72.35532598131176]
  本稿では,特徴のランダムなサブセットを乱してビューを形成するコントラスト学習手法であるSCARFを提案する。 SCARFは既存の戦略を補完し、オートエンコーダのような代替手段より優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-29T08:08:33Z)
• Semi-supervised Left Atrium Segmentation with Mutual Consistency Training [60.59108570938163]
  3次元MR画像からの半教師付き左房分割のための新しいMultual Consistency Network(MC-Net)を提案する。 我々のMC-Netは1つのエンコーダと2つのわずかに異なるデコーダから構成されており、2つのデコーダの予測誤差は教師なしの損失として変換される。 我々は,公開左心房(la)データベース上でmc-netを評価し,ラベルなしデータを効果的に活用することで印象的な性能向上を実現する。
  論文  参考訳（メタデータ） (2021-03-04T09:34:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。