論文の概要: IMO: Greedy Layer-Wise Sparse Representation Learning for Out-of-Distribution Text Classification with Pre-trained Models

• arxiv url: http://arxiv.org/abs/2404.13504v1
• Date: Sun, 21 Apr 2024 02:15:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-23 18:40:56.623892
• Title: IMO: Greedy Layer-Wise Sparse Representation Learning for Out-of-Distribution Text Classification with Pre-trained Models
• Title（参考訳）: IMO: 事前学習モデルを用いたアウト・オブ・ディストリビューションテキスト分類のためのGreedy Layer-Wise Sparse Representation Learning
• Authors: Tao Feng, Lizhen Qu, Zhuang Li, Haolan Zhan, Yuncheng Hua, Gholamreza Haffari,
• Abstract要約: 本研究は,モデルが1つのソースドメイン上でトレーニングされ,トレーニング中に見つからない複数のターゲットドメイン上でテストされる領域一般化の特定の問題に焦点を当てる。 Invariant features Masks for Out-of-Distribution text classification, to achieve OOD generalization by learning invariant features。
• 参考スコア（独自算出の注目度）: 56.10157988449818
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning models have made incredible progress, but they still struggle when applied to examples from unseen domains. This study focuses on a specific problem of domain generalization, where a model is trained on one source domain and tested on multiple target domains that are unseen during training. We propose IMO: Invariant features Masks for Out-of-Distribution text classification, to achieve OOD generalization by learning invariant features. During training, IMO would learn sparse mask layers to remove irrelevant features for prediction, where the remaining features keep invariant. Additionally, IMO has an attention module at the token level to focus on tokens that are useful for prediction. Our comprehensive experiments show that IMO substantially outperforms strong baselines in terms of various evaluation metrics and settings.
• Abstract（参考訳）: 機械学習モデルは驚くべき進歩を遂げていますが、目に見えないドメインの例に適用する際はまだ苦労しています。 本研究は,モデルが1つのソースドメイン上でトレーニングされ,トレーニング中に見つからない複数のターゲットドメイン上でテストされる領域一般化の特定の問題に焦点を当てる。 Invariant features Masks for Out-of-Distribution text classification, to achieve OOD generalization by learning invariant features。 トレーニング中、IMOはスパースマスク層を学習し、残りのフィーチャが不変である予測の無関係な特徴を取り除く。 さらに、IMOにはトークンレベルでの注意モジュールがあり、予測に有用なトークンに重点を置いている。 総合的な実験により、IMOは様々な評価指標や設定において、強いベースラインを著しく上回っていることが示された。

関連論文リスト

• Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
  最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。 より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。 これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
  論文  参考訳（メタデータ） (2024-03-26T12:47:39Z)
• Multivariate Prototype Representation for Domain-Generalized Incremental Learning [35.83706574551515]
  我々は、古いクラスを記憶し、新しいクラスに適応し、見えないドメインから確実にオブジェクトを分類できるDGCILアプローチを設計する。 我々の損失定式化は、分類境界を維持し、各クラスのドメイン固有情報を抑圧する。
  論文  参考訳（メタデータ） (2023-09-24T06:42:04Z)
• Self-Evolution Learning for Discriminative Language Model Pretraining [103.57103957631067]
  自己進化学習(Self-Evolution Learning、SE)は、単純で効果的なトークンマスキングと学習方法である。 SEは情報的だが未探索のトークンを学習することに集中し、新しいToken固有のラベル平滑化アプローチを導入してトレーニングを適応的に調整する。
  論文  参考訳（メタデータ） (2023-05-24T16:00:54Z)
• Distributional Shift Adaptation using Domain-Specific Features [41.91388601229745]
  オープンワールドのシナリオでは、ビッグデータのストリーミングはOut-Of-Distribution(OOD)になる。 特徴が不変か否かにかかわらず、一般の相関に依拠する単純かつ効果的な手法を提案する。 提案手法では,OODベースモデルによって同定された最も確実なサンプルを用いて,対象領域に効果的に適応する新しいモデルを訓練する。
  論文  参考訳（メタデータ） (2022-11-09T04:16:21Z)
• An Additive Instance-Wise Approach to Multi-class Model Interpretation [53.87578024052922]
  解釈可能な機械学習は、ブラックボックスシステムの特定の予測を駆動する要因に関する洞察を提供する。 既存の手法は主に、局所的な加法的あるいはインスタンス的なアプローチに従う説明的入力特徴の選択に重点を置いている。 本研究は,両手法の長所を生かし,複数の対象クラスに対する局所的な説明を同時に学習するためのグローバルフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-07T06:50:27Z)
• Few-Shot Classification in Unseen Domains by Episodic Meta-Learning Across Visual Domains [36.98387822136687]
  興味のあるカテゴリのラベル付き例がほとんどないため、いくつかのショット分類は、分類を実行することを目的としている。 本稿では,ドメイン一般化型少ショット分類のための一意学習フレームワークを提案する。 メタ学習戦略を進めることで、学習フレームワークは複数のソースドメインにまたがるデータを利用して、ドメイン不変の機能をキャプチャします。
  論文  参考訳（メタデータ） (2021-12-27T06:54:11Z)
• Learning to Ignore: Fair and Task Independent Representations [0.7106986689736827]
  本研究では,不変表現を学習するための共通フレームワークとして捉えることができることを示す。 表現は、データセットをサブグループに分割する敏感な属性に不変であると同時に、ターゲットを予測できるようにするべきです。 提案手法は,どの学習アルゴリズムでも,同じ特徴表現を持つ場合,サンプルを区別することは不可能である,という単純な観察に基づいている。
  論文  参考訳（メタデータ） (2021-01-11T17:33:18Z)
• Adaptive Risk Minimization: Learning to Adapt to Domain Shift [109.87561509436016]
  ほとんどの機械学習アルゴリズムの基本的な前提は、トレーニングとテストデータは、同じ基礎となる分布から引き出されることである。 本研究では,学習データをドメインに構造化し,複数のテスト時間シフトが存在する場合の領域一般化の問題点について考察する。 本稿では、適応リスク最小化(ARM)の枠組みを紹介し、モデルがトレーニング領域に適応することを学ぶことで、効果的な適応のために直接最適化される。
  論文  参考訳（メタデータ） (2020-07-06T17:59:30Z)
• Few-Shot Learning as Domain Adaptation: Algorithm and Analysis [120.75020271706978]
  わずかながらの学習は、目に見えないクラスを認識するために、目に見えないクラスから学んだ事前知識を使用する。 このクラス差による分布シフトは、ドメインシフトの特別なケースとみなすことができる。 メタラーニングフレームワークにおいて、そのようなドメインシフト問題に明示的に対処するために、注意を向けたプロトタイプドメイン適応ネットワーク(DAPNA)を提案する。
  論文  参考訳（メタデータ） (2020-02-06T01:04:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。