論文の概要: Contrast Is All You Need

• arxiv url: http://arxiv.org/abs/2307.02882v1
• Date: Thu, 6 Jul 2023 09:36:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-07 14:35:39.560324
• Title: Contrast Is All You Need
• Title（参考訳）: コントラストが必要なのは
• Authors: Burak Kilic, Florix Bex, Albert Gatt
• Abstract要約: 我々は、ラベル付き法定データが小さく、不均衡なデータ・スカース分類シナリオを分析する。 本研究では,SetFit(Sentence Transformer Finetuning),コントラスト学習設定,法定規定分類タスクにおけるバニラ微調整設定の2つに着目した。
• 参考スコア（独自算出の注目度）: 3.2800968305157197
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this study, we analyze data-scarce classification scenarios, where available labeled legal data is small and imbalanced, potentially hurting the quality of the results. We focused on two finetuning objectives; SetFit (Sentence Transformer Finetuning), a contrastive learning setup, and a vanilla finetuning setup on a legal provision classification task. Additionally, we compare the features that are extracted with LIME (Local Interpretable Model-agnostic Explanations) to see which particular features contributed to the model's classification decisions. The results show that a contrastive setup with SetFit performed better than vanilla finetuning while using a fraction of the training samples. LIME results show that the contrastive learning approach helps boost both positive and negative features which are legally informative and contribute to the classification results. Thus a model finetuned with a contrastive objective seems to base its decisions more confidently on legally informative features.
• Abstract（参考訳）: 本研究では,ラベル付き法定データが小さく,不均衡であり,結果の質を損なう可能性のある,データスカース分類シナリオを分析する。 本研究では,SetFit(Sentence Transformer Finetuning),コントラスト学習設定,法定規定分類タスクにおけるバニラ微調整設定の2つに着目した。 さらに,lime (local interpretable model-agnostic explanations) で抽出された特徴を比較し,モデルの分類決定にどの特徴が寄与したかを確認する。 その結果,SetFitのコントラスト設定は,トレーニングサンプルのごく一部を使用しながら,バニラファインタニングよりも優れていた。 LIMEの結果から, 比較学習アプローチは, 法的に有意な肯定的特徴と否定的特徴の両方を増強し, 分類結果に寄与することが示唆された。 このように、対照的な目的によって微調整されたモデルは、その決定を法的に情報的特徴に基づいてより自信を持って下すように思われる。

関連論文リスト

• When resampling/reweighting improves feature learning in imbalanced classification?: A toy-model study [5.5730368125641405]
  クラス不均衡の存在下での特徴学習性能に対するクラスワイドリサンプリング/リウェイト効果を明らかにすることを目的とした二分分類のおもちゃモデルについて検討した。 その結果,再サンプリング/再重み付けの状況が,損失や分類器の選択に関係なく,最高の特徴学習性能を与えるケースが存在することがわかった。
  論文  参考訳（メタデータ） (2024-09-09T13:31:00Z)
• ActiveDC: Distribution Calibration for Active Finetuning [36.64444238742072]
  本研究では,アクティブ微調整タスクのためのActiveDCと呼ばれる新しい手法を提案する。 我々は,無ラベルプールにおける暗黙のカテゴリ情報を利用して,選択したサンプルの分布を校正する。 その結果,ActiveDCは画像分類タスクのベースライン性能を一貫して上回ることがわかった。
  論文  参考訳（メタデータ） (2023-11-13T14:35:18Z)
• Data-Centric Machine Learning in the Legal Domain [0.2624902795082451]
  本稿では,データセットの変化がモデルの性能に与える影響について考察する。 法律ドメインから公開されている3つのデータセットを用いて,そのサイズ,列車/テストの分割,および人間のラベル付け精度がパフォーマンスに与える影響について検討する。 観察された効果は、特にクラスごとのパフォーマンスを考慮した場合、驚くほど顕著である。
  論文  参考訳（メタデータ） (2022-01-17T23:05:14Z)
• FairIF: Boosting Fairness in Deep Learning via Influence Functions with Validation Set Sensitive Attributes [51.02407217197623]
  本稿では,FAIRIFという2段階の学習アルゴリズムを提案する。 サンプル重みが計算される再重み付きデータセットの損失を最小限に抑える。 FAIRIFは、様々な種類のバイアスに対して、フェアネスとユーティリティのトレードオフを良くしたモデルが得られることを示す。
  論文  参考訳（メタデータ） (2022-01-15T05:14:48Z)
• Not All Negatives are Equal: Label-Aware Contrastive Loss for Fine-grained Text Classification [0.0]
  2つの細粒度テキスト分類タスクにおいて、事前訓練された言語モデルの対照的な微調整を解析する。 クラス関係を比較対象関数に適応的に組み込んで、正と負の異なる評価を支援する。 ラベルを意識したContrastive Lossは,従来のコントラスト手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-09-12T04:19:17Z)
• Rethinking InfoNCE: How Many Negative Samples Do You Need? [54.146208195806636]
  半定量的理論フレームワークを用いて, InfoNCE に最適化された負のサンプル数について検討した。 トレーニングの有効性関数を最大化する$K$値を用いて,最適負サンプリング比を推定する。
  論文  参考訳（メタデータ） (2021-05-27T08:38:29Z)
• Unleashing the Power of Contrastive Self-Supervised Visual Models via Contrast-Regularized Fine-Tuning [94.35586521144117]
  コントラスト学習を微調整に適用することでさらにメリットが得られるか検討する。 本研究では,コントラスト正規化調律(core-tuning)を提案する。
  論文  参考訳（メタデータ） (2021-02-12T16:31:24Z)
• Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking Fairness and Algorithm Utility [54.179859639868646]
  Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。 学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。 本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-15T10:08:39Z)
• Adaptive Adversarial Logits Pairing [65.51670200266913]
  逆行訓練ソリューションであるAdversarial Logits Pairing (ALP)は、脆弱なものに比べて、高い貢献度を少なくする傾向にある。 これらの観測により,適応型対数対数対数対数対数対数法 (AALP) を設計し,ALPのトレーニングプロセスとトレーニングターゲットを変更する。 AALPは適応的な機能最適化モジュールと Guided Dropout から構成されており、より少ない高コントリビューション機能を体系的に追求する。
  論文  参考訳（メタデータ） (2020-05-25T03:12:20Z)
• Evaluating Models' Local Decision Boundaries via Contrast Sets [119.38387782979474]
  テストデータの体系的なギャップを埋めるのに役立つNLPのための新しいアノテーションパラダイムを提案する。 10種類のNLPデータセットに対してコントラストセットを作成することで,コントラストセットの有効性を示す。 我々のコントラストセットは明示的には逆ではないが、モデルの性能は元のテストセットよりも大幅に低い。
  論文  参考訳（メタデータ） (2020-04-06T14:47:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。