論文の概要: An Unsupervised Method for Estimating Class Separability of Datasets with Application to LLMs Fine-Tuning

• arxiv url: http://arxiv.org/abs/2305.15016v1
• Date: Wed, 24 May 2023 10:58:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 16:44:49.254108
• Title: An Unsupervised Method for Estimating Class Separability of Datasets with Application to LLMs Fine-Tuning
• Title（参考訳）: 教師なしによるデータセットのクラス分離可能性推定法とllms微調整への応用
• Authors: Najah Ghalyan, Kostis Gourgoulias, Yash Satsangi, Sean Moran, Maxime Labonne, Joseph Sabelja
• Abstract要約: 本稿ではラベルを必要とせずにデータのクラス分離性を推定する教師なし手法を提案する。 本稿では,いくつかのデータセットについて実験を行い,提案手法により推定したクラス分離性の間に明確な相関関係と整合性を示す。 提案手法は,言語モデルの微調整をいつ停止するか,あるいは継続するか,という決定をラベルを使わずに,効果的に支援することができる。
• 参考スコア（独自算出の注目度）: 2.1530718840070784
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: This paper proposes an unsupervised method that leverages topological characteristics of data manifolds to estimate class separability of the data without requiring labels. Experiments conducted in this paper on several datasets demonstrate a clear correlation and consistency between the class separability estimated by the proposed method with supervised metrics like Fisher Discriminant Ratio~(FDR) and cross-validation of a classifier, which both require labels. This can enable implementing learning paradigms aimed at learning from both labeled and unlabeled data, like semi-supervised and transductive learning. This would be particularly useful when we have limited labeled data and a relatively large unlabeled dataset that can be used to enhance the learning process. The proposed method is implemented for language model fine-tuning with automated stopping criterion by monitoring class separability of the embedding-space manifold in an unsupervised setting. The proposed methodology has been first validated on synthetic data, where the results show a clear consistency between class separability estimated by the proposed method and class separability computed by FDR. The method has been also implemented on both public and internal data. The results show that the proposed method can effectively aid -- without the need for labels -- a decision on when to stop or continue the fine-tuning of a language model and which fine-tuning iteration is expected to achieve a maximum classification performance through quantification of the class separability of the embedding manifold.
• Abstract（参考訳）: 本稿では,データ多様体の位相特性を利用してラベルを必要とせずにデータのクラス分離性を推定する教師なし手法を提案する。 提案手法により推定されたクラス分離性と,FDR(Fisher Discriminant Ratio)などの教師付き指標とラベルを必要とする分類器の相互検証との間には,明確な相関関係と整合性を示す。 これにより、半教師付き学習やトランスダクティブ学習のようなラベル付きデータとラベルなしデータの両方から学習することを目的とした学習パラダイムの実装が可能になる。 これは、ラベル付きデータと学習プロセスを強化するために使用できる比較的大きなラベル付きデータセットがある場合に特に有用です。 組込み空間多様体のクラス分離性を教師なし設定で監視することにより,自動停止基準付き言語モデルの微調整を実現する。 提案手法は,FDRによって計算されたクラス分離性とクラス分離性との間に明確な整合性を示す合成データ上で検証された。 この手法は、パブリックデータと内部データの両方に実装されている。 その結果、提案手法は、ラベルを必要とせずに、言語モデルの微調整をいつ停止または継続するかの決定を効果的に支援することができ、また、埋め込み多様体のクラス分離可能性の定量化により、最大分類性能を達成することが期待される。

関連論文リスト

• Rethinking Distance Metrics for Counterfactual Explainability [53.436414009687]
  本研究では, 反事実を参照領域から独立して引き出すのではなく, 基礎となるデータ分布からの参照と共同してサンプリングする, 反事実生成手法のフレーミングについて検討する。 我々は、幅広い設定に適用可能な、反ファクト的な類似性のために調整された距離メートル法を導出する。
  論文  参考訳（メタデータ） (2024-10-18T15:06:50Z)
• Enhancing Hyperspectral Image Prediction with Contrastive Learning in Low-Label Regime [0.810304644344495]
  自己教師付きコントラスト学習は、限られたラベル付きデータの課題に対処するための効果的なアプローチである。 単一ラベルと複数ラベルの分類タスクに対して,本手法の性能を評価する。
  論文  参考訳（メタデータ） (2024-10-10T10:20:16Z)
• Contextualizing the Limits of Model & Evaluation Dataset Curation on Semantic Similarity Classification Tasks [1.8130068086063336]
  本稿では,事前学習されたモデルとオープン評価データセットの制限が,バイナリ意味類似性分類タスクの性能評価にどう影響するかを示す。 1)これらのデータセットのキュレーションや事前学習したモデルトレーニング体制のエンドユーザー向けドキュメンテーションは容易にはアクセスできないことが多く,(2)現実の文脈でそのようなシステムを迅速に展開するための低摩擦と高需要を考えると,本研究では,データセット間の性能格差,埋め込み技術,距離測定値などを示す先行作業を強化する。
  論文  参考訳（メタデータ） (2023-11-03T17:12:07Z)
• Convolutional autoencoder-based multimodal one-class classification [80.52334952912808]
  1クラス分類は、単一のクラスからのデータを用いた学習のアプローチを指す。 マルチモーダルデータに適した深層学習一クラス分類法を提案する。
  論文  参考訳（メタデータ） (2023-09-25T12:31:18Z)
• Fine-Grained Visual Classification using Self Assessment Classifier [12.596520707449027]
  識別的特徴の抽出は、きめ細かい視覚的分類タスクにおいて重要な役割を担っている。 本稿では,画像とトップkの予測クラスを同時に活用する自己評価手法を提案する。 本手法は,CUB200-2011,Stanford Dog,FGVC Aircraft のデータセットに対して,最新の結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-05-21T07:41:27Z)
• Resolving label uncertainty with implicit posterior models [71.62113762278963]
  本稿では,データサンプルのコレクション間でラベルを共同で推論する手法を提案する。 異なる予測子を後部とする生成モデルの存在を暗黙的に仮定することにより、弱い信念の下での学習を可能にする訓練目標を導出する。
  論文  参考訳（メタデータ） (2022-02-28T18:09:44Z)
• Discriminative Attribution from Counterfactuals [64.94009515033984]
  本稿では,特徴属性と反実的説明を組み合わせたニューラルネットワークの解釈可能性について述べる。 本手法は,特徴属性法の性能を客観的に評価するために有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-28T00:53:34Z)
• Binary Classification from Multiple Unlabeled Datasets via Surrogate Set Classification [94.55805516167369]
  我々は m 個の U 集合を $mge2$ で二進分類する新しい手法を提案する。 我々のキーとなる考え方は、サロゲート集合分類(SSC)と呼ばれる補助的分類タスクを考えることである。
  論文  参考訳（メタデータ） (2021-02-01T07:36:38Z)
• Visualization of Supervised and Self-Supervised Neural Networks via Attribution Guided Factorization [87.96102461221415]
  クラスごとの説明性を提供するアルゴリズムを開発した。 実験の広範なバッテリーでは、クラス固有の可視化のための手法の能力を実証する。
  論文  参考訳（メタデータ） (2020-12-03T18:48:39Z)
• Classifier Chains: A Review and Perspectives [3.752624871808558]
  分類器連鎖と呼ばれる手法の系統は、多ラベル学習問題に対する一般的なアプローチとなっている。 この研究は、文献で提供される技術と拡張のレビューと、将来マルチラベル分類の分野におけるこのアプローチの展望を提供する。
  論文  参考訳（メタデータ） (2019-12-26T11:44:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。