論文の概要: $\textit{GeoHard}$: Towards Measuring Class-wise Hardness through Modelling Class Semantics
- arxiv url: http://arxiv.org/abs/2407.12512v1
- Date: Wed, 17 Jul 2024 11:53:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-18 17:17:27.314658
- Title: $\textit{GeoHard}$: Towards Measuring Class-wise Hardness through Modelling Class Semantics
- Title（参考訳）: $\textit{GeoHard}$: クラスセマンティックスをモデル化してクラスのハードネスを測定する
- Authors: Fengyu Cai, Xinran Zhao, Hongming Zhang, Iryna Gurevych, Heinz Koeppl,
- Abstract要約: この作業は、$textitclass-wise hardness$という概念を正式に開始する。
8つの自然言語理解(NLU)データセットに対する実験は、学習パラダイム、モデル、人間の判断にまたがる一貫した硬さ分布を示す。
$textitGeoHard$は、$textitPearson$のクラスワイド硬度測定の相関で、インスタンスレベルのメトリクスを59%以上上回る。
- 参考スコア（独自算出の注目度）: 90.9047957137981
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advances in measuring hardness-wise properties of data guide language models in sample selection within low-resource scenarios. However, class-specific properties are overlooked for task setup and learning. How will these properties influence model learning and is it generalizable across datasets? To answer this question, this work formally initiates the concept of $\textit{class-wise hardness}$. Experiments across eight natural language understanding (NLU) datasets demonstrate a consistent hardness distribution across learning paradigms, models, and human judgment. Subsequent experiments unveil a notable challenge in measuring such class-wise hardness with instance-level metrics in previous works. To address this, we propose $\textit{GeoHard}$ for class-wise hardness measurement by modeling class geometry in the semantic embedding space. $\textit{GeoHard}$ surpasses instance-level metrics by over 59 percent on $\textit{Pearson}$'s correlation on measuring class-wise hardness. Our analysis theoretically and empirically underscores the generality of $\textit{GeoHard}$ as a fresh perspective on data diagnosis. Additionally, we showcase how understanding class-wise hardness can practically aid in improving task learning.
- Abstract（参考訳）: 低リソースシナリオにおけるサンプル選択におけるデータガイド言語モデルの硬度ワイド特性測定の最近の進歩
しかし、クラス固有のプロパティはタスクの設定と学習のために見過ごされている。
これらの特性はモデル学習にどのように影響し、データセット間で一般化可能か?
この質問に答えるために、この研究は$\textit{class-wise hardness}$という概念を正式に開始する。
8つの自然言語理解(NLU)データセットに対する実験は、学習パラダイム、モデル、人間の判断にまたがる一貫した硬さ分布を示す。
その後の実験では、そのようなクラスレベルの硬さを以前の研究でインスタンスレベルのメトリクスで測定する上で、顕著な課題が明らかにされた。
これを解決するために,クラス幾何学をセマンティック埋め込み空間内でモデル化することにより,クラスワイド硬度測定のための$\textit{GeoHard}$を提案する。
$\textit{GeoHard}$は、$\textit{Pearson}$でインスタンスレベルのメトリクスを59%以上超えます。
我々の分析は、データ診断の新しい視点として$\textit{GeoHard}$の一般化を理論的に実証的に裏付けている。
さらに,授業の難易度を理解することが,タスク学習の改善に有効であることを示す。
関連論文リスト
- Controllable Context Sensitivity and the Knob Behind It [53.70327066130381]
予測を行う場合、言語モデルは、そのコンテキストとそれ以前の知識にどれだけ依存しているかをトレードオフする必要があります。
我々は,この感性を制御するノブを探索し,言語モデルが文脈から応答するか,それ以前の知識から応答するかを判断する。
論文 参考訳（メタデータ） (2024-11-11T22:22:21Z) - How to Leverage Demonstration Data in Alignment for Large Language Model? A Self-Imitation Learning Perspective [17.956310574300765]
本稿では,新しい自己アニメーション学習フレームワーク(textbfGSIL$)を紹介する。
大規模な言語モデルとオフラインのデモデータとを効果的に効率的に整列する。
$textbfGSIL$一貫性があり、多くの挑戦的なベンチマークでベースラインをはるかに上回っている。
論文 参考訳（メタデータ） (2024-10-14T02:21:29Z) - The Unreasonable Effectiveness of Easy Training Data for Hard Tasks [84.30018805150607]
既存の事前学習言語モデルが比較的容易にハードなデータから一般化されることがしばしばあるという驚くべき結論を提示する。
本稿では,テキスト内学習,線形ヘッド,QLoRAなどの簡単な微調整手法を用いて,このような難解な一般化を実演する。
本研究は, LMの難解な一般化が, 研究課題に対して驚くほど強いことを結論づける。
論文 参考訳（メタデータ） (2024-01-12T18:36:29Z) - Statistical learning on measures: an application to persistence diagrams [0.0]
有限次元ユークリッド空間にデータを持つ代わりに、コンパクト空間 $mathcalX$ の測度を観測するバイナリ教師付き学習分類問題を考える。
当社のフレームワークは,私たちが対処可能な入力データに対して,より柔軟性と多様性を実現しています。
このようなフレームワークは多くの可能なアプリケーションを持っていますが、この作業は永続図と呼ばれるトポロジ的記述子によるデータの分類に強く重点を置いています。
論文 参考訳（メタデータ） (2023-03-15T09:01:37Z) - Characterizing Datapoints via Second-Split Forgetting [93.99363547536392]
我々は、オリジナルのトレーニング例が忘れられた後(もしあれば)のエポックを追跡する補足的メトリックである$$-second-$split$$forgetting$$$time$ (SSFT)を提案する。
例えば$mislabeled$の例はすぐに忘れられ、$rare$の例は比較的ゆっくりと忘れられています。
SSFTは、(i)間違ったラベル付きサンプルを識別し、その除去により一般化が向上し、(ii)障害モードに関する洞察を提供する。
論文 参考訳（メタデータ） (2022-10-26T21:03:46Z) - Information-Theoretic Measures of Dataset Difficulty [54.538766940287864]
データセットの難しさを推定するには、通常、最先端のモデルを人間と比較する。
使用可能な情報の欠如として、フレーミングデータセットの難しさを考慮した情報理論的な視点を提案する。
論文 参考訳（メタデータ） (2021-10-16T00:21:42Z) - PyHard: a novel tool for generating hardness embeddings to support
data-centric analysis [0.38233569758620045]
PyHardは、複数のMLモデルの予測パフォーマンスに関連するデータセットの硬度埋め込みを生成する。
ユーザは、この埋め込みを複数の方法で操作することで、データとアルゴリズムのパフォーマンスに関する有用な洞察を得ることができる。
我々は、この分析が、MLモデルに挑戦するハードな観察のポケットの識別をどのように支援したかを示す。
論文 参考訳（メタデータ） (2021-09-29T14:08:26Z) - Geometry matters: Exploring language examples at the decision boundary [2.7249290070320034]
BERT、CNN、fasttextは、高い難易度例において単語置換の影響を受けやすい。
YelpReviewPolarityでは、レジリエンスと摂動の相関係数-0.4と難易度との相関係数を観測する。
我々のアプローチは単純でアーキテクチャに依存しないものであり、テキスト分類モデルの華やかさの研究に利用できる。
論文 参考訳（メタデータ） (2020-10-14T16:26:13Z) - UniT: Unified Knowledge Transfer for Any-shot Object Detection and
Segmentation [52.487469544343305]
オブジェクト検出とセグメンテーションの方法は、トレーニングのための大規模インスタンスレベルのアノテーションに依存します。
本稿では,直感的かつ統一的な半教師付きモデルを提案する。
論文 参考訳（メタデータ） (2020-06-12T22:45:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。