論文の概要: Ground-Truth Labels Matter: A Deeper Look into Input-Label Demonstrations

• arxiv url: http://arxiv.org/abs/2205.12685v1
• Date: Wed, 25 May 2022 11:45:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-27 00:32:16.944564
• Title: Ground-Truth Labels Matter: A Deeper Look into Input-Label Demonstrations
• Title（参考訳）: ground-truth labels matter: 入力ラベルのデモをより深く見る
• Authors: Junyeob Kim, Hyuhng Joon Kim, Hyunsoo Cho, Hwiyeol Jo, Sang-Woo Lee, Sang-goo Lee, Kang Min Yoo, Taeuk Kim
• Abstract要約: 多様な統計的観点からの文脈内学習における基礎的真理ラベルの重要性を再検討する。 入力ラベルマッチングが与える影響は,構成によって異なることが判明した。 実証の役割に関する以前の重要な発見を反映して、補完的で対照的な結果は、コンテキスト内学習のデモンストレーションにおける各コンポーネントの影響を見積もる際に、もっと注意する必要があることを示唆している。
• 参考スコア（独自算出の注目度）: 24.4448939670066
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite recent explosion in research interests, in-context learning and the precise impact of the quality of demonstrations remain elusive. While, based on current literature, it is expected that in-context learning shares a similar mechanism to supervised learning, Min et al. (2022) recently reported that, surprisingly, input-label correspondence is less important than other aspects of prompt demonstrations. Inspired by this counter-intuitive observation, we re-examine the importance of ground truth labels on in-context learning from diverse and statistical points of view. With the aid of the newly introduced metrics, i.e., Ground-truth Label Effect Ratio (GLER), demo-gain, and label sensitivity, we find that the impact of the correct input-label matching can vary according to different configurations. Expanding upon the previous key finding on the role of demonstrations, the complementary and contrastive results suggest that one might need to take more care when estimating the impact of each component in in-context learning demonstrations.
• Abstract（参考訳）: 最近の研究関心の爆発にもかかわらず、文脈内学習とデモの質の正確な影響はいまだに解明されていない。 現在の文献によれば、インコンテキスト学習は教師付き学習と同じようなメカニズムを持つことが期待されているが、min et al. (2022) は最近、驚くほど、インプットラベル対応はプロンプトデモンストレーションの他の側面よりも重要でないと報告している。 この反直観的な観察から着想を得た我々は、多様な統計的観点からの文脈内学習における基底真理ラベルの重要性を再検討する。 新たに導入された指標であるGLER(Ground-Truth Label Effect Ratio)、デモゲイン(demo-gein)、ラベル感度(labor sensitivity)によって、正しい入力ラベルマッチングの影響は、構成によって異なることが判明した。 実証の役割に関する以前の重要な発見を反映して、補完的で対照的な結果は、コンテキスト内学習のデモンストレーションにおける各コンポーネントの影響を見積もる際に、もっと注意する必要があることを示唆している。

関連論文リスト

• Similarity-Dissimilarity Loss with Supervised Contrastive Learning for Multi-label Classification [11.499489446062054]
  マルチラベル分類のためのコントラスト学習を用いた類似性-類似性損失を提案する。 提案する損失は、教師付きコントラスト学習パラダイムの下で、すべてのエンコーダの性能を効果的に向上させる。
  論文  参考訳（メタデータ） (2024-10-17T11:12:55Z)
• Revisiting Self-supervised Learning of Speech Representation from a Mutual Information Perspective [68.20531518525273]
  我々は、情報理論の観点から、既存の自己教師型音声の手法を詳しく検討する。 我々は線形プローブを用いて、対象情報と学習された表現の間の相互情報を推定する。 我々は、ラベルを使わずに、データの異なる部分間の相互情報を見積もる自己教師型の表現を評価する可能性を探る。
  論文  参考訳（メタデータ） (2024-01-16T21:13:22Z)
• Towards Understanding In-Context Learning with Contrastive Demonstrations and Saliency Maps [7.342347950764399]
  大規模言語モデル(LLM)の文脈内学習性能における様々な実演要素の役割について検討する。 具体的には, 地中構造ラベル, 入力分布, 相補的説明の影響について検討する。
  論文  参考訳（メタデータ） (2023-07-11T07:03:29Z)
• Rethinking Weak Supervision in Helping Contrastive Learning [19.5649824524209]
  コントラスト学習における半教師付き情報と雑音ラベル付き情報との機械的差異について検討する。 具体的には、教師付きと教師なしのコントラスト的損失の協調訓練の最も直感的なパラダイムについて検討する。 半教師付きラベルが下流誤差境界を改善するのに対し、ノイズラベルはそのようなパラダイムの下では限定的な効果を持つことを示す。
  論文  参考訳（メタデータ） (2023-06-07T05:18:27Z)
• A Matter of Annotation: An Empirical Study on In Situ and Self-Recall Activity Annotations from Wearable Sensors [56.554277096170246]
  In-the-wildデータ収集に焦点をあてたユーザスタディにおいて,一般的な4つのアノテーション手法の評価と対比を行う実験的検討を行った。 実際の記録プロセス中に参加者がアノテートするユーザ主導のin situアノテーションと、各日の終わりに参加者が振り返ってアノテートするリコールメソッドの両方に対して、参加者は自身のアクティビティクラスと対応するラベルを選択できる柔軟性を持っていた。
  論文  参考訳（メタデータ） (2023-05-15T16:02:56Z)
• The Invariant Ground Truth of Affect [2.570570340104555]
  感情の基底的真理は、感情の主観的な性質とそのラベルに固有のバイアスを意図せずに含んでいる影響ラベルに起因している。 本稿では、因果関係論の側面を感情計算に伝達することにより、影響の信頼性の高い基礎的真理を得る方法について再検討する。 我々は、情緒的コーパスにおけるアウトリーチの検出と、参加者やタスク間で堅牢な影響モデルの構築に、因果関係にインスパイアされた手法を採用している。
  論文  参考訳（メタデータ） (2022-10-14T08:26:01Z)
• Label-enhanced Prototypical Network with Contrastive Learning for Multi-label Few-shot Aspect Category Detection [17.228616743739412]
  マルチラベルアスペクトカテゴリ検出は、与えられたレビュー文に複数のアスペクトカテゴリを含むことを可能にする。 複数ラベルの複数ショットのアスペクトカテゴリー検出のための新しいラベル強化ネットワーク(LPN)を提案する。
  論文  参考訳（メタデータ） (2022-06-14T02:37:44Z)
• Conditional Supervised Contrastive Learning for Fair Text Classification [59.813422435604025]
  対照的な学習を通してテキスト分類のための等化オッズとして知られる公平性の概念を満たす学習公正表現について研究する。 具体的には、まず、公正性制約のある学習表現と条件付き教師付きコントラスト目的との間の関係を理論的に分析する。
  論文  参考訳（メタデータ） (2022-05-23T17:38:30Z)
• Rethinking the Role of Demonstrations: What Makes In-Context Learning Work? [112.72413411257662]
  大規模言語モデル(LM)は、いくつかのインプットラベルペア(デモ)を条件付けして、新しいインプットの予測を行うことで、インコンテキストで学習することができる。 実演のラベルをランダムに置き換えることは、パフォーマンスをほとんど損なうものではない。 デモの他の側面が、エンドタスクのパフォーマンスの主要な要因であることに気付きました。
  論文  参考訳（メタデータ） (2022-02-25T17:25:19Z)
• Dynamic Semantic Matching and Aggregation Network for Few-shot Intent Detection [69.2370349274216]
  利用可能な注釈付き発話が不足しているため、インテント検出は困難である。 セマンティック成分はマルチヘッド自己認識によって発話から蒸留される。 本手法はラベル付きインスタンスとラベルなしインスタンスの両方の表現を強化するための総合的なマッチング手段を提供する。
  論文  参考訳（メタデータ） (2020-10-06T05:16:38Z)
• Active Learning under Label Shift [80.65643075952639]
  重要度とクラスバランスサンプリングのトレードオフを取り入れた「メディカル分布」を導入する。 ラベルシフト(MALLS)下でのメディア型アクティブラーニングの複雑さと一般化保証を実証する。 我々は、MALLSスケールを高次元データセットに実証的に示し、深層学習タスクにおいて、アクティブラーニングのサンプル複雑性を60%削減することができる。
  論文  参考訳（メタデータ） (2020-07-16T17:30:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。