論文の概要: Logit Separability-Driven Samples and Multiple Class-Related Words Selection for Advancing In-Context Learning

• arxiv url: http://arxiv.org/abs/2406.10908v5
• Date: Tue, 15 Oct 2024 10:09:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 10:09:22.622234
• Title: Logit Separability-Driven Samples and Multiple Class-Related Words Selection for Advancing In-Context Learning
• Title（参考訳）: 対数分離性駆動型サンプルと複数クラス関連単語選択による文脈内学習の促進
• Authors: Zhu Zixiao, Feng Zijian, Zhou Hanzhang, Qian Junlang, Mao Kezhi,
• Abstract要約: 本稿では,ロジットレベルのサンプルとクラス関連単語の明瞭度を評価するための基準であるロジット分離性を導入する。 各サンプルに複数のクラス関連語を組み込むことで,より広い範囲のラベル情報を提供することで,性能の向上が期待できる。 サンプルを共同で整理し,複数のクラス関連単語を各サンプルラベルペアに統合する,ロジット分離性に基づくlicLを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Effective organization of in-context learning (ICL) demonstrations is key to improving the quality of large language model (LLM) responses. To create better sample-label pairs that instruct LLM understanding, we introduce logit separability, a criterion to assess the clarity of both samples and class-related words at the logit level. This facilitates the optimization of sample and label selection, enhancing the precision of information provided in ICL demonstrations. Additionally, we find that incorporating multiple class-related words for each sample, rather than relying on a single class name, improves performance by offering a broader range of label information. Building on these insights, we propose LICL, a logit separability-based method that jointly organizes samples and integrates multiple class-related words into each sample-label pair. Evaluations across seven classification datasets show that this approach significantly improves ICL performance by providing clearer instructions and richer label information.
• Abstract（参考訳）: インコンテキスト学習(ICL)の効果的な組織化は,大規模言語モデル(LLM)応答の品質向上の鍵となる。 LLM理解を指示するより優れたサンプルラベルペアを作成するために,ロジット分離性(logit separability)を導入し,ロジットレベルでのサンプルとクラス関連単語の明瞭度を評価する。 これにより、サンプルとラベルの選択の最適化が容易になり、ICLのデモで提供される情報の精度が向上する。 さらに,各サンプルに複数のクラス関連語を組み込むことで,より広い範囲のラベル情報を提供することで,性能の向上が期待できる。 これらの知見に基づいて、サンプルを共同で整理し、複数のクラス関連単語を各サンプルラベルペアに統合するロジット分離性に基づくlicLを提案する。 7つの分類データセットから評価すると、より明確な命令とよりリッチなラベル情報を提供することで、ICLの性能が大幅に向上することを示している。

関連論文リスト

• Exploiting Conjugate Label Information for Multi-Instance Partial-Label Learning [61.00359941983515]
  MIPL(Multi-instance partial-label Learning)は、各トレーニングサンプルが1つの真のラベルといくつかの偽陽性を含む候補ラベルセットに関連付けられたマルチインスタンスバッグとして表現されるシナリオに対処する。 ELIMIPLは共役ラベル情報を利用して曖昧性を改善する。
  論文  参考訳（メタデータ） (2024-08-26T15:49:31Z)
• Data-free Multi-label Image Recognition via LLM-powered Prompt Tuning [23.671999163027284]
  本稿では,学習データを持たないマルチラベル画像認識のための新しいフレームワークを提案する。 事前学習されたLarge Language Modelの知識を使用して、CLIPのような事前学習されたVision-Language Modelをマルチラベル分類に適応させるプロンプトを学ぶ。 本フレームワークは,新しいカテゴリー認識のための複数の事前学習モデル間の相乗効果を探索する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-02T13:43:32Z)
• Learning Label Hierarchy with Supervised Contrastive Learning [8.488965459026678]
  教師付きコントラスト学習(SCL)フレームワークは、各クラスを独立したものとして扱うため、すべてのクラスが等しく重要であるとみなす。 本稿では,クラス間の類似性を利用して階層情報をSCLに組み込んだラベル認識型SCL手法(LASCL)のファミリーを紹介する。 3つのデータセットに対する実験により、提案したLASCLは、複数ラベルの1つのラベルを区別するテキスト分類にうまく機能することが示された。
  論文  参考訳（メタデータ） (2024-01-31T23:21:40Z)
• Prompt-based Pseudo-labeling Strategy for Sample-Efficient Semi-Supervised Extractive Summarization [12.582774521907227]
  半教師付き学習(SSL)は、ラベル付きデータが不足し、ラベルなしデータが豊富であるシナリオで広く使われているテクニックである。 標準SSLメソッドは、まず分類モデルをトレーニングし、次に分類器の信頼性値を使用して擬似ラベルを選択するために教師-学生パラダイムに従う。 より正確な擬似ラベルでラベルなしのサンプルを抽出するLLMを用いたプロンプトベースの擬似ラベル方式を提案する。
  論文  参考訳（メタデータ） (2023-11-16T04:29:41Z)
• Channel-Wise Contrastive Learning for Learning with Noisy Labels [60.46434734808148]
  チャネルワイド・コントラッシブ・ラーニング(CWCL)を導入し,真正なラベル情報とノイズを区別する。 従来のインスタンス単位のコントラスト学習(IWCL)とは異なり、CWCLはよりニュアンスでレジリエントな特徴を真のラベルと一致させる傾向にある。 まずCWCLを用いて、クリーンにラベル付けされたサンプルを識別し、次に、これらのサンプルを段階的に微調整する。
  論文  参考訳（メタデータ） (2023-08-14T06:04:50Z)
• Disambiguated Attention Embedding for Multi-Instance Partial-Label Learning [68.56193228008466]
  多くの実世界のタスクでは、関連するオブジェクトは、候補ラベルセットに関連付けられたマルチインスタンスバッグとして表現することができる。 既存のMIPLアプローチは、各インスタンスに拡張候補ラベルセットを割り当て、インスタンスレベルのラベルからバッグレベルのラベルを集約することで、インスタンス空間のパラダイムに従っている。 本稿では,DEMIPLという直感的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-26T13:25:17Z)
• M-Tuning: Prompt Tuning with Mitigated Label Bias in Open-Set Scenarios [103.6153593636399]
  緩和ラベルバイアス(M-Tuning)を用いた視覚言語プロンプトチューニング手法を提案する。 これはWordNetからのオープンワードを導入し、クローズドセットラベルワードのみからもっと多くのプロンプトテキストを形成する単語の範囲を広げ、シミュレートされたオープンセットシナリオでプロンプトをチューニングする。 提案手法は,様々なスケールのデータセット上で最高の性能を達成し,広範囲にわたるアブレーション研究もその有効性を検証した。
  論文  参考訳（メタデータ） (2023-03-09T09:05:47Z)
• Exploiting Diversity of Unlabeled Data for Label-Efficient Semi-Supervised Active Learning [57.436224561482966]
  アクティブラーニング(英: Active Learning)は、ラベリングのための最も重要なサンプルを選択することで、高価なラベリングの問題に対処する研究分野である。 アクティブな学習環境における初期ラベル付けのための最も情報性の高いサンプル群を選択するために,多様性に基づく新しい初期データセット選択アルゴリズムを提案する。 また、一貫性に基づく埋め込みの多様性に基づくサンプリングを用いた、新しいアクティブな学習クエリ戦略を提案する。
  論文  参考訳（メタデータ） (2022-07-25T16:11:55Z)
• Using Representation Expressiveness and Learnability to Evaluate Self-Supervised Learning Methods [61.49061000562676]
  本稿では,学習可能性を評価するためにCluster Learnability (CL)を導入する。 CLは、K-meansで表現をクラスタリングすることによって得られたラベルを予測するために訓練されたKNNのパフォーマンスで測定される。 CLは、他の競合する評価手法よりも分布内モデルの性能と相関することがわかった。
  論文  参考訳（メタデータ） (2022-06-02T19:05:13Z)
• Active Learning in Incomplete Label Multiple Instance Multiple Label Learning [17.5720245903743]
  MIML設定におけるアクティブラーニングのための新しいバッグクラスペア方式を提案する。 我々のアプローチは、効率的かつ正確な推論を伴う識別的グラフィカルモデルに基づいている。
  論文  参考訳（メタデータ） (2021-07-22T17:01:28Z)
• Generalized Label Enhancement with Sample Correlations [24.582764493585362]
  サンプル相関付きラベル拡張(LESC)と、サンプル相関付きラベル拡張(gLESC)の2つの新しいラベル拡張手法を提案する。 サンプル相関から,提案手法はラベル強化性能を向上させることができる。
  論文  参考訳（メタデータ） (2020-04-07T03:32:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。