論文の概要: MICL: Improving In-Context Learning through Multiple-Label Words in Demonstration

• arxiv url: http://arxiv.org/abs/2406.10908v3
• Date: Tue, 13 Aug 2024 11:46:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-14 22:15:08.189807
• Title: MICL: Improving In-Context Learning through Multiple-Label Words in Demonstration
• Title（参考訳）: MICL:デモにおける複数ラベル語によるインテクスト学習の改善
• Authors: Zhu Zixiao, Feng Zijian, Zhou Hanzhang, Qian Junlang, Mao Kezhi,
• Abstract要約: In-context Learning (ICL)では、サンプルラベルペアをデモとして使用することで、大規模な言語モデル(LLM)が新しいタスクを実行できる。 LLMの出力空間分布に基づく実演において,サンプルとラベルの両方を整理する包括的アプローチを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-context learning (ICL) enables large language models (LLMs) to perform new tasks by using sample-label pairs as demonstrations. However, variations in demonstrations can lead to significantly different performances. Current research mainly focuses on selecting demonstration samples, preassuming the class name to be the label word when creating sample-label pairs. However, the choice of label words is crucial for ICL performance. Besides, we observe that using a single class name in demonstration may not yield optimal results while using multiple label words in one sample-label pair can enhance ICL performance. In this paper, we propose a comprehensive approach that organizes both samples and labels in demonstrations based on LLMs' output space distribution. This approach uses multiple label words in one sample-label pair to enhance label instruction. Evaluation results from seven classification datasets show that this demonstration organization method, which incorporates multiple label words to provide diverse label information, improves ICL performance.
• Abstract（参考訳）: In-context Learning (ICL)では、サンプルラベルペアをデモとして使用することで、大規模な言語モデル(LLM)が新しいタスクを実行できる。 しかし、デモのバリエーションは、かなり異なるパフォーマンスをもたらす可能性がある。 現在の研究は、主にサンプルラベルペアを作成する際に、クラス名をラベル語と仮定して、サンプルサンプルを選択することに焦点を当てている。 しかし、ラベルワードの選択はICLのパフォーマンスに不可欠である。 さらに、1つのサンプルラベル対で複数のラベル語を使用する場合、デモで1つのクラス名を使用すると最適な結果が得られず、ICL性能が向上することが観察された。 本稿では,LLMの出力空間分布に基づく実演において,サンプルとラベルの両方を整理する包括的アプローチを提案する。 このアプローチでは、複数のラベル語を1つのサンプルラベル対で使用し、ラベル命令を強化する。 7つの分類データセットによる評価結果から,複数のラベル語を組み込んでラベル情報を提供する実演組織手法により,ICL性能が向上することが示された。

関連論文リスト

• Exploiting Conjugate Label Information for Multi-Instance Partial-Label Learning [61.00359941983515]
  MIPL(Multi-instance partial-label Learning)は、各トレーニングサンプルが1つの真のラベルといくつかの偽陽性を含む候補ラベルセットに関連付けられたマルチインスタンスバッグとして表現されるシナリオに対処する。 ELIMIPLは共役ラベル情報を利用して曖昧性を改善する。
  論文  参考訳（メタデータ） (2024-08-26T15:49:31Z)
• Data-free Multi-label Image Recognition via LLM-powered Prompt Tuning [23.671999163027284]
  本稿では,学習データを持たないマルチラベル画像認識のための新しいフレームワークを提案する。 事前学習されたLarge Language Modelの知識を使用して、CLIPのような事前学習されたVision-Language Modelをマルチラベル分類に適応させるプロンプトを学ぶ。 本フレームワークは,新しいカテゴリー認識のための複数の事前学習モデル間の相乗効果を探索する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-02T13:43:32Z)
• Learning Label Hierarchy with Supervised Contrastive Learning [8.488965459026678]
  教師付きコントラスト学習(SCL)フレームワークは、各クラスを独立したものとして扱うため、すべてのクラスが等しく重要であるとみなす。 本稿では,クラス間の類似性を利用して階層情報をSCLに組み込んだラベル認識型SCL手法(LASCL)のファミリーを紹介する。 3つのデータセットに対する実験により、提案したLASCLは、複数ラベルの1つのラベルを区別するテキスト分類にうまく機能することが示された。
  論文  参考訳（メタデータ） (2024-01-31T23:21:40Z)
• Prompt-based Pseudo-labeling Strategy for Sample-Efficient Semi-Supervised Extractive Summarization [12.582774521907227]
  半教師付き学習(SSL)は、ラベル付きデータが不足し、ラベルなしデータが豊富であるシナリオで広く使われているテクニックである。 標準SSLメソッドは、まず分類モデルをトレーニングし、次に分類器の信頼性値を使用して擬似ラベルを選択するために教師-学生パラダイムに従う。 より正確な擬似ラベルでラベルなしのサンプルを抽出するLLMを用いたプロンプトベースの擬似ラベル方式を提案する。
  論文  参考訳（メタデータ） (2023-11-16T04:29:41Z)
• Channel-Wise Contrastive Learning for Learning with Noisy Labels [60.46434734808148]
  チャネルワイド・コントラッシブ・ラーニング(CWCL)を導入し,真正なラベル情報とノイズを区別する。 従来のインスタンス単位のコントラスト学習(IWCL)とは異なり、CWCLはよりニュアンスでレジリエントな特徴を真のラベルと一致させる傾向にある。 まずCWCLを用いて、クリーンにラベル付けされたサンプルを識別し、次に、これらのサンプルを段階的に微調整する。
  論文  参考訳（メタデータ） (2023-08-14T06:04:50Z)
• Disambiguated Attention Embedding for Multi-Instance Partial-Label Learning [68.56193228008466]
  多くの実世界のタスクでは、関連するオブジェクトは、候補ラベルセットに関連付けられたマルチインスタンスバッグとして表現することができる。 既存のMIPLアプローチは、各インスタンスに拡張候補ラベルセットを割り当て、インスタンスレベルのラベルからバッグレベルのラベルを集約することで、インスタンス空間のパラダイムに従っている。 本稿では,DEMIPLという直感的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-26T13:25:17Z)
• M-Tuning: Prompt Tuning with Mitigated Label Bias in Open-Set Scenarios [103.6153593636399]
  緩和ラベルバイアス(M-Tuning)を用いた視覚言語プロンプトチューニング手法を提案する。 これはWordNetからのオープンワードを導入し、クローズドセットラベルワードのみからもっと多くのプロンプトテキストを形成する単語の範囲を広げ、シミュレートされたオープンセットシナリオでプロンプトをチューニングする。 提案手法は,様々なスケールのデータセット上で最高の性能を達成し,広範囲にわたるアブレーション研究もその有効性を検証した。
  論文  参考訳（メタデータ） (2023-03-09T09:05:47Z)
• Exploiting Diversity of Unlabeled Data for Label-Efficient Semi-Supervised Active Learning [57.436224561482966]
  アクティブラーニング(英: Active Learning)は、ラベリングのための最も重要なサンプルを選択することで、高価なラベリングの問題に対処する研究分野である。 アクティブな学習環境における初期ラベル付けのための最も情報性の高いサンプル群を選択するために,多様性に基づく新しい初期データセット選択アルゴリズムを提案する。 また、一貫性に基づく埋め込みの多様性に基づくサンプリングを用いた、新しいアクティブな学習クエリ戦略を提案する。
  論文  参考訳（メタデータ） (2022-07-25T16:11:55Z)
• Using Representation Expressiveness and Learnability to Evaluate Self-Supervised Learning Methods [61.49061000562676]
  本稿では,学習可能性を評価するためにCluster Learnability (CL)を導入する。 CLは、K-meansで表現をクラスタリングすることによって得られたラベルを予測するために訓練されたKNNのパフォーマンスで測定される。 CLは、他の競合する評価手法よりも分布内モデルの性能と相関することがわかった。
  論文  参考訳（メタデータ） (2022-06-02T19:05:13Z)
• Active Learning in Incomplete Label Multiple Instance Multiple Label Learning [17.5720245903743]
  MIML設定におけるアクティブラーニングのための新しいバッグクラスペア方式を提案する。 我々のアプローチは、効率的かつ正確な推論を伴う識別的グラフィカルモデルに基づいている。
  論文  参考訳（メタデータ） (2021-07-22T17:01:28Z)
• Generalized Label Enhancement with Sample Correlations [24.582764493585362]
  サンプル相関付きラベル拡張(LESC)と、サンプル相関付きラベル拡張(gLESC)の2つの新しいラベル拡張手法を提案する。 サンプル相関から,提案手法はラベル強化性能を向上させることができる。
  論文  参考訳（メタデータ） (2020-04-07T03:32:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。