論文の概要: MICL: Improving In-Context Learning through Multiple-Label Words in Demonstration

• arxiv url: http://arxiv.org/abs/2406.10908v1
• Date: Sun, 16 Jun 2024 12:11:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 20:02:29.335404
• Title: MICL: Improving In-Context Learning through Multiple-Label Words in Demonstration
• Title（参考訳）: MICL:デモにおける複数ラベル語によるインテクスト学習の改善
• Authors: Zhu Zixiao, Feng Zijian, Zhou Hanzhang, Qian Junlang, Mao Kezhi,
• Abstract要約: In-context Learning (ICL)では、サンプルラベルペアをデモとして使用することで、大規模な言語モデルで新しいタスクを実行することができる。 ICL性能を向上させるために,複数のラベル語を1つのサンプルラベル対で使用することを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-context learning (ICL) enables large language models (LLMs) to perform new tasks by using sample-label pairs as demonstrations. However, variations in demonstrations can lead to significantly different performances. Current research mainly focuses on selecting demonstration samples, preassuming the class name to be the label word when creating sample-label pairs. However, the choice of label words is crucial for ICL performance. In addition, we observe that using a single class name in demonstration may not yield optimal results. In this paper, we propose to use multiple label words in one sample-label pair to enhance ICL performance. Further, we select and order sample-label pairs based on LLM's output distribution, aiming to optimize the demonstration examples from both the samples' and labels' perspectives. Evaluation results on seven classification datasets show that the use of multiple label words, strategically organized by their selection, order and quantity, improves ICL performance through diverse label information.
• Abstract（参考訳）: In-context Learning (ICL)では、サンプルラベルペアをデモとして使用することで、大規模な言語モデル(LLM)が新しいタスクを実行できる。 しかし、デモのバリエーションは、かなり異なるパフォーマンスをもたらす可能性がある。 現在の研究は、主にサンプルラベルペアを作成する際に、クラス名をラベル語と仮定して、サンプルサンプルを選択することに焦点を当てている。 しかし、ラベルワードの選択はICLのパフォーマンスに不可欠である。 さらに、実演で1つのクラス名を使用することで最適な結果が得られないことが観察された。 本稿では,ICL性能を向上させるために,複数のラベル語を1つのサンプルラベル対に使用することを提案する。 さらに, LLMの出力分布に基づいてサンプルラベルペアを選択し, 注文し, サンプルとラベルの両方の観点から実演例を最適化することを目的とした。 7つの分類データセットによる評価結果から,複数ラベル語の使用は,その選択,順序,量によって戦略的に整理され,多様なラベル情報を通じてICLの性能を向上させることが示唆された。

関連論文リスト

• Virtual Category Learning: A Semi-Supervised Learning Method for Dense Prediction with Extremely Limited Labels [63.16824565919966]
  本稿では,ラベルの修正を伴わずに,混乱したサンプルを積極的に使用することを提案する。 仮想カテゴリー(VC)は、モデルの最適化に安全に貢献できるように、各混乱したサンプルに割り当てられる。 私たちの興味深い発見は、密集した視覚タスクにおけるVC学習の利用に注目しています。
  論文  参考訳（メタデータ） (2023-12-02T16:23:52Z)
• Channel-Wise Contrastive Learning for Learning with Noisy Labels [60.46434734808148]
  チャネルワイド・コントラッシブ・ラーニング(CWCL)を導入し,真正なラベル情報とノイズを区別する。 従来のインスタンス単位のコントラスト学習(IWCL)とは異なり、CWCLはよりニュアンスでレジリエントな特徴を真のラベルと一致させる傾向にある。 まずCWCLを用いて、クリーンにラベル付けされたサンプルを識別し、次に、これらのサンプルを段階的に微調整する。
  論文  参考訳（メタデータ） (2023-08-14T06:04:50Z)
• Disambiguated Attention Embedding for Multi-Instance Partial-Label Learning [68.56193228008466]
  多くの実世界のタスクでは、関連するオブジェクトは、候補ラベルセットに関連付けられたマルチインスタンスバッグとして表現することができる。 既存のMIPLアプローチは、各インスタンスに拡張候補ラベルセットを割り当て、インスタンスレベルのラベルからバッグレベルのラベルを集約することで、インスタンス空間のパラダイムに従っている。 本稿では,DEMIPLという直感的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-26T13:25:17Z)
• Understanding Label Bias in Single Positive Multi-Label Learning [20.09309971112425]
  画像ごとの正のラベルを1つだけ使い、効果的なマルチラベルを訓練することができる。 SPMLの標準ベンチマークは、従来のマルチラベル分類データセットに由来する。 本研究では,SPMLにおけるラベルバイアス研究のプロトコルを導入し,新たな実験結果を提供する。
  論文  参考訳（メタデータ） (2023-05-24T21:41:08Z)
• Multi-Instance Partial-Label Learning: Towards Exploiting Dual Inexact Supervision [53.530957567507365]
  実世界のタスクでは、各トレーニングサンプルは、1つの基底真実ラベルといくつかの偽陽性ラベルを含む候補ラベルセットに関連付けられている。 本稿では,Multi-instance partial-label learning (MIPL) などの問題を定式化する。 既存のマルチインスタンス学習アルゴリズムと部分ラベル学習アルゴリズムはMIPL問題の解法に最適である。
  論文  参考訳（メタデータ） (2022-12-18T03:28:51Z)
• Meta-Learning for Multi-Label Few-Shot Classification [38.222736913855115]
  この研究は、モデルがクエリ内で複数のラベルを予測することを学習するマルチラベルメタラーニングの問題をターゲットにしている。 ニューラルネットワークモジュールを導入し,リレーショナル推論を利用してサンプルのラベル数を推定する。 総合的な実験により,提案手法とニューラルラベルカウントモジュール(NLC)を併用したラベルプロパゲーションアルゴリズムが選択方法として検討されることが示唆された。
  論文  参考訳（メタデータ） (2021-10-26T08:47:48Z)
• Active Learning in Incomplete Label Multiple Instance Multiple Label Learning [17.5720245903743]
  MIML設定におけるアクティブラーニングのための新しいバッグクラスペア方式を提案する。 我々のアプローチは、効率的かつ正確な推論を伴う識別的グラフィカルモデルに基づいている。
  論文  参考訳（メタデータ） (2021-07-22T17:01:28Z)
• SPL-MLL: Selecting Predictable Landmarks for Multi-Label Learning [87.27700889147144]
  我々は、入力(予測可能)に応じて予測しやすく、他の可能なラベル(表現可能)をうまく回復できるランドマークとして、ラベルの小さなサブセットを選択することを提案する。 我々は,ADM(Alternating Direction Method)を用いてこの問題を解決する。実世界のデータセットに関する実証研究により,本手法が他の最先端手法よりも優れた分類性能を実現することを示す。
  論文  参考訳（メタデータ） (2020-08-16T11:07:44Z)
• Interaction Matching for Long-Tail Multi-Label Classification [57.262792333593644]
  既存のマルチラベル分類モデルにおいて,制約に対処するためのエレガントで効果的なアプローチを提案する。 ソフトなn-gram相互作用マッチングを実行することで、ラベルと自然言語記述をマッチングする。
  論文  参考訳（メタデータ） (2020-05-18T15:27:55Z)
• Generalized Label Enhancement with Sample Correlations [24.582764493585362]
  サンプル相関付きラベル拡張(LESC)と、サンプル相関付きラベル拡張(gLESC)の2つの新しいラベル拡張手法を提案する。 サンプル相関から,提案手法はラベル強化性能を向上させることができる。
  論文  参考訳（メタデータ） (2020-04-07T03:32:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。