論文の概要: Demonstration Organization via Logit Separability: Advancing In-Context Learning through Multiple Class-Related Words
- arxiv url: http://arxiv.org/abs/2406.10908v4
- Date: Mon, 14 Oct 2024 11:01:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-15 15:03:07.309971
- Title: Demonstration Organization via Logit Separability: Advancing In-Context Learning through Multiple Class-Related Words
- Title(参考訳): ログセパビリティによる実証的組織:複数のクラス関連単語によるインテクスト学習の促進
- Authors: Zhu Zixiao, Feng Zijian, Zhou Hanzhang, Qian Junlang, Mao Kezhi,
- Abstract要約: 本稿では,ロジットレベルのサンプルとクラス関連単語の明瞭度を評価するための基準であるロジット分離性を導入する。
各サンプルに複数のクラス関連語を組み込むことで,より広い範囲のラベル情報を提供することで,性能の向上が期待できる。
サンプルを共同で整理し,複数のクラス関連単語を各サンプルラベルペアに統合する,ロジット分離性に基づくlicLを提案する。
- 参考スコア(独自算出の注目度): 0.0
- License:
- Abstract: Effective organization of in-context learning (ICL) demonstrations is key to improving the quality of large language model (LLM) responses. To create better demonstrations that guide LLM understanding, we introduce logit separability, a criterion to assess the clarity of both samples and class-related words at the logit level. This facilitates the optimization of sample and label selection, enhancing the precision of information provided in ICL demonstrations. Additionally, we find that incorporating multiple class-related words for each sample, rather than relying on a single class name, improves performance by offering a broader range of label information. Building on these insights, we propose LICL, a logit separability-based method that jointly organizes samples and integrates multiple class-related words into each sample-label pair. Evaluations across seven classification datasets show that this approach significantly improves ICL performance by providing clearer instructions and richer label information.
- Abstract(参考訳): インコンテキスト学習(ICL)の効果的な組織化は,大規模言語モデル(LLM)応答の品質向上の鍵となる。
LLM理解を促すためのより良いデモを作成するため,ロジットレベルのサンプルとクラス関連単語の明瞭度を評価するための基準であるロジット分離性を導入する。
これにより、サンプルとラベルの選択の最適化が容易になり、ICLのデモで提供される情報の精度が向上する。
さらに,各サンプルに複数のクラス関連語を組み込むことで,より広い範囲のラベル情報を提供することで,性能の向上が期待できる。
これらの知見に基づいて、サンプルを共同で整理し、複数のクラス関連単語を各サンプルラベルペアに統合するロジット分離性に基づくlicLを提案する。
7つの分類データセットから評価すると、より明確な命令とよりリッチなラベル情報を提供することで、ICLの性能が大幅に向上することを示している。
関連論文リスト
- Virtual Category Learning: A Semi-Supervised Learning Method for Dense
Prediction with Extremely Limited Labels [63.16824565919966]
本稿では,ラベルの修正を伴わずに,混乱したサンプルを積極的に使用することを提案する。
仮想カテゴリー(VC)は、モデルの最適化に安全に貢献できるように、各混乱したサンプルに割り当てられる。
私たちの興味深い発見は、密集した視覚タスクにおけるVC学習の利用に注目しています。
論文 参考訳(メタデータ) (2023-12-02T16:23:52Z) - Channel-Wise Contrastive Learning for Learning with Noisy Labels [60.46434734808148]
チャネルワイド・コントラッシブ・ラーニング(CWCL)を導入し,真正なラベル情報とノイズを区別する。
従来のインスタンス単位のコントラスト学習(IWCL)とは異なり、CWCLはよりニュアンスでレジリエントな特徴を真のラベルと一致させる傾向にある。
まずCWCLを用いて、クリーンにラベル付けされたサンプルを識別し、次に、これらのサンプルを段階的に微調整する。
論文 参考訳(メタデータ) (2023-08-14T06:04:50Z) - Disambiguated Attention Embedding for Multi-Instance Partial-Label
Learning [68.56193228008466]
多くの実世界のタスクでは、関連するオブジェクトは、候補ラベルセットに関連付けられたマルチインスタンスバッグとして表現することができる。
既存のMIPLアプローチは、各インスタンスに拡張候補ラベルセットを割り当て、インスタンスレベルのラベルからバッグレベルのラベルを集約することで、インスタンス空間のパラダイムに従っている。
本稿では,DEMIPLという直感的なアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-05-26T13:25:17Z) - Understanding Label Bias in Single Positive Multi-Label Learning [20.09309971112425]
画像ごとの正のラベルを1つだけ使い、効果的なマルチラベルを訓練することができる。
SPMLの標準ベンチマークは、従来のマルチラベル分類データセットに由来する。
本研究では,SPMLにおけるラベルバイアス研究のプロトコルを導入し,新たな実験結果を提供する。
論文 参考訳(メタデータ) (2023-05-24T21:41:08Z) - Multi-Instance Partial-Label Learning: Towards Exploiting Dual Inexact
Supervision [53.530957567507365]
実世界のタスクでは、各トレーニングサンプルは、1つの基底真実ラベルといくつかの偽陽性ラベルを含む候補ラベルセットに関連付けられている。
本稿では,Multi-instance partial-label learning (MIPL) などの問題を定式化する。
既存のマルチインスタンス学習アルゴリズムと部分ラベル学習アルゴリズムはMIPL問題の解法に最適である。
論文 参考訳(メタデータ) (2022-12-18T03:28:51Z) - Meta-Learning for Multi-Label Few-Shot Classification [38.222736913855115]
この研究は、モデルがクエリ内で複数のラベルを予測することを学習するマルチラベルメタラーニングの問題をターゲットにしている。
ニューラルネットワークモジュールを導入し,リレーショナル推論を利用してサンプルのラベル数を推定する。
総合的な実験により,提案手法とニューラルラベルカウントモジュール(NLC)を併用したラベルプロパゲーションアルゴリズムが選択方法として検討されることが示唆された。
論文 参考訳(メタデータ) (2021-10-26T08:47:48Z) - Active Learning in Incomplete Label Multiple Instance Multiple Label
Learning [17.5720245903743]
MIML設定におけるアクティブラーニングのための新しいバッグクラスペア方式を提案する。
我々のアプローチは、効率的かつ正確な推論を伴う識別的グラフィカルモデルに基づいている。
論文 参考訳(メタデータ) (2021-07-22T17:01:28Z) - SPL-MLL: Selecting Predictable Landmarks for Multi-Label Learning [87.27700889147144]
我々は、入力(予測可能)に応じて予測しやすく、他の可能なラベル(表現可能)をうまく回復できるランドマークとして、ラベルの小さなサブセットを選択することを提案する。
我々は,ADM(Alternating Direction Method)を用いてこの問題を解決する。実世界のデータセットに関する実証研究により,本手法が他の最先端手法よりも優れた分類性能を実現することを示す。
論文 参考訳(メタデータ) (2020-08-16T11:07:44Z) - Interaction Matching for Long-Tail Multi-Label Classification [57.262792333593644]
既存のマルチラベル分類モデルにおいて,制約に対処するためのエレガントで効果的なアプローチを提案する。
ソフトなn-gram相互作用マッチングを実行することで、ラベルと自然言語記述をマッチングする。
論文 参考訳(メタデータ) (2020-05-18T15:27:55Z) - Generalized Label Enhancement with Sample Correlations [24.582764493585362]
サンプル相関付きラベル拡張(LESC)と、サンプル相関付きラベル拡張(gLESC)の2つの新しいラベル拡張手法を提案する。
サンプル相関から,提案手法はラベル強化性能を向上させることができる。
論文 参考訳(メタデータ) (2020-04-07T03:32:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。