論文の概要: Learn to Select: Exploring Label Distribution Divergence for In-Context Demonstration Selection in Text Classification

• arxiv url: http://arxiv.org/abs/2511.10675v1
• Date: Mon, 10 Nov 2025 08:04:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-17 22:42:18.257411
• Title: Learn to Select: Exploring Label Distribution Divergence for In-Context Demonstration Selection in Text Classification
• Title（参考訳）: テキスト分類におけるin-Context Demonstration選択のためのラベル分布の多様性の探索
• Authors: Ye Jiang, Taihang Wang, Youzheng Liu, Yimin Wang, Yuhan Xia, Yunfei Long,
• Abstract要約: テキスト分類のためのインコンテキスト学習(ICL)は、大規模言語モデル(LLM)において印象的な性能を示した。 2段階のデモ選択法であるTopK + Label Distribution Divergence (L2D)を提案する。 これにより、意味的に類似するだけでなく、テスト入力とラベルの分布に一致したデモを選択できる。
• 参考スコア（独自算出の注目度）: 9.105555204653275
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-context learning (ICL) for text classification, which uses a few input-label demonstrations to describe a task, has demonstrated impressive performance on large language models (LLMs). However, the selection of in-context demonstrations plays a crucial role and can significantly affect LLMs' performance. Most existing demonstration selection methods primarily focus on semantic similarity between test inputs and demonstrations, often overlooking the importance of label distribution alignment. To address this limitation, we propose a two-stage demonstration selection method, TopK + Label Distribution Divergence (L2D), which leverages a fine-tuned BERT-like small language model (SLM) to generate label distributions and calculate their divergence for both test inputs and candidate demonstrations. This enables the selection of demonstrations that are not only semantically similar but also aligned in label distribution with the test input. Extensive experiments across seven text classification benchmarks show that our method consistently outperforms previous demonstration selection strategies. Further analysis reveals a positive correlation between the performance of LLMs and the accuracy of the underlying SLMs used for label distribution estimation.
• Abstract（参考訳）: テキスト分類のためのインコンテキスト学習(ICL)は、タスクを記述するためにいくつかのインプットラベルのデモを使用しており、大きな言語モデル(LLM)上での印象的なパフォーマンスを実証している。 しかし、コンテキスト内デモの選択は重要な役割を担い、LLMの性能に大きな影響を及ぼす可能性がある。 既存のデモ選択手法の多くは、主にテストインプットとデモのセマンティックな類似性に焦点を当てており、しばしばラベル分布のアライメントの重要性を見落としている。 この制限に対処するために,細調整されたBERTのような小言語モデル(SLM)を活用してラベル分布を生成し,テスト入力と候補演示の分岐を計算する2段階のデモ選択手法であるTopK + Label Distribution Divergence (L2D)を提案する。 これにより、意味的に類似するだけでなく、テスト入力とラベルの分布に一致したデモを選択できる。 7つのテキスト分類ベンチマークを総合的に比較した結果,提案手法は従来よりもずっと優れていた。 さらに, LLMの性能と, ラベル分布推定に用いるSLMの精度との間に正の相関関係が認められた。

関連論文リスト

• PICLe: Pseudo-Annotations for In-Context Learning in Low-Resource Named Entity Detection [56.916656013563355]
  In-context Learning (ICL)により、大規模言語モデルでは、デモをほとんど使わずにタスクを実行することができる。 PICLeは、ノイズの多い擬似アノテーション付き実演によるインコンテキスト学習のためのフレームワークである。 バイオメディカルな5つのNEDデータセット上でPICLeを評価し,PICLeが低リソース環境でICLより優れていることを示す。
  論文  参考訳（メタデータ） (2024-12-16T16:09:35Z)
• Logit Separability-Driven Samples and Multiple Class-Related Words Selection for Advancing In-Context Learning [0.0]
  本稿では,ロジットレベルのサンプルとクラス関連単語の明瞭度を評価するための基準であるロジット分離性を導入する。 各サンプルに複数のクラス関連語を組み込むことで,より広い範囲のラベル情報を提供することで,性能の向上が期待できる。 サンプルを共同で整理し,複数のクラス関連単語を各サンプルラベルペアに統合する,ロジット分離性に基づくlicLを提案する。
  論文  参考訳（メタデータ） (2024-06-16T12:11:46Z)
• Revisiting Demonstration Selection Strategies in In-Context Learning [66.11652803887284]
  大規模言語モデル(LLM)は、インコンテキスト学習(ICL)を用いて広範囲のタスクを実行するという印象的な能力を示している。 本研究ではまず,データとモデルの両方の側面から,この分散に寄与する要因を再検討し,実演の選択がデータとモデルに依存していることを確かめる。 本研究では,データとモデルに依存した実演選択手法である textbfTopK + ConE を提案する。
  論文  参考訳（メタデータ） (2024-01-22T16:25:27Z)
• In-Context Learning with Iterative Demonstration Selection [32.62104857810135]
  大規模言語モデル (LLMs) は、文脈内学習 (ICL) を介して強力な数ショット学習能力を示した。 ICLの性能は、数発のデモの選択に非常に敏感であることが示されている。 両次元のメリットを活用するために,反復デモ選択(IDS)を提案する。
  論文  参考訳（メタデータ） (2023-10-15T16:40:19Z)
• Ambiguity-Aware In-Context Learning with Large Language Models [27.20414960164616]
  インコンテキスト学習(ICL)、すなわち、LLMのタスク固有のデモは、タスク固有の微調整を必要とせず、ダウンストリームのゲインにつながった。 そこで本研究では,ICLの優れた実演方法について検討する。 セマンティックに類似したICLのデモンストレーションを選択するだけでなく、テスト例を取り巻く固有のラベルの曖昧さを解決するのに役立つものを選択することは有益である。
  論文  参考訳（メタデータ） (2023-09-14T17:48:34Z)
• In-Context Demonstration Selection with Cross Entropy Difference [95.21947716378641]
  大規模言語モデル(LLM)は、ゼロショットタスクのパフォーマンスを改善するためにコンテキスト内デモを使用することができる。 テキスト内デモを選択するためのクロスエントロピー差分法(CED)を提案する。
  論文  参考訳（メタデータ） (2023-05-24T05:04:00Z)
• Active Learning Principles for In-Context Learning with Large Language Models [65.09970281795769]
  本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。 ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
  論文  参考訳（メタデータ） (2023-05-23T17:16:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。