論文の概要: Learn to Select: Exploring Label Distribution Divergence for In-Context Demonstration Selection in Text Classification

• arxiv url: http://arxiv.org/abs/2511.10675v1
• Date: Mon, 10 Nov 2025 08:04:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-17 22:42:18.257411
• Title: Learn to Select: Exploring Label Distribution Divergence for In-Context Demonstration Selection in Text Classification
• Title（参考訳）: テキスト分類におけるin-Context Demonstration選択のためのラベル分布の多様性の探索
• Authors: Ye Jiang, Taihang Wang, Youzheng Liu, Yimin Wang, Yuhan Xia, Yunfei Long,
• Abstract要約: テキスト分類のためのインコンテキスト学習(ICL)は、大規模言語モデル(LLM)において印象的な性能を示した。 2段階のデモ選択法であるTopK + Label Distribution Divergence (L2D)を提案する。 これにより、意味的に類似するだけでなく、テスト入力とラベルの分布に一致したデモを選択できる。
• 参考スコア（独自算出の注目度）: 9.105555204653275
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-context learning (ICL) for text classification, which uses a few input-label demonstrations to describe a task, has demonstrated impressive performance on large language models (LLMs). However, the selection of in-context demonstrations plays a crucial role and can significantly affect LLMs' performance. Most existing demonstration selection methods primarily focus on semantic similarity between test inputs and demonstrations, often overlooking the importance of label distribution alignment. To address this limitation, we propose a two-stage demonstration selection method, TopK + Label Distribution Divergence (L2D), which leverages a fine-tuned BERT-like small language model (SLM) to generate label distributions and calculate their divergence for both test inputs and candidate demonstrations. This enables the selection of demonstrations that are not only semantically similar but also aligned in label distribution with the test input. Extensive experiments across seven text classification benchmarks show that our method consistently outperforms previous demonstration selection strategies. Further analysis reveals a positive correlation between the performance of LLMs and the accuracy of the underlying SLMs used for label distribution estimation.
• Abstract（参考訳）: テキスト分類のためのインコンテキスト学習(ICL)は、タスクを記述するためにいくつかのインプットラベルのデモを使用しており、大きな言語モデル(LLM)上での印象的なパフォーマンスを実証している。 しかし、コンテキスト内デモの選択は重要な役割を担い、LLMの性能に大きな影響を及ぼす可能性がある。 既存のデモ選択手法の多くは、主にテストインプットとデモのセマンティックな類似性に焦点を当てており、しばしばラベル分布のアライメントの重要性を見落としている。 この制限に対処するために,細調整されたBERTのような小言語モデル(SLM)を活用してラベル分布を生成し,テスト入力と候補演示の分岐を計算する2段階のデモ選択手法であるTopK + Label Distribution Divergence (L2D)を提案する。 これにより、意味的に類似するだけでなく、テスト入力とラベルの分布に一致したデモを選択できる。 7つのテキスト分類ベンチマークを総合的に比較した結果,提案手法は従来よりもずっと優れていた。 さらに, LLMの性能と, ラベル分布推定に用いるSLMの精度との間に正の相関関係が認められた。

関連論文リスト

• Rethinking Label Consistency of In-Context Learning: An Implicit Transductive Label Propagation Perspective [34.36815585602357]
  大規模言語モデル(LLM)は、最小限の教師付き例でコンテキスト内学習(ICL)を行う。 現在のアプローチでは、通常、トップKで最も意味論的に類似した例をデモとして選択するために検索モデルを採用している。 本研究では,意味情報とラベル情報の両方を活用するデータ合成手法を提案し,TopKサンプリングとSynthetic Data(TopK-SD)を用いて,一貫したラベルを用いたデモを取得する。
  論文  参考訳（メタデータ） (2025-12-13T04:41:31Z)
• On the Relationship Between the Choice of Representation and In-Context Learning [38.52385081212209]
  In-context Learning(ICL)は、コンテキストの一部として提示されたいくつかのデモから、大きな言語モデルで新しいタスクを学習する能力である。 過去の研究では、ICLの成功の大部分は、これらの文脈内デモンストレーションの表現方法によるものだった。 ICLにおけるこれらの2つの側面の相互作用,表現と学習について検討する。
  論文  参考訳（メタデータ） (2025-10-09T15:55:28Z)
• Towards Compute-Optimal Many-Shot In-Context Learning [69.38428467281862]
  マルチショットICLにおけるデモ選択のための2つの戦略を提案する。 最初の方法は、テストサンプルの類似性に基づいて選択された少数のデモと、キャッシュされるランダムなデモの集合を組み合わせる。 第2の戦略は、ランダムなデモをk平均クラスタリングによるテストサンプル表現から選択したセントロイドに置き換えることによって、第1の戦略を改善する。
  論文  参考訳（メタデータ） (2025-07-22T04:21:03Z)
• PICLe: Pseudo-Annotations for In-Context Learning in Low-Resource Named Entity Detection [56.916656013563355]
  In-context Learning (ICL)により、大規模言語モデルでは、デモをほとんど使わずにタスクを実行することができる。 PICLeは、ノイズの多い擬似アノテーション付き実演によるインコンテキスト学習のためのフレームワークである。 バイオメディカルな5つのNEDデータセット上でPICLeを評価し,PICLeが低リソース環境でICLより優れていることを示す。
  論文  参考訳（メタデータ） (2024-12-16T16:09:35Z)
• Logit Separability-Driven Samples and Multiple Class-Related Words Selection for Advancing In-Context Learning [0.0]
  本稿では,ロジットレベルのサンプルとクラス関連単語の明瞭度を評価するための基準であるロジット分離性を導入する。 各サンプルに複数のクラス関連語を組み込むことで,より広い範囲のラベル情報を提供することで,性能の向上が期待できる。 サンプルを共同で整理し,複数のクラス関連単語を各サンプルラベルペアに統合する,ロジット分離性に基づくlicLを提案する。
  論文  参考訳（メタデータ） (2024-06-16T12:11:46Z)
• ParaICL: Towards Parallel In-Context Learning [74.38022919598443]
  大規模言語モデル(LLM)が自然言語処理の標準となっている。 インコンテキスト・ラーニング(ICL)は、いくつかの実演例の選択に依存している。 パラレルインコンテキスト学習(ParaICL)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-31T05:56:15Z)
• Revisiting Demonstration Selection Strategies in In-Context Learning [66.11652803887284]
  大規模言語モデル(LLM)は、インコンテキスト学習(ICL)を用いて広範囲のタスクを実行するという印象的な能力を示している。 本研究ではまず,データとモデルの両方の側面から,この分散に寄与する要因を再検討し,実演の選択がデータとモデルに依存していることを確かめる。 本研究では,データとモデルに依存した実演選択手法である textbfTopK + ConE を提案する。
  論文  参考訳（メタデータ） (2024-01-22T16:25:27Z)
• In-Context Learning with Iterative Demonstration Selection [32.62104857810135]
  大規模言語モデル (LLMs) は、文脈内学習 (ICL) を介して強力な数ショット学習能力を示した。 ICLの性能は、数発のデモの選択に非常に敏感であることが示されている。 両次元のメリットを活用するために,反復デモ選択(IDS)を提案する。
  論文  参考訳（メタデータ） (2023-10-15T16:40:19Z)
• Ambiguity-Aware In-Context Learning with Large Language Models [27.20414960164616]
  インコンテキスト学習(ICL)、すなわち、LLMのタスク固有のデモは、タスク固有の微調整を必要とせず、ダウンストリームのゲインにつながった。 そこで本研究では,ICLの優れた実演方法について検討する。 セマンティックに類似したICLのデモンストレーションを選択するだけでなく、テスト例を取り巻く固有のラベルの曖昧さを解決するのに役立つものを選択することは有益である。
  論文  参考訳（メタデータ） (2023-09-14T17:48:34Z)
• In-Context Demonstration Selection with Cross Entropy Difference [95.21947716378641]
  大規模言語モデル(LLM)は、ゼロショットタスクのパフォーマンスを改善するためにコンテキスト内デモを使用することができる。 テキスト内デモを選択するためのクロスエントロピー差分法(CED)を提案する。
  論文  参考訳（メタデータ） (2023-05-24T05:04:00Z)
• Active Learning Principles for In-Context Learning with Large Language Models [65.09970281795769]
  本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。 ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
  論文  参考訳（メタデータ） (2023-05-23T17:16:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。