論文の概要: Rethinking Label Consistency of In-Context Learning: An Implicit Transductive Label Propagation Perspective

• arxiv url: http://arxiv.org/abs/2512.12175v1
• Date: Sat, 13 Dec 2025 04:41:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-16 17:54:56.146948
• Title: Rethinking Label Consistency of In-Context Learning: An Implicit Transductive Label Propagation Perspective
• Title（参考訳）: インコンテクスト学習におけるラベル一貫性の再考--帰納的ラベル伝播の視点から
• Authors: Haoyang Chen, Richong Zhang, Junfan Chen,
• Abstract要約: 大規模言語モデル(LLM)は、最小限の教師付き例でコンテキスト内学習(ICL)を行う。 現在のアプローチでは、通常、トップKで最も意味論的に類似した例をデモとして選択するために検索モデルを採用している。 本研究では,意味情報とラベル情報の両方を活用するデータ合成手法を提案し,TopKサンプリングとSynthetic Data(TopK-SD)を用いて,一貫したラベルを用いたデモを取得する。
• 参考スコア（独自算出の注目度）: 34.36815585602357
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) perform in-context learning (ICL) with minimal supervised examples, which benefits various natural language processing (NLP) tasks. One of the critical research focus is the selection of prompt demonstrations. Current approaches typically employ retrieval models to select the top-K most semantically similar examples as demonstrations. However, we argue that existing methods are limited since the label consistency is not guaranteed during demonstration selection. Our cognition derives from the Bayesian view of ICL and our rethinking of ICL from the transductive label propagation perspective. We treat ICL as a transductive learning method and incorporate latent concepts from Bayesian view and deduce that similar demonstrations guide the concepts of query, with consistent labels serving as estimates. Based on this understanding, we establish a label propagation framework to link label consistency with propagation error bounds. To model label consistency, we propose a data synthesis method, leveraging both semantic and label information, and use TopK sampling with Synthetic Data (TopK-SD) to acquire demonstrations with consistent labels. TopK-SD outperforms original TopK sampling on multiple benchmarks. Our work provides a new perspective for understanding the working mechanisms within ICL.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、最小限の教師付き例でコンテキスト内学習(ICL)を行い、様々な自然言語処理(NLP)タスクに有効である。 重要な研究の焦点の1つは、迅速なデモンストレーションの選択である。 現在のアプローチでは、通常、トップKで最も意味論的に類似した例をデモとして選択するために検索モデルを採用している。 しかし,実演選択中にラベルの一貫性が保証されないため,既存の手法は制限されていると論じる。 我々の認知は、IPCのベイズ的視点と、トランスダクティブなラベル伝播の観点からのICCの再考から導かれる。 我々は、ICLをトランスダクティブ学習手法として扱い、ベイズ的な視点から潜在概念を取り入れ、類似の実証がクエリの概念を導くことを予測し、一貫性のあるラベルを推定として機能させる。 この理解に基づいて,ラベルの一貫性を伝搬誤差境界にリンクするラベル伝搬フレームワークを構築した。 ラベルの一貫性をモデル化するために,意味情報とラベル情報の両方を活用するデータ合成手法を提案し,TopKサンプリングとSynthetic Data(TopK-SD)を用いて,一貫性のあるラベルを用いたデモを取得する。 TopK-SDは、オリジナルのTopKサンプリングを複数のベンチマークで上回っている。 我々の研究は、ICL内の作業メカニズムを理解するための新しい視点を提供する。

関連論文リスト

• Learn to Select: Exploring Label Distribution Divergence for In-Context Demonstration Selection in Text Classification [9.105555204653275]
  テキスト分類のためのインコンテキスト学習(ICL)は、大規模言語モデル(LLM)において印象的な性能を示した。 2段階のデモ選択法であるTopK + Label Distribution Divergence (L2D)を提案する。 これにより、意味的に類似するだけでなく、テスト入力とラベルの分布に一致したデモを選択できる。
  論文  参考訳（メタデータ） (2025-11-10T08:04:14Z)
• LLMs are Better Than You Think: Label-Guided In-Context Learning for Named Entity Recognition [10.920384665824807]
  In-context Learning (ICL) では、大規模な言語モデルで新しいタスクを実行することができる。 既存のICLメソッドは通常、実演検索にタスクに依存しないセマンティックな類似性に依存している。 トレーニング不要なICLアプローチであるDEERを導入し,LCMがより知的なエンティティ予測を行えるようにした。
  論文  参考訳（メタデータ） (2025-05-29T17:54:32Z)
• Channel-Wise Contrastive Learning for Learning with Noisy Labels [60.46434734808148]
  チャネルワイド・コントラッシブ・ラーニング(CWCL)を導入し,真正なラベル情報とノイズを区別する。 従来のインスタンス単位のコントラスト学習(IWCL)とは異なり、CWCLはよりニュアンスでレジリエントな特徴を真のラベルと一致させる傾向にある。 まずCWCLを用いて、クリーンにラベル付けされたサンプルを識別し、次に、これらのサンプルを段階的に微調整する。
  論文  参考訳（メタデータ） (2023-08-14T06:04:50Z)
• Exploring Structured Semantic Prior for Multi Label Recognition with Incomplete Labels [60.675714333081466]
  不完全なラベルを持つマルチラベル認識(MLR)は非常に難しい。 最近の研究は、視覚言語モデルであるCLIPにおける画像とラベルの対応を探り、不十分なアノテーションを補うことを目指している。 我々は,MLRにおけるラベル管理の欠如を,構造化されたセマンティクスを導出することにより,不完全なラベルで修復することを提唱する。
  論文  参考訳（メタデータ） (2023-03-23T12:39:20Z)
• Visual Transformer for Task-aware Active Learning [49.903358393660724]
  プールベースのアクティブラーニングのための新しいパイプラインを提案する。 提案手法は,学習中に使用可能なアンラベリング例を利用して,ラベル付き例との相関関係を推定する。 ビジュアルトランスフォーマーは、ラベル付き例と非ラベル付き例の間の非ローカルビジュアル概念依存性をモデル化する。
  論文  参考訳（メタデータ） (2021-06-07T17:13:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。