論文の概要: Rethinking Label Consistency of In-Context Learning: An Implicit Transductive Label Propagation Perspective
- arxiv url: http://arxiv.org/abs/2512.12175v1
- Date: Sat, 13 Dec 2025 04:41:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-16 17:54:56.146948
- Title: Rethinking Label Consistency of In-Context Learning: An Implicit Transductive Label Propagation Perspective
- Title（参考訳）: インコンテクスト学習におけるラベル一貫性の再考--帰納的ラベル伝播の視点から
- Authors: Haoyang Chen, Richong Zhang, Junfan Chen,
- Abstract要約: 大規模言語モデル(LLM)は、最小限の教師付き例でコンテキスト内学習(ICL)を行う。
現在のアプローチでは、通常、トップKで最も意味論的に類似した例をデモとして選択するために検索モデルを採用している。
本研究では,意味情報とラベル情報の両方を活用するデータ合成手法を提案し,TopKサンプリングとSynthetic Data(TopK-SD)を用いて,一貫したラベルを用いたデモを取得する。
- 参考スコア（独自算出の注目度）: 34.36815585602357
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) perform in-context learning (ICL) with minimal supervised examples, which benefits various natural language processing (NLP) tasks. One of the critical research focus is the selection of prompt demonstrations. Current approaches typically employ retrieval models to select the top-K most semantically similar examples as demonstrations. However, we argue that existing methods are limited since the label consistency is not guaranteed during demonstration selection. Our cognition derives from the Bayesian view of ICL and our rethinking of ICL from the transductive label propagation perspective. We treat ICL as a transductive learning method and incorporate latent concepts from Bayesian view and deduce that similar demonstrations guide the concepts of query, with consistent labels serving as estimates. Based on this understanding, we establish a label propagation framework to link label consistency with propagation error bounds. To model label consistency, we propose a data synthesis method, leveraging both semantic and label information, and use TopK sampling with Synthetic Data (TopK-SD) to acquire demonstrations with consistent labels. TopK-SD outperforms original TopK sampling on multiple benchmarks. Our work provides a new perspective for understanding the working mechanisms within ICL.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、最小限の教師付き例でコンテキスト内学習(ICL)を行い、様々な自然言語処理(NLP)タスクに有効である。
重要な研究の焦点の1つは、迅速なデモンストレーションの選択である。
現在のアプローチでは、通常、トップKで最も意味論的に類似した例をデモとして選択するために検索モデルを採用している。
しかし,実演選択中にラベルの一貫性が保証されないため,既存の手法は制限されていると論じる。
我々の認知は、IPCのベイズ的視点と、トランスダクティブなラベル伝播の観点からのICCの再考から導かれる。
我々は、ICLをトランスダクティブ学習手法として扱い、ベイズ的な視点から潜在概念を取り入れ、類似の実証がクエリの概念を導くことを予測し、一貫性のあるラベルを推定として機能させる。
この理解に基づいて,ラベルの一貫性を伝搬誤差境界にリンクするラベル伝搬フレームワークを構築した。
ラベルの一貫性をモデル化するために,意味情報とラベル情報の両方を活用するデータ合成手法を提案し,TopKサンプリングとSynthetic Data(TopK-SD)を用いて,一貫性のあるラベルを用いたデモを取得する。
TopK-SDは、オリジナルのTopKサンプリングを複数のベンチマークで上回っている。
我々の研究は、ICL内の作業メカニズムを理解するための新しい視点を提供する。
関連論文リスト
- Learn to Select: Exploring Label Distribution Divergence for In-Context Demonstration Selection in Text Classification [9.105555204653275]
テキスト分類のためのインコンテキスト学習(ICL)は、大規模言語モデル(LLM)において印象的な性能を示した。
2段階のデモ選択法であるTopK + Label Distribution Divergence (L2D)を提案する。
これにより、意味的に類似するだけでなく、テスト入力とラベルの分布に一致したデモを選択できる。
論文 参考訳（メタデータ） (2025-11-10T08:04:14Z) - On the Relationship Between the Choice of Representation and In-Context Learning [38.52385081212209]
In-context Learning(ICL)は、コンテキストの一部として提示されたいくつかのデモから、大きな言語モデルで新しいタスクを学習する能力である。
過去の研究では、ICLの成功の大部分は、これらの文脈内デモンストレーションの表現方法によるものだった。
ICLにおけるこれらの2つの側面の相互作用,表現と学習について検討する。
論文 参考訳（メタデータ） (2025-10-09T15:55:28Z) - LLMs are Better Than You Think: Label-Guided In-Context Learning for Named Entity Recognition [10.920384665824807]
In-context Learning (ICL) では、大規模な言語モデルで新しいタスクを実行することができる。
既存のICLメソッドは通常、実演検索にタスクに依存しないセマンティックな類似性に依存している。
トレーニング不要なICLアプローチであるDEERを導入し,LCMがより知的なエンティティ予測を行えるようにした。
論文 参考訳（メタデータ） (2025-05-29T17:54:32Z) - Ambiguity-Aware In-Context Learning with Large Language Models [27.20414960164616]
インコンテキスト学習(ICL)、すなわち、LLMのタスク固有のデモは、タスク固有の微調整を必要とせず、ダウンストリームのゲインにつながった。
そこで本研究では,ICLの優れた実演方法について検討する。
セマンティックに類似したICLのデモンストレーションを選択するだけでなく、テスト例を取り巻く固有のラベルの曖昧さを解決するのに役立つものを選択することは有益である。
論文 参考訳（メタデータ） (2023-09-14T17:48:34Z) - Channel-Wise Contrastive Learning for Learning with Noisy Labels [60.46434734808148]
チャネルワイド・コントラッシブ・ラーニング(CWCL)を導入し,真正なラベル情報とノイズを区別する。
従来のインスタンス単位のコントラスト学習(IWCL)とは異なり、CWCLはよりニュアンスでレジリエントな特徴を真のラベルと一致させる傾向にある。
まずCWCLを用いて、クリーンにラベル付けされたサンプルを識別し、次に、これらのサンプルを段階的に微調整する。
論文 参考訳（メタデータ） (2023-08-14T06:04:50Z) - Label Words are Anchors: An Information Flow Perspective for
Understanding In-Context Learning [77.7070536959126]
大規模言語モデル(LLM)の有望な能力としてインコンテキスト学習(ICL)が出現する
本稿では,情報フローレンズを用いたICLの動作機構について検討する。
本稿では,ICL性能向上のためのアンカー再重み付け手法,推論の高速化のための実演圧縮手法,GPT2-XLにおけるICLエラーの診断のための解析フレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-23T15:26:20Z) - Contrastive Label Enhancement [13.628665406039609]
コントラスト学習戦略により高次特徴を生成するコントラストラベル拡張(Contrastive Label Enhancement, ConLE)を提案する。
得られた高レベルな特徴を活用し、よく設計されたトレーニング戦略によりラベル分布を得る。
論文 参考訳（メタデータ） (2023-05-16T14:53:07Z) - Exploring Structured Semantic Prior for Multi Label Recognition with
Incomplete Labels [60.675714333081466]
不完全なラベルを持つマルチラベル認識(MLR)は非常に難しい。
最近の研究は、視覚言語モデルであるCLIPにおける画像とラベルの対応を探り、不十分なアノテーションを補うことを目指している。
我々は,MLRにおけるラベル管理の欠如を,構造化されたセマンティクスを導出することにより,不完全なラベルで修復することを提唱する。
論文 参考訳（メタデータ） (2023-03-23T12:39:20Z) - Label Matching Semi-Supervised Object Detection [85.99282969977541]
半教師対象検出は,教師主導型自己学習の開発において大きな進歩を遂げている。
ラベルミスマッチ問題は、以前の研究でまだ完全に解明されていないため、自己学習中に重大な確証バイアスが生じる。
本稿では,2つの異なる相補的視点から,単純かつ効果的な LabelMatch フレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-14T05:59:41Z) - A Theory-Driven Self-Labeling Refinement Method for Contrastive
Representation Learning [111.05365744744437]
教師なしのコントラスト学習は、正のイメージの作物と、負のイメージの作物とをラベル付けする。
本研究は, コントラスト学習において, 不正確なラベル割り当てがセマンティック・インスタンス識別の一般化を著しく損なうことを最初に証明する。
この理論に触発されて、コントラスト学習のための新しい自己ラベル改善手法を提案する。
論文 参考訳（メタデータ） (2021-06-28T14:24:52Z) - Visual Transformer for Task-aware Active Learning [49.903358393660724]
プールベースのアクティブラーニングのための新しいパイプラインを提案する。
提案手法は,学習中に使用可能なアンラベリング例を利用して,ラベル付き例との相関関係を推定する。
ビジュアルトランスフォーマーは、ラベル付き例と非ラベル付き例の間の非ローカルビジュアル概念依存性をモデル化する。
論文 参考訳（メタデータ） (2021-06-07T17:13:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。