論文の概要: UCS: Estimating Unseen Coverage for Improved In-Context Learning

• arxiv url: http://arxiv.org/abs/2604.12015v1
• Date: Mon, 13 Apr 2026 20:00:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-15 19:11:32.099435
• Title: UCS: Estimating Unseen Coverage for Improved In-Context Learning
• Title（参考訳）: UCS: 文脈内学習改善のための未知被覆の推定
• Authors: Jiayi Xin, Xiang Li, Evan Qiang, Weiqing He, Tianqi Shang, Weijie J. Su, Qi Long,
• Abstract要約: Unseen Coverage Selection (UKS) はトレーニングなしのサブセットレベルのカバレッジであり、優れたデモセットは、現在選択されているサブセットによって明らかにされていない潜在クラスタにモデルを公開すべきである、という原則によって以前に動機付けられていた。 UCSはこのアイデアを、モデルに一貫性のある埋め込みから離散潜在クラスタを誘導し、その経験周波数スペクトルからSmoothed Good-contexting estimatorを通して、候補サブセット内の未発見クラスタ数を推定することによって運用する。 Frontier Large Language Models による複数の意図分類と推論ベンチマークの実験により、UCS による強いベースラインの強化により、ICL の精度は最大で 2-6% 向上することが示された。
• 参考スコア（独自算出の注目度）: 24.34094317236037
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-context learning (ICL) performance depends critically on which demonstrations are placed in the prompt, yet most existing selectors prioritize heuristic notions of relevance or diversity and provide limited insight into the coverage of a demonstration set. We propose Unseen Coverage Selection (UKS), a training-free, subset-level coverage prior motivated by the principle that a good demonstration set should expose the model to latent cluster unrevealed by the currently selected subset. UCS operationalizes this idea by (1) inducing discrete latent clusters from model-consistent embeddings and (2) estimating the number of unrevealed clusters within a candidate subset via a Smoothed Good--Turing estimator from its empirical frequency spectrum. Unlike previous selection methods, UCS is coverage-based and training-free, and can be seamlessly combined with both query-dependent and query-independent selection baselines via a simple regularized objective. Experiments on multiple intent-classification and reasoning benchmarks with frontier Large Language Models show that augmenting strong baselines with UCS consistently improves ICL accuracy by up to 2-6% under the same selection budget, while also yielding insights into task- and model-level latent cluster distributions. Code is available at https://github.com/Raina-Xin/UCS.
• Abstract（参考訳）: インコンテキストラーニング(ICL)のパフォーマンスは、どのデモがプロンプトに置かれるかに批判的に依存するが、既存のセレクタは、関連性や多様性のヒューリスティックな概念を優先し、デモセットのカバレッジについて限定的な洞察を与える。 提案するUnseen Coverage Selection (UKS) は,現在選択されているサブセットが発見していない潜在クラスタに対して,優れたデモセットがモデルを公開するという原則によって,事前に動機づけられた,トレーニングフリーのサブセットレベルのカバレッジである。 UCSは、(1)モデルに一貫性のある埋め込みから離散潜在クラスタを誘導し、(2)実験周波数スペクトルからSmoothed Good-Turing 推定器を介して、候補サブセット内の未発見クラスタ数を推定することによって、このアイデアを運用する。 従来の選択方法とは異なり、UCSはカバレッジベースとトレーニングフリーであり、単純な正規化目的によって、クエリ依存とクエリ非依存の両方の選択ベースラインとシームレスに結合することができる。 Frontier Large Language Modelsによる複数の意図分類と推論ベンチマークの実験では、UCSによる強いベースラインの強化は、同じ選択予算の下で最大2-6%のICL精度を向上すると同時に、タスクレベルおよびモデルレベルの潜在クラスタ分布に関する洞察も得られる。 コードはhttps://github.com/Raina-Xin/UCS.comで入手できる。

関連論文リスト

• DiEC: Diffusion Embedded Clustering [0.76629754443761]
  ディープクラスタリングは、明確なクラスタ構造を公開する表現に依存します。 従来のほとんどのメソッドは、オートエンコーダや自己教師付きエンコーダによる単一の埋め込みを学び、クラスタリングの第一の表現として扱う。 本研究では,事前学習した拡散U-Netの中間活性化を直接利用して,この軌道を利用する教師なしクラスタリングフレームワークであるEmbed Diffusion Clustering (DiEC)を提案する。
  論文  参考訳（メタデータ） (2025-12-24T03:10:00Z)
• S$^2$FS: Spatially-Aware Separability-Driven Feature Selection in Fuzzy Decision Systems [45.05989432332541]
  ファジィ決定システムのための空間認識分離性駆動型特徴選択(S$2$FS)を提案する。 S$2$FSは、クラス内コンパクト性とクラス間分離を考慮した空間的に認識された分離性基準によって導かれる。 10の実世界のデータセットの実験では、S$2$FSは8つの最先端の機能選択アルゴリズムを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-09-30T06:30:14Z)
• Towards Compute-Optimal Many-Shot In-Context Learning [69.38428467281862]
  マルチショットICLにおけるデモ選択のための2つの戦略を提案する。 最初の方法は、テストサンプルの類似性に基づいて選択された少数のデモと、キャッシュされるランダムなデモの集合を組み合わせる。 第2の戦略は、ランダムなデモをk平均クラスタリングによるテストサンプル表現から選択したセントロイドに置き換えることによって、第1の戦略を改善する。
  論文  参考訳（メタデータ） (2025-07-22T04:21:03Z)
• CKAA: Cross-subspace Knowledge Alignment and Aggregation for Robust Continual Learning [80.18781219542016]
  継続的学習(CL)は、シーケンシャルなタスクストリームから継続的に学習するAIモデルに権限を与える。 近年,パラメータ効率のよい微調整(PEFT)によるCL法が注目されている。 ミスリード型タスクIDに対するロバスト性を高めるために,クロスサブスペース・ナレッジアライメント・アグリゲーション(CKAA)を提案する。
  論文  参考訳（メタデータ） (2025-07-13T03:11:35Z)
• Demonstration Selection for In-Context Learning via Reinforcement Learning [16.103533806505403]
  Relevance-Diversity Enhanced Selection (RDES)は、多様な参照デモの選択を最適化するための革新的なアプローチである。 RDESはQ-learningのようなフレームワークとPPOベースの変種を使用して、多様性を最大化するデモを動的に識別する。 RDESは10基のベースラインに比べて性能を著しく向上することを示した。
  論文  参考訳（メタデータ） (2024-12-05T08:33:52Z)
• A One-shot Framework for Distributed Clustered Learning in Heterogeneous Environments [54.172993875654015]
  異種環境における分散学習のためのコミュニケーション効率化手法のファミリーを提案する。 ユーザによるローカル計算に基づくワンショットアプローチと、サーバにおけるクラスタリングベースのアグリゲーションステップは、強力な学習保証を提供する。 厳密な凸問題に対しては,ユーザ毎のデータ点数がしきい値を超える限り,提案手法はサンプルサイズの観点から順序最適平均二乗誤差率を達成する。
  論文  参考訳（メタデータ） (2022-09-22T09:04:10Z)
• Using Representation Expressiveness and Learnability to Evaluate Self-Supervised Learning Methods [61.49061000562676]
  本稿では,学習可能性を評価するためにCluster Learnability (CL)を導入する。 CLは、K-meansで表現をクラスタリングすることによって得られたラベルを予測するために訓練されたKNNのパフォーマンスで測定される。 CLは、他の競合する評価手法よりも分布内モデルの性能と相関することがわかった。
  論文  参考訳（メタデータ） (2022-06-02T19:05:13Z)
• Pool-based sequential active learning with multi kernels [10.203602318836444]
  本研究では,未ラベルデータの大規模なプールから1つのサンプルを毎回クエリする,プールベースシーケンシャルアクティブラーニング(AL)について検討する。 提案する選択基準は,EKDとEKLという2つである。 また、提案したEKDとEKLは、一般的なクエリ・バイ・コミッテ(QBC)と予測モデル・チェンジ(EMC)の概念を一般化することに成功した。
  論文  参考訳（メタデータ） (2020-10-22T03:54:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。