論文の概要: When and How Unlabeled Data Provably Improve In-Context Learning

• arxiv url: http://arxiv.org/abs/2506.15329v1
• Date: Wed, 18 Jun 2025 10:01:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-19 19:35:51.627641
• Title: When and How Unlabeled Data Provably Improve In-Context Learning
• Title（参考訳）: ラベルのないデータがコンテキスト内学習を改善できるのはいつか
• Authors: Yingcong Li, Xiangyu Chang, Muti Kara, Xiaofeng Liu, Amit Roy-Chowdhury, Samet Oymak,
• Abstract要約: 教師なしの学習は、デモが欠落したり、誤ったラベルがあったりしても効果的である。 我々は,sum_ige 0 a_i (Xtop X)iXtop y$ と $X$ と $y$ の機能と部分観測ラベルを暗黙的に構築することで,ラベル付きデータを効果的に活用できることを示す。
• 参考スコア（独自算出の注目度）: 31.201385551730926
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent research shows that in-context learning (ICL) can be effective even when demonstrations have missing or incorrect labels. To shed light on this capability, we examine a canonical setting where the demonstrations are drawn according to a binary Gaussian mixture model (GMM) and a certain fraction of the demonstrations have missing labels. We provide a comprehensive theoretical study to show that: (1) The loss landscape of one-layer linear attention models recover the optimal fully-supervised estimator but completely fail to exploit unlabeled data; (2) In contrast, multilayer or looped transformers can effectively leverage unlabeled data by implicitly constructing estimators of the form $\sum_{i\ge 0} a_i (X^\top X)^iX^\top y$ with $X$ and $y$ denoting features and partially-observed labels (with missing entries set to zero). We characterize the class of polynomials that can be expressed as a function of depth and draw connections to Expectation Maximization, an iterative pseudo-labeling algorithm commonly used in semi-supervised learning. Importantly, the leading polynomial power is exponential in depth, so mild amount of depth/looping suffices. As an application of theory, we propose looping off-the-shelf tabular foundation models to enhance their semi-supervision capabilities. Extensive evaluations on real-world datasets show that our method significantly improves the semisupervised tabular learning performance over the standard single pass inference.
• Abstract（参考訳）: 近年の研究では、実演が欠落したり、ラベルが正しくない場合でも、文脈内学習(ICL)が有効であることが示されている。 そこで本研究では,二元混合モデル (GMM) に基づいて実演を描画する標準的な環境について検討し,一部の実演ではラベルが欠落していることを示す。 1) 1層線形アテンションモデルのロスランドスケープは、最適な完全教師付き推定器を回復するが、ラベル付きデータを完全に活用できないこと、(2) 対照的に、多層またはループ型トランスフォーマーは、(ゼロに設定された)特徴と部分的に保存されたラベルを付加した$X$および$y$の形式である $\sum_{i\ge 0} a_i (X^\top X)^iX^\top y$ の予測器を暗黙的に構築することで、ラベル付きデータを効果的に活用できること、を示す包括的な理論的研究を行った。 半教師付き学習でよく用いられる反復擬ラベルアルゴリズムである期待最大化への接続を、深さ関数として表現できる多項式のクラスを特徴付ける。 重要なことに、先頭の多項式パワーは指数関数的な深さであり、弱い量の深さ/ループのサフィスである。 理論の応用として,半スーパービジョン能力を高めるために,市販の表層基礎モデルのループ化を提案する。 実世界のデータセットを網羅的に評価した結果,本手法は標準的なシングルパス推論よりも半教師付き表型学習性能を大幅に向上させることがわかった。

関連論文リスト

• Graph-Based Semi-Supervised Segregated Lipschitz Learning [0.21847754147782888]
  本稿では,グラフ上のリプシッツ学習を用いたデータ分類のための半教師付き学習手法を提案する。 グラフに基づく半教師付き学習フレームワークを開発し、無限ラプラシアンの性質を利用して、少数のサンプルしかラベル付けされていないデータセットにラベルを伝播する。
  論文  参考訳（メタデータ） (2024-11-05T17:16:56Z)
• Exploring Beyond Logits: Hierarchical Dynamic Labeling Based on Embeddings for Semi-Supervised Classification [49.09505771145326]
  モデル予測に依存しない階層型動的ラベル付け(HDL)アルゴリズムを提案し,画像埋め込みを用いてサンプルラベルを生成する。 本手法は,半教師付き学習における擬似ラベル生成のパラダイムを変える可能性がある。
  論文  参考訳（メタデータ） (2024-04-26T06:00:27Z)
• Learning Sparsity of Representations with Discrete Latent Variables [15.05207849434673]
  本稿では,スパース深部潜伏生成モデルSDLGMを提案する。 表現の空間性は固定されていないが、事前に定義された制限の下で観察そのものに適合する。 推論と学習のために,MC勾配推定器をベースとした補正変分法を開発した。
  論文  参考訳（メタデータ） (2023-04-03T12:47:18Z)
• A Theoretical Understanding of Shallow Vision Transformers: Learning, Generalization, and Sample Complexity [71.11795737362459]
  自己注意モジュールを持つViTは、最近多くのタスクで経験的な成功を収めた。 しかし、理論学習の一般化分析は、ほとんどノイズが多く、解答的である。 本稿では,分類タスクのための浅いViTの理論的解析を行った。
  論文  参考訳（メタデータ） (2023-02-12T22:12:35Z)
• Bayesian Graph Contrastive Learning [55.36652660268726]
  本稿では,ランダムな拡張がエンコーダにつながることを示すグラフコントラスト学習手法の新たな視点を提案する。 提案手法は,各ノードを決定論的ベクトルに埋め込む既存の手法とは対照的に,各ノードを潜在空間の分布で表現する。 いくつかのベンチマークデータセットにおける既存の最先端手法と比較して,性能が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2021-12-15T01:45:32Z)
• Model-Change Active Learning in Graph-Based Semi-Supervised Learning [5.174023161939957]
  モデル変更」アクティブラーニングは、追加ラベルを導入して得られた変化を定量化する 後方分布のラプラス近似を用いて, 取得関数を効率的に近似できる凸損失関数の族を考える。
  論文  参考訳（メタデータ） (2021-10-14T21:47:10Z)
• Semi-Supervised Learning with Meta-Gradient [123.26748223837802]
  半教師付き学習における簡単なメタ学習アルゴリズムを提案する。 その結果,提案アルゴリズムは最先端の手法に対して良好に動作することがわかった。
  論文  参考訳（メタデータ） (2020-07-08T08:48:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。