論文の概要: In-Context Semi-Supervised Learning

• arxiv url: http://arxiv.org/abs/2512.15934v1
• Date: Wed, 17 Dec 2025 20:00:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-19 18:10:31.806755
• Title: In-Context Semi-Supervised Learning
• Title（参考訳）: In-Context Semi-Supervised Learning
• Authors: Jiashuo Fan, Paul Rosu, Aaron T. Wang, Michael Li, Lawrence Carin, Xiang Cheng,
• Abstract要約: テキストにおける半教師付き学習(IC-SSL)の導入と研究 トランスフォーマーはラベルのないコンテキストを利用して、堅牢でコンテキストに依存した表現を学習できることを示す。 この表現は正確な予測を可能にし、低ラベル方式のパフォーマンスを著しく向上させる。
• 参考スコア（独自算出の注目度）: 22.314041800594072
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: There has been significant recent interest in understanding the capacity of Transformers for in-context learning (ICL), yet most theory focuses on supervised settings with explicitly labeled pairs. In practice, Transformers often perform well even when labels are sparse or absent, suggesting crucial structure within unlabeled contextual demonstrations. We introduce and study in-context semi-supervised learning (IC-SSL), where a small set of labeled examples is accompanied by many unlabeled points, and show that Transformers can leverage the unlabeled context to learn a robust, context-dependent representation. This representation enables accurate predictions and markedly improves performance in low-label regimes, offering foundational insights into how Transformers exploit unlabeled context for representation learning within the ICL framework.
• Abstract（参考訳）: インコンテキスト学習(ICL)におけるトランスフォーマーの能力を理解することには近年大きな関心が寄せられているが、ほとんどの理論は明示的にラベル付けされたペアによる教師付き設定に焦点を当てている。 実際、トランスフォーマーはラベルが疎かったり不在だったりしてもよく機能し、ラベルなしの文脈実証において重要な構造を示唆する。 In-context semi-supervised learning (IC-SSL)では,ラベル付きサンプルの小さなセットにラベルなしのポイントが伴い,トランスフォーマーがラベルなしコンテキストを利用して頑健でコンテキスト依存的な表現を学習できることが示されている。 この表現は正確な予測を可能にし、低ラベルのレシエーションにおけるパフォーマンスを著しく向上させ、トランスフォーマーがICLフレームワーク内での表現学習にラベルのないコンテキストをどのように利用するかについての基礎的な洞察を提供する。

関連論文リスト

• Provable In-Context Learning of Nonlinear Regression with Transformers [66.99048542127768]
  In-context Learning (ICL) は、パラメータを更新することなくタスク固有のプロンプトを使用して見えないタスクを実行する能力である。 最近の研究はICLの背後にあるトレーニングのダイナミクスを積極的に探求しており、その多くは比較的単純なタスクに重点を置いている。 本稿では、変換器が文脈内学習能力をいかに獲得するかを明らかにすることを目的として、より複雑な非線形回帰タスクについて検討する。
  論文  参考訳（メタデータ） (2025-07-28T00:09:28Z)
• Neuro-symbolic Weak Supervision: Theory and Semantics [5.455744338342196]
  帰納的論理プログラミング(ILP)を統合したニューロシンボリック・フレームワークのセマンティクスを提案する。 ILPは、ラベル遷移のための論理仮説空間を定義し、意味論を明確にし、解釈可能なパフォーマンス標準を確立する。 このハイブリッドアプローチは、弱教師付き設定における堅牢性、透明性、説明責任を改善する。
  論文  参考訳（メタデータ） (2025-03-24T10:02:51Z)
• ULTra: Unveiling Latent Token Interpretability in Transformer-Based Understanding and Segmentation [14.84547724351634]
  ULTraはトランスフォーマーの埋め込みを解釈し、意味のある意味的パターンを明らかにするためのフレームワークである。 モデルを変更することなく外部変換行列を学習し,セグメンテーション性能を向上する自己教師型トレーニング手法を提案する。 我々は、オブジェクト選択や解釈可能なテキスト要約を含む、合成シナリオと実世界のシナリオの両方において、モデル解釈のためのULTraを検証する。
  論文  参考訳（メタデータ） (2024-11-15T19:36:50Z)
• Con-ReCall: Detecting Pre-training Data in LLMs via Contrastive Decoding [118.75567341513897]
  既存のメソッドは通常、ターゲットテキストを分離して分析するか、非メンバーコンテキストでのみ分析する。 Con-ReCallは、メンバと非メンバのコンテキストによって誘導される非対称な分布シフトを利用する新しいアプローチである。
  論文  参考訳（メタデータ） (2024-09-05T09:10:38Z)
• In-Context Learning with Representations: Contextual Generalization of Trained Transformers [66.78052387054593]
  In-context Learning (ICL) は、事前訓練された大規模言語モデルの能力を指し、推論中にいくつか例を挙げると、新しいタスクを学習できる。 本稿では,非線形回帰タスクのレンズによる勾配降下による変圧器のトレーニングダイナミクスについて検討する。
  論文  参考訳（メタデータ） (2024-08-19T16:47:46Z)
• Class-aware and Augmentation-free Contrastive Learning from Label Proportion [19.41511190742059]
  Label Proportion(LLP)からの学習(Learning from Label Proportion)は、トレーニングデータを事前定義されたインスタンスのバッグに整理する、弱教師付き学習シナリオである。 本稿では,インスタンスレベルでのクラス認識管理を導入した拡張フリーコントラストフレームワークTabLLP-BDCを提案する。 我々のソリューションは、2段階のBag Different Contrastive(BDC)学習機構を備えており、堅牢なクラス認識インスタンスレベルの監視を確立する。
  論文  参考訳（メタデータ） (2024-08-13T09:04:47Z)
• Exploring the Robustness of In-Context Learning with Noisy Labels [5.6196021491757495]
  実験では,トランスフォーマーは様々な種類のノイズに対して顕著な耐性を示すことを示す。 また、トレーニングセットにノイズを導入することは、データ拡張の形式に似ており、推論中にそのような堅牢性を高めるかどうかについても検討する。
  論文  参考訳（メタデータ） (2024-04-28T14:05:23Z)
• Robust Representation Learning for Unreliable Partial Label Learning [86.909511808373]
  部分ラベル学習(Partial Label Learning, PLL)は、弱い教師付き学習の一種で、各トレーニングインスタンスに候補ラベルのセットが割り当てられる。 これはUn Reliable partial Label Learning (UPLL) と呼ばれ、部分ラベルの本質的な信頼性の欠如とあいまいさにより、さらなる複雑さをもたらす。 本研究では,信頼できない部分ラベルに対するモデル強化を支援するために,信頼性に欠けるコントラスト学習を活用するUnreliability-Robust Representation Learning framework(URRL)を提案する。
  論文  参考訳（メタデータ） (2023-08-31T13:37:28Z)
• Learning Interpretable and Discrete Representations with Adversarial Training for Unsupervised Text Classification [87.28408260725138]
  TIGANは、テキストを離散コードと連続ノイズを含む2つの非絡み合った表現にエンコードすることを学ぶ。 抽出したトピックの単語は,TIGANが一貫性と高度に解釈可能なトピックを学習していることを示している。
  論文  参考訳（メタデータ） (2020-04-28T02:53:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。