論文の概要: Disentangling Latent Shifts of In-Context Learning with Weak Supervision

• arxiv url: http://arxiv.org/abs/2410.01508v2
• Date: Thu, 18 Sep 2025 21:29:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-22 18:18:10.765746
• Title: Disentangling Latent Shifts of In-Context Learning with Weak Supervision
• Title（参考訳）: 弱スーパービジョンを用いたインテクスト学習における遅延シフトの遠ざかる
• Authors: Josip Jukić, Jan Šnajder,
• Abstract要約: In-context Learning (ICL)により、大規模言語モデルでは、プロンプト内のラベル付き例を条件にすることで、少数ショット学習が可能となる。 柔軟性にも拘わらず、ICLはより多くのデモで即時長が増加するにつれて不安定に悩まされる。 提案手法は,実演による潜時変化をクエリから切り離すパラメータ効率の手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-context learning (ICL) enables large language models to perform few-shot learning by conditioning on labeled examples in the prompt. Despite its flexibility, ICL suffers from instability -- especially as prompt length increases with more demonstrations. To address this, we treat ICL as a source of weak supervision and propose a parameter-efficient method that disentangles demonstration-induced latent shifts from those of the query. An ICL-based teacher generates pseudo-labels on unlabeled queries, while a student predicts them using only the query input, updating a lightweight adapter. This captures demonstration effects in a compact, reusable form, enabling efficient inference while remaining composable with new demonstrations. Although trained on noisy teacher outputs, the student often outperforms its teacher through pseudo-label correction and coverage expansion, consistent with the weak-to-strong generalization effect. Empirically, our method improves generalization, stability, and efficiency across both in-domain and out-of-domain tasks, surpassing standard ICL and prior disentanglement methods.
• Abstract（参考訳）: In-context Learning (ICL)により、大規模言語モデルでは、プロンプト内のラベル付き例を条件にすることで、少数ショット学習が可能となる。 柔軟性にも拘わらず、ICLは不安定に悩まされている。 そこで本研究では,ICLを弱監督源として扱うとともに,実演による潜伏シフトをクエリから切り離すパラメータ効率の手法を提案する。 ICLベースの教師は、未ラベルのクエリに対して擬似ラベルを生成し、学生はクエリ入力のみを使用してそれらを予測し、軽量なアダプタを更新する。 これにより、コンパクトで再利用可能な形式でのデモンストレーション効果をキャプチャし、新しいデモで構成可能なまま、効率的な推論を可能にする。 ノイズの多い教師のアウトプットで訓練されているにもかかわらず、学生は、しばしば擬似ラベルの修正とカバレッジ拡張によって、弱いから強い一般化効果と整合して、その教師より優れています。 実証的に,本手法はドメイン内タスクおよびドメイン外タスクの一般化,安定性,効率性を向上し,標準のICLおよび事前のアンタングル化手法を超越する。

関連論文リスト

• Your Pretrained Model Tells the Difficulty Itself: A Self-Adaptive Curriculum Learning Paradigm for Natural Language Understanding [53.63482987410292]
  本稿では,事前学習言語モデルにより予測される難易度に基づいて,微調整例を優先する自己適応型カリキュラム学習パラダイムを提案する。 本手法は,4つの自然言語理解(NLU)データセットを用いて,二項分類と多項分類の両方を対象とする手法について検討した。
  論文  参考訳（メタデータ） (2025-07-13T19:36:17Z)
• Surprise Calibration for Better In-Context Learning [6.566285172635043]
  In-context Learning (ICL) は、大規模言語モデルにおけるタスク適応のための強力なパラダイムとして登場した。 既存のバイアス校正法は、すべての入力に対して固定クラス事前を適用し、動的ICL設定におけるそれらの有効性を制限している。 本稿では,クラス先行の時間的ダイナミクスをキャプチャする新しいメソッド・サプライズ(SC)を提案する。
  論文  参考訳（メタデータ） (2025-06-15T10:04:42Z)
• SALAD: Improving Robustness and Generalization through Contrastive Learning with Structure-Aware and LLM-Driven Augmented Data [15.366930934639838]
  モデルロバスト性と一般化を向上する新しいアプローチであるSALADを提案する。 提案手法は,コントラスト学習のための構造認識および非実効的拡張データを生成する。 本研究のアプローチは,感性分類,性行為検出,自然言語推論の3つのタスクを用いて検証する。
  論文  参考訳（メタデータ） (2025-04-16T15:40:10Z)
• Unlocking In-Context Learning for Natural Datasets Beyond Language Modelling [37.36879079951306]
  大規模言語モデル(LLM)は文脈学習(ICL)を示す ICLは自然言語のタスクやドメインに対して高速な適応を提供するが、テキスト以外のモダリティに対しては、その出現は簡単ではない。 ICLの重要な要素として、トレーニングデータ列における正確なトークン反復を同定する。 我々は、様々なビジュアルデータセットのためのICL機能をアンロックし、より困難な脳波分類タスクを、数ショットの学習システムで実行します。
  論文  参考訳（メタデータ） (2025-01-09T09:45:05Z)
• Multimodal Contrastive In-Context Learning [0.9120312014267044]
  本稿では,Large Language Models (LLMs) における勾配なしインコンテキスト学習 (ICL) の理解を高めるために,新しいマルチモーダルコントラスト型インコンテキスト学習フレームワークを提案する。 まず、実世界におけるICLの対照的な解釈を示し、ICLの差別化要因としてキー値表現の距離を示す。 第2に、実世界のデータセットに対するマルチモーダル入力フォーマットにおけるバイアスに対処する分析フレームワークを開発する。 第3に、ヘイトフルミームの検出の有効性を示すICLのオンザフライアプローチを提案する。
  論文  参考訳（メタデータ） (2024-08-23T10:10:01Z)
• Self-training Large Language Models through Knowledge Detection [26.831873737733737]
  大規模な言語モデル(LLM)は、ダウンストリームタスク間で印象的なパフォーマンスを達成するために、広範囲のラベル付きデータセットとトレーニング計算を必要とすることが多い。 本稿では,LLMが独自ラベルを自動でキュレートし,未知のデータサンプルを選択的に学習する自己学習パラダイムについて検討する。 経験的評価は、複数の被験者にまたがる世代における幻覚の減少に有意な改善を示した。
  論文  参考訳（メタデータ） (2024-06-17T07:25:09Z)
• DETAIL: Task DEmonsTration Attribution for Interpretable In-context Learning [75.68193159293425]
  インコンテキスト学習(ICL)により、トランスフォーマーベースの言語モデルでは、パラメータを更新することなく、いくつかの"タスクデモ"で特定のタスクを学習することができる。 ICLの特徴に対処する影響関数に基づく帰属手法DETAILを提案する。 ホワイトボックスモデルで得られた属性スコアがブラックボックスモデルに転送可能であることを示すことにより、モデル性能を向上させる上で、DETAILの広範な適用性を実験的に証明する。
  論文  参考訳（メタデータ） (2024-05-22T15:52:52Z)
• Data Poisoning for In-context Learning [49.77204165250528]
  In-context Learning (ICL)は、新しいタスクに適応する革新的な能力として認識されている。 本論文は、ICLのデータ中毒に対する感受性の重大な問題について述べる。 ICLの学習メカニズムを活用するために考案された特殊攻撃フレームワークであるICLPoisonを紹介する。
  論文  参考訳（メタデータ） (2024-02-03T14:20:20Z)
• Revisiting Demonstration Selection Strategies in In-Context Learning [66.11652803887284]
  大規模言語モデル(LLM)は、インコンテキスト学習(ICL)を用いて広範囲のタスクを実行するという印象的な能力を示している。 本研究ではまず,データとモデルの両方の側面から,この分散に寄与する要因を再検討し,実演の選択がデータとモデルに依存していることを確かめる。 本研究では,データとモデルに依存した実演選択手法である textbfTopK + ConE を提案する。
  論文  参考訳（メタデータ） (2024-01-22T16:25:27Z)
• Test-Time Training for Semantic Segmentation with Output Contrastive Loss [12.535720010867538]
  ディープラーニングベースのセグメンテーションモデルは、公開ベンチマークで印象的なパフォーマンスを達成したが、目に見えない環境にうまく一般化することは、依然として大きな課題である。 本稿では、適応過程を安定させるために、頑健で一般化された表現を学習する能力で知られるコントラストロス(OCL)を紹介する。 本手法は,テスト領域データに対するドメイン適応法を用いて事前学習したモデルに適用した場合においても優れ,そのレジリエンスと適応性を示す。
  論文  参考訳（メタデータ） (2023-11-14T03:13:47Z)
• Improving Input-label Mapping with Demonstration Replay for In-context Learning [67.57288926736923]
  In-context Learning (ICL)は、大規模な自己回帰言語モデルの出現する能力である。 Sliding Causal Attention (RdSca) と呼ばれる新しいICL法を提案する。 ICL実験において,本手法は入力ラベルマッピングを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2023-10-30T14:29:41Z)
• Scaling In-Context Demonstrations with Structured Attention [75.41845145597875]
  我々は、文脈内学習のためのより優れたアーキテクチャ設計を提案する。 In-Context Learningのための構造化アテンションは、構造化アテンションメカニズムによって完全なアテンションを置き換える。 SAICLは、最大3.4倍の推論速度で、フルアテンションよりも同等または優れた性能を実現していることを示す。
  論文  参考訳（メタデータ） (2023-07-05T23:26:01Z)
• Iterative Forward Tuning Boosts In-Context Learning in Language Models [88.25013390669845]
  本研究では,大規模言語モデル(LLM)における文脈内学習を促進する新しい2段階フレームワークを提案する。 具体的には、当社のフレームワークでは、ICLプロセスをDeep-ThinkingとTest Stageの2つの別々のステージに分類しています。 ディープシンキング段階にはユニークな注意機構、すなわち反復的な注意強化機構が組み込まれており、複数の情報の蓄積を可能にしている。
  論文  参考訳（メタデータ） (2023-05-22T13:18:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。