論文の概要: CrossICL: Cross-Task In-Context Learning via Unsupervised Demonstration Transfer

• arxiv url: http://arxiv.org/abs/2505.24143v1
• Date: Fri, 30 May 2025 02:26:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.733519
• Title: CrossICL: Cross-Task In-Context Learning via Unsupervised Demonstration Transfer
• Title（参考訳）: CrossICL: 教師なしデモ転送によるクロスタスクインコンテキスト学習
• Authors: Jinglong Gao, Xiao Ding, Lingxiao Zou, Bing Qin, Ting Liu,
• Abstract要約: In-Context Learning (ICL)は、大規模な言語モデル(LLM)のパフォーマンスをデモで向上させる。 ほとんどの現実世界のシナリオでは、ユーザーはそのようなデモを行うのを望まないか、望んでいないことが多い。 人間の類推に触発されて、新たなICLパラダイムであるCrossICLを探索し、ICLの既存のソースタスクのデモをターゲットタスクに活用する方法を考察する。
• 参考スコア（独自算出の注目度）: 31.81611723106955
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In-Context Learning (ICL) enhances the performance of large language models (LLMs) with demonstrations. However, obtaining these demonstrations primarily relies on manual effort. In most real-world scenarios, users are often unwilling or unable to provide such demonstrations. Inspired by the human analogy, we explore a new ICL paradigm CrossICL to study how to utilize existing source task demonstrations in the ICL for target tasks, thereby obtaining reliable guidance without any additional manual effort. To explore this, we first design a two-stage alignment strategy to mitigate the interference caused by gaps across tasks, as the foundation for our experimental exploration. Based on it, we conduct comprehensive exploration of CrossICL, with 875 NLP tasks from the Super-NI benchmark and six types of LLMs, including GPT-4o. Experimental results demonstrate the effectiveness of CrossICL and provide valuable insights on questions like the criteria for selecting cross-task demonstrations, as well as the types of task-gap-induced interference in CrossICL.
• Abstract（参考訳）: In-Context Learning (ICL)は、大規模な言語モデル(LLM)のパフォーマンスをデモで向上させる。 しかし、これらのデモンストレーションを得ることは主に手作業に依存している。 ほとんどの現実世界のシナリオでは、ユーザーはそのようなデモを行うのを望まないか、望んでいないことが多い。 人間の類推にインスパイアされた新しいICLパラダイムであるCrossICLを探索し、ICCの既存のソースタスクのデモを目標タスクに活用する方法を研究し、手作業なしで信頼性の高いガイダンスを得る。 そこで我々はまず,タスク間のギャップによる干渉を軽減するための2段階アライメント戦略を,実験的な探索の基礎として設計する。 そこで我々は,Super-NIベンチマークによる875のNLPタスクと,GPT-4oを含む6種類のLSMを用いて,CrossICLの総合的な探索を行う。 実験結果からCrossICLの有効性が示され,クロスタスク・デモの選択基準や,CrossICLにおけるタスクギャップ誘発干渉のタイプなど,質問に対する貴重な洞察が得られた。

関連論文リスト

• DAWN-ICL: Strategic Planning of Problem-solving Trajectories for Zero-Shot In-Context Learning [99.05401042153214]
  In-context Learning (ICL) を実現するために,実証対応モンテカルロ木探索法 (DAWN-ICL) を提案する。 現実のシナリオでは、問題は通常多様なタスクから発生し、同じタスクに属するものはほとんどない。ランダムな順序は信頼できない擬似デモを生成し、エラーの蓄積につながる。
  論文  参考訳（メタデータ） (2024-10-26T16:17:02Z)
• In-Context Transfer Learning: Demonstration Synthesis by Transferring Similar Tasks [93.46282380831339]
  コンテキスト内学習は、ターゲットタスクのデモを提供することで、大きな言語モデルが様々なタスクに適応するのに役立つ。 提案するICTL(In-Context Transfer Learning)は,類似のソースタスクからラベル付きデモを転送することで,ターゲットタスクのデモンストレーションを合成する。 Super-NIの実験では、ICTLはスクラッチから平均2.0%の効率で合成に優れていた。
  論文  参考訳（メタデータ） (2024-10-02T13:37:54Z)
• TEGEE: Task dEfinition Guided Expert Ensembling for Generalizable and Few-shot Learning [37.09785060896196]
  タスク定義を明示的に抽出する textbfTEGEE (Task Definition Guided Expert Ensembling) を提案する。 私たちのフレームワークは2つの3Bモデルアプローチを採用しています。 実験により, TEGEEはより大きなLLaMA2-13Bモデルと相容れない性能を示した。
  論文  参考訳（メタデータ） (2024-03-07T05:26:41Z)
• Misconfidence-based Demonstration Selection for LLM In-Context Learning [0.0]
  大規模言語モデル(LLM)を用いたインコンテキスト学習は、様々なタスクに迅速に適応する上で優れている。 この問題に対する現在のアプローチは、難易度の高い外部監視に依存するか、LLMとの頻繁な相互作用を必要とするかのいずれかである。 In-Context Reflection (ICR) と呼ばれる新しい手法を提案し、これらの課題を克服する。
  論文  参考訳（メタデータ） (2024-01-12T00:11:24Z)
• Comparable Demonstrations are Important in In-Context Learning: A Novel Perspective on Demonstration Selection [22.29452683679149]
  In-Context Learning(ICL)は、大規模言語モデル(LLM)をダウンストリームタスクに適用するための重要なパラダイムである。 本研究は、ICLのメカニズムを新しい視点から検討し、ICLの実証選択戦略についてより深い知見を提供する。
  論文  参考訳（メタデータ） (2023-12-12T18:05:46Z)
• Iterative Forward Tuning Boosts In-Context Learning in Language Models [88.25013390669845]
  本研究では,大規模言語モデル(LLM)における文脈内学習を促進する新しい2段階フレームワークを提案する。 具体的には、当社のフレームワークでは、ICLプロセスをDeep-ThinkingとTest Stageの2つの別々のステージに分類しています。 ディープシンキング段階にはユニークな注意機構、すなわち反復的な注意強化機構が組み込まれており、複数の情報の蓄積を可能にしている。
  論文  参考訳（メタデータ） (2023-05-22T13:18:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。