論文の概要: CrossICL: Cross-Task In-Context Learning via Unsupervised Demonstration Transfer

• arxiv url: http://arxiv.org/abs/2505.24143v1
• Date: Fri, 30 May 2025 02:26:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.733519
• Title: CrossICL: Cross-Task In-Context Learning via Unsupervised Demonstration Transfer
• Title（参考訳）: CrossICL: 教師なしデモ転送によるクロスタスクインコンテキスト学習
• Authors: Jinglong Gao, Xiao Ding, Lingxiao Zou, Bing Qin, Ting Liu,
• Abstract要約: In-Context Learning (ICL)は、大規模な言語モデル(LLM)のパフォーマンスをデモで向上させる。 ほとんどの現実世界のシナリオでは、ユーザーはそのようなデモを行うのを望まないか、望んでいないことが多い。 人間の類推に触発されて、新たなICLパラダイムであるCrossICLを探索し、ICLの既存のソースタスクのデモをターゲットタスクに活用する方法を考察する。
• 参考スコア（独自算出の注目度）: 31.81611723106955
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In-Context Learning (ICL) enhances the performance of large language models (LLMs) with demonstrations. However, obtaining these demonstrations primarily relies on manual effort. In most real-world scenarios, users are often unwilling or unable to provide such demonstrations. Inspired by the human analogy, we explore a new ICL paradigm CrossICL to study how to utilize existing source task demonstrations in the ICL for target tasks, thereby obtaining reliable guidance without any additional manual effort. To explore this, we first design a two-stage alignment strategy to mitigate the interference caused by gaps across tasks, as the foundation for our experimental exploration. Based on it, we conduct comprehensive exploration of CrossICL, with 875 NLP tasks from the Super-NI benchmark and six types of LLMs, including GPT-4o. Experimental results demonstrate the effectiveness of CrossICL and provide valuable insights on questions like the criteria for selecting cross-task demonstrations, as well as the types of task-gap-induced interference in CrossICL.
• Abstract（参考訳）: In-Context Learning (ICL)は、大規模な言語モデル(LLM)のパフォーマンスをデモで向上させる。 しかし、これらのデモンストレーションを得ることは主に手作業に依存している。 ほとんどの現実世界のシナリオでは、ユーザーはそのようなデモを行うのを望まないか、望んでいないことが多い。 人間の類推にインスパイアされた新しいICLパラダイムであるCrossICLを探索し、ICCの既存のソースタスクのデモを目標タスクに活用する方法を研究し、手作業なしで信頼性の高いガイダンスを得る。 そこで我々はまず,タスク間のギャップによる干渉を軽減するための2段階アライメント戦略を,実験的な探索の基礎として設計する。 そこで我々は,Super-NIベンチマークによる875のNLPタスクと,GPT-4oを含む6種類のLSMを用いて,CrossICLの総合的な探索を行う。 実験結果からCrossICLの有効性が示され,クロスタスク・デモの選択基準や,CrossICLにおけるタスクギャップ誘発干渉のタイプなど,質問に対する貴重な洞察が得られた。

関連論文リスト

• Enhancing Cross-task Transfer of Large Language Models via Activation Steering [75.41750053623298]
  クロスタスク・イン・コンテキスト学習はタスク間で知識を伝達する直接的なソリューションを提供する。 パラメータ更新や入力拡張を伴わずに、潜時空間ステアリングによりクロスタスク転送を実現することができるかを検討する。 本稿では,モデルの内部アクティベーション状態を操作することで,効率的な転送を可能にするクロスタスク・アクティベーション・ステアリング・トランスファー・フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-07-17T15:47:22Z)
• Leveraging In-Context Learning for Language Model Agents [51.2996117207114]
  インコンテキスト学習(ICL)と動的に選択されたデモは、大規模言語モデル(LLM)の柔軟性と、トレーニングデータを活用してパフォーマンスを向上させる能力を組み合わせたものだ。 実演における類似タスクの軌道選択は, LLMエージェントの性能, 信頼性, 堅牢性, 効率を著しく向上させることを示す。 より大規模なモデル(アノテーションフェーズ)から得られた実演により、より小さなモデルも改善され、ICLエージェントはよりコストのかかる訓練されたエージェントと競合する可能性がある。
  論文  参考訳（メタデータ） (2025-06-16T05:37:49Z)
• What Factors Affect Multi-Modal In-Context Learning? An In-Depth Exploration [59.855712519568904]
  本稿では,MM-ICLの中核となる3つのステップについて検討する。 本研究は, 実演検索におけるマルチモーダルレトリバーの必要性と, 演目間注文よりも演目内注文が重要であることを明らかにする。
  論文  参考訳（メタデータ） (2024-10-27T15:37:51Z)
• DAWN-ICL: Strategic Planning of Problem-solving Trajectories for Zero-Shot In-Context Learning [99.05401042153214]
  In-context Learning (ICL) を実現するために,実証対応モンテカルロ木探索法 (DAWN-ICL) を提案する。 現実のシナリオでは、問題は通常多様なタスクから発生し、同じタスクに属するものはほとんどない。ランダムな順序は信頼できない擬似デモを生成し、エラーの蓄積につながる。
  論文  参考訳（メタデータ） (2024-10-26T16:17:02Z)
• In-Context Transfer Learning: Demonstration Synthesis by Transferring Similar Tasks [93.46282380831339]
  コンテキスト内学習は、ターゲットタスクのデモを提供することで、大きな言語モデルが様々なタスクに適応するのに役立つ。 提案するICTL(In-Context Transfer Learning)は,類似のソースタスクからラベル付きデモを転送することで,ターゲットタスクのデモンストレーションを合成する。 Super-NIの実験では、ICTLはスクラッチから平均2.0%の効率で合成に優れていた。
  論文  参考訳（メタデータ） (2024-10-02T13:37:54Z)
• Unraveling the Mechanics of Learning-Based Demonstration Selection for In-Context Learning [43.356895599336504]
  本研究では,学習に基づく実演選択手法の動作メカニズムを解析する。 類似度測定に関連する2つの重要な因子を実験的に同定した。 本稿では,タスクに依存しない要求とタスク固有の要求に対応する,効果的かつ単純化された2つの例選択手法を提案する。
  論文  参考訳（メタデータ） (2024-06-14T03:34:02Z)
• TEGEE: Task dEfinition Guided Expert Ensembling for Generalizable and Few-shot Learning [37.09785060896196]
  タスク定義を明示的に抽出する textbfTEGEE (Task Definition Guided Expert Ensembling) を提案する。 私たちのフレームワークは2つの3Bモデルアプローチを採用しています。 実験により, TEGEEはより大きなLLaMA2-13Bモデルと相容れない性能を示した。
  論文  参考訳（メタデータ） (2024-03-07T05:26:41Z)
• Misconfidence-based Demonstration Selection for LLM In-Context Learning [0.0]
  大規模言語モデル(LLM)を用いたインコンテキスト学習は、様々なタスクに迅速に適応する上で優れている。 この問題に対する現在のアプローチは、難易度の高い外部監視に依存するか、LLMとの頻繁な相互作用を必要とするかのいずれかである。 In-Context Reflection (ICR) と呼ばれる新しい手法を提案し、これらの課題を克服する。
  論文  参考訳（メタデータ） (2024-01-12T00:11:24Z)
• Comparable Demonstrations are Important in In-Context Learning: A Novel Perspective on Demonstration Selection [22.29452683679149]
  In-Context Learning(ICL)は、大規模言語モデル(LLM)をダウンストリームタスクに適用するための重要なパラダイムである。 本研究は、ICLのメカニズムを新しい視点から検討し、ICLの実証選択戦略についてより深い知見を提供する。
  論文  参考訳（メタデータ） (2023-12-12T18:05:46Z)
• LLMs Learn Task Heuristics from Demonstrations: A Heuristic-Driven Prompting Strategy for Document-Level Event Argument Extraction [12.673710691468264]
  本稿では,Huristic-Driven Link-of-Alogy (HD-LoA)を導入し,サンプル選択の課題に対処する。 人間の類推的推論にインスパイアされ,LLMが新たな状況に対処できるリンク・オブ・アナロジー・プロンプトを提案する。 実験により,本手法は文書レベルのAEデータセット上で,既存のプロンプト手法や数発の教師付き学習手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-11-11T12:05:01Z)
• Iterative Forward Tuning Boosts In-Context Learning in Language Models [88.25013390669845]
  本研究では,大規模言語モデル(LLM)における文脈内学習を促進する新しい2段階フレームワークを提案する。 具体的には、当社のフレームワークでは、ICLプロセスをDeep-ThinkingとTest Stageの2つの別々のステージに分類しています。 ディープシンキング段階にはユニークな注意機構、すなわち反復的な注意強化機構が組み込まれており、複数の情報の蓄積を可能にしている。
  論文  参考訳（メタデータ） (2023-05-22T13:18:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。