論文の概要: Context Tuning for In-Context Optimization

• arxiv url: http://arxiv.org/abs/2507.04221v1
• Date: Sun, 06 Jul 2025 03:23:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:35.071798
• Title: Context Tuning for In-Context Optimization
• Title（参考訳）: 文脈最適化のためのコンテキストチューニング
• Authors: Jack Lu, Ryan Teehan, Zhenbang Yang, Mengye Ren,
• Abstract要約: コンテキストチューニングは、微調整モデルパラメータを使わずに、言語モデル(LLM)の少数ショット適応を強化する、シンプルで効果的な方法である。 プロンプトベースの適応とは対照的に、Context Tuningはトレーニング可能なプロンプトやプレフィックスをタスク固有のデモ例で初期化する。 CrossFit、UnifiedQA、MMLU、BIG-Bench Hard、ARCといったベンチマークの大規模な評価は、Context Tuningが従来のプロンプトベースの適応手法よりも優れていることを示している。
• 参考スコア（独自算出の注目度）: 11.728105991946773
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Context Tuning, a simple and effective method to significantly enhance few-shot adaptation of language models (LLMs) without fine-tuning model parameters. While prompt-based adaptation techniques have demonstrated the effectiveness of lightweight adaptation methods for large language models (LLMs), they typically initialize a trainable prompt or prefix with irrelevant tokens for the task at hand. In contrast, Context Tuning initializes the trainable prompt or prefix with task-specific demonstration examples, leveraging the model's inherent In-Context Learning (ICL) ability to extract relevant information for improved few-shot learning performance. Extensive evaluations on benchmarks such as CrossFit, UnifiedQA, MMLU, BIG-Bench Hard, and ARC demonstrate that Context Tuning outperforms traditional prompt-based adaptation methods and achieves competitive accuracy to Test-Time Training with significantly higher training efficiency.
• Abstract（参考訳）: 本研究では,言語モデル (LLM) の微調整モデルパラメータを使わずに,少数ショット適応を大幅に向上する,シンプルで効果的なコンテキストチューニング手法を提案する。 プロンプトベースの適応手法は、大規模言語モデル(LLM)の軽量適応手法の有効性を実証しているが、訓練可能なプロンプトやプレフィックスを手元にあるタスクに無関係なトークンで初期化するのが一般的である。 これとは対照的に、Context Tuningはトレーニング可能なプロンプトやプレフィックスをタスク固有のデモ例で初期化し、モデル固有のインコンテキスト学習(ICL)機能を活用して、関連する情報を抽出して、数発の学習性能を改善する。 CrossFit、UnifiedQA、MMLU、BIG-Bench Hard、ARCといったベンチマークの大規模な評価は、Context Tuningが従来のプロンプトベースの適応手法より優れ、トレーニング効率が大幅に向上したテストタイムトレーニングと競合する精度を実現していることを示している。

関連論文リスト

• Context-aware Prompt Tuning: Advancing In-Context Learning with Adversarial Methods [69.36397993451742]
  In this work introduced Context-aware Prompt Tuning (CPT) - ICL, PT, and adversarial attack。 入力および出力フォーマットのユニークな構造を考慮して、特定のコンテキストトークンを変更する。 敵の攻撃にインスパイアされた我々は、損失を最大化するのではなく、最小化に焦点をあてて、コンテキストに存在するラベルに基づいて入力を調整する。
  論文  参考訳（メタデータ） (2024-10-22T17:45:47Z)
• Parameter-Efficient Fine-Tuning of Large Language Models using Semantic Knowledge Tuning [0.08795040582681389]
  大規模言語モデル (LLMs) は近年,プロンプトを用いた特殊タスクにおいて大きな人気を集めている。 本稿では,ランダムトークンの代わりに有意な単語を用いたプロンプトおよびプレフィックスチューニングのためのセマンティック知識チューニング(SK-Tuning)を提案する。 実験結果から,SK-Tuningは,テキスト分類や理解などのタスクにおいて,より高速なトレーニング時間,少ないパラメータ,優れたパフォーマンスを示すことがわかった。
  論文  参考訳（メタデータ） (2024-10-11T07:55:09Z)
• Think Beyond Size: Adaptive Prompting for More Effective Reasoning [0.0]
  本稿では,動的かつ反復的なフレームワークであるAdaptive Promptingを紹介する。 その結果、Adaptive Promptingは、算術的推論(GSM8K、MultiArithm)、論理的推論、コモンセンスタスクなど、様々な推論ベンチマークのパフォーマンスを著しく向上させることを示した。 提案手法は,計算効率を維持しつつ,GPT-4などの大規模モデルと競合する性能を実現する。
  論文  参考訳（メタデータ） (2024-10-10T17:14:36Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Gradient-Regulated Meta-Prompt Learning for Generalizable Vision-Language Models [137.74524357614285]
  グラディエント・レグルアテッドメタプロンプト学習フレームワークについて紹介する。 パラメーターとデータ -- 効率的な方法で下流タスクにモデルを適応させるのに役立つ。 GRAMはモデルに依存しない方法で様々なプロンプトチューニング手法に容易に組み込むことができる。
  論文  参考訳（メタデータ） (2023-03-12T05:03:37Z)
• Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
  本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。 具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。 提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-12T04:42:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。