論文の概要: Boosting In-Context Learning in LLMs Through the Lens of Classical Supervised Learning

• arxiv url: http://arxiv.org/abs/2505.23783v1
• Date: Thu, 22 May 2025 18:55:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-08 12:40:08.586604
• Title: Boosting In-Context Learning in LLMs Through the Lens of Classical Supervised Learning
• Title（参考訳）: 古典的指導学習のレンズによるLLMにおけるインテクスト学習の促進
• Authors: Korel Gundem, Juncheng Dong, Dennis Zhang, Vahid Tarokh, Zhengling Qi,
• Abstract要約: In-Context Learning (ICL)では、LLM(Large Language Models)がいくつかの例で新しいタスクに適応できるが、その予測は体系的なバイアスに悩まされることが多い。 ロジット空間において、これらの手法の多くは、方向を変更する能力を持たずに、単にLLMの決定境界をシフトすることと等価であることを示す。 我々はこれらの制限に対処し、統一されたフレームワークを提供するためにSupervised (SC)を提案する。
• 参考スコア（独自算出の注目度）: 26.263282689008417
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-Context Learning (ICL) allows Large Language Models (LLMs) to adapt to new tasks with just a few examples, but their predictions often suffer from systematic biases, leading to unstable performances in classification. While calibration techniques are proposed to mitigate these biases, we show that, in the logit space, many of these methods are equivalent to merely shifting the LLM's decision boundary without having the ability to alter its orientation. This proves inadequate when biases cause the LLM to be severely misdirected. To address these limitations and provide a unifying framework, we propose Supervised Calibration (SC), a loss-minimization based framework which learns an optimal, per-class affine transformation of the LLM's predictive probabilities in the logit space without requiring external data beyond the context. By using a more expressive functional class, SC not only subsumes many existing calibration methods in ICL as special cases, but also enables the ability to alter and even completely reverse the orientation of the LLM's decision boundary. Furthermore, SC's loss-based nature facilitates the seamless integration of two purpose-built regularization techniques: context-invariance and directional trust-region. The former is designed to tackle the instability issue in ICL, while the latter controls the degree of calibration. Finally, SC delivers state-of-the-art performance over calibration baselines in the 4-shot, 8-shot, and 16-shot settings across all nine datasets for Mistral-7B-Instruct-v0.3, LLaMA-2-7B-chat, and Qwen2-7B-Instruct.
• Abstract（参考訳）: In-Context Learning (ICL) では、LLM(Large Language Models)がいくつかの例で新しいタスクに適応できるが、その予測はしばしば体系的なバイアスに悩まされ、分類における不安定なパフォーマンスをもたらす。 これらのバイアスを軽減するためにキャリブレーション手法が提案されているが、ロジット空間においては、これらの手法の多くは、方向を変更する能力を持たず、単にLSMの決定境界をシフトすることと等価であることを示す。 バイアスがLLMを過度に誤った方向に向かわせると、これは不適切である。 これらの制約に対処し,一元化フレームワークを提供するために,損失最小化に基づくフレームワークであるSupervised Calibration (SC)を提案する。 より表現力のある機能クラスを使用することで、SCはICLの多くの既存のキャリブレーションメソッドを特別なケースとして仮定するだけでなく、LCMの決定境界の向きを変更したり、完全に反転したりすることができる。 さらに、SCの損失に基づく性質は、コンテキスト不変性と指向性信頼領域という、2つの目的に構築された正規化技法のシームレスな統合を促進する。 前者はICLの不安定性問題に取り組むように設計され、後者はキャリブレーションの程度を制御する。 最後に、SCはMistral-7B-Instruct-v0.3、LLaMA-2-7B-chat、Qwen2-7B-Instructの9つのデータセットに対して、4ショット、8ショット、16ショット設定でキャリブレーションベースラインよりも最先端のパフォーマンスを提供する。

関連論文リスト

• Unbiased Max-Min Embedding Classification for Transductive Few-Shot Learning: Clustering and Classification Are All You Need [83.10178754323955]
  わずかなショットラーニングにより、モデルがいくつかのラベル付き例から一般化できる。 本稿では,Unbiased Max-Min Embedding Classification (UMMEC)法を提案する。 本手法は最小ラベル付きデータを用いて分類性能を著しく向上させ, 注釈付きLの最先端化を推し進める。
  論文  参考訳（メタデータ） (2025-03-28T07:23:07Z)
• Contrast-Aware Calibration for Fine-Tuned CLIP: Leveraging Image-Text Alignment [46.87809309786518]
  視覚言語モデル(VLM)は例外的な能力を示しており、迅速な微調整によって下流のタスクに迅速に適応することができる。 オープン語彙設定などの非トレーニングクラスを含む分類タスクでは、微調整されたVLMは、しばしば訓練クラスに過度に適合し、信頼スコアと未確認クラスの実際の精度の誤調整をもたらす。 既存の信頼性キャリブレーション手法では、トレーニングパラメータやトレーニングデータセットの特徴の分析が必要であり、対応する列車データなしで未確認のクラスを一般化する能力を制限している。 5つの微調整方法を持つ11のデータセットを含む実験において、CACは、列車と見知らぬクラスの両方において、常に最高の校正効果を達成した。
  論文  参考訳（メタデータ） (2025-01-31T11:47:15Z)
• Attribute Controlled Fine-tuning for Large Language Models: A Case Study on Detoxification [76.14641982122696]
  本稿では,属性制御付き大規模言語モデル(LLM)の制約学習スキーマを提案する。 提案手法は, ベンチマーク上での競合性能と毒性検出タスクを達成しながら, 不適切な応答を少ないLCMに導出することを示す。
  論文  参考訳（メタデータ） (2024-10-07T23:38:58Z)
• Large Language Models are Miscalibrated In-Context Learners [22.30783674111999]
  本研究では,学習方法の異なる選択にまたがる行動の詳細な分析を行う。 低リソース環境における全ての学習手法に誤校正問題が存在することを観察する。 最大確率で自己認識を行うことで,ロバストかつ校正された予測が得られることがわかった。
  論文  参考訳（メタデータ） (2023-12-21T11:55:10Z)
• TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models [52.734140807634624]
  調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。 既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。 LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
  論文  参考訳（メタデータ） (2023-10-10T16:38:49Z)
• Batch Calibration: Rethinking Calibration for In-Context Learning and Prompt Engineering [12.348320788446841]
  Batch (BC) は、バッチ入力からコンテキストバイアスを制御する、単純だが直感的な手法である。 BCはゼロショットであり、推論のみであり、追加コストは無視できない。 10以上の自然言語理解および画像分類タスクにおいて,従来のキャリブレーションベースラインに対する最先端性能を示す。
  論文  参考訳（メタデータ） (2023-09-29T13:55:45Z)
• Boosting Few-Shot Learning With Adaptive Margin Loss [109.03665126222619]
  本稿では,数ショット学習問題に対するメートル法に基づくメタラーニング手法の一般化能力を改善するための適応的マージン原理を提案する。 大規模な実験により,提案手法は,現在のメートル法に基づくメタラーニング手法の性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2020-05-28T07:58:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。