論文の概要: Learning-to-Context Slope: Evaluating In-Context Learning Effectiveness Beyond Performance Illusions

• arxiv url: http://arxiv.org/abs/2506.23146v1
• Date: Sun, 29 Jun 2025 08:55:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 21:27:53.743716
• Title: Learning-to-Context Slope: Evaluating In-Context Learning Effectiveness Beyond Performance Illusions
• Title（参考訳）: ラーニング・トゥ・コンテクスト・スロープ(Learning-to-Context Slope) - パフォーマンスイリュージョンを超えたインコンテクスト学習効果の評価
• Authors: Dingzriui Wang, Xuanliang Zhang, Keyan Xu, Qingfu Zhu, Wanxiang Che, Yang Deng,
• Abstract要約: In-context Learning (ICL) は,大規模言語モデルの性能向上に有効な手法として登場した。 現在の評価手法は、信頼性の低下、属性の低下、データ不足のシナリオにおける非現実性に悩まされている。 学習ゲインと文脈関連性の間の傾きをモデル化し,ICLの有効性を定量化する新しい指標であるLCSを提案する。
• 参考スコア（独自算出の注目度）: 42.80928434779115
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In-context learning (ICL) has emerged as an effective approach to enhance the performance of large language models (LLMs). However, its effectiveness varies significantly across models and tasks, posing challenges for practitioners to determine when ICL reliably improves performance. Current evaluation approaches, reliant on performance change after applying ICL, suffer from low reliability, poor attribution, and impracticality in data-insufficient scenarios. We propose the Learning-to-Context Slope (LCS), a novel metric that quantifies ICL effectiveness by modeling the slope between learning gain (loss decrease from demonstrations) and contextual relevance (demonstration-input relevance). LCS addresses key limitations of performance-based metrics: (1) it captures continuous loss changes even when outputs are incorrect, improving reliability; (2) its formulation attributes ICL failures to weak contextual alignment (inability to adapt inputs to demonstrations) or strong output calibration (self-verification of correctness); and (3) it minimizes reliance on labeled data via synthetic evaluation. Extensive experiments demonstrate that LCS strongly correlates with performance improvements in labeled settings and reliably reflects true effectiveness in biased or data-scarce scenarios. Further analysis reveals actionable thresholds for LCS and identifies model capabilities critical to ICL success.
• Abstract（参考訳）: In-context Learning (ICL) は,大規模言語モデル(LLM)の性能向上に有効な手法として登場した。 しかし、その効果はモデルやタスクによって大きく異なり、ICLがパフォーマンスを確実に改善するかどうかを実践者が判断する上での課題となっている。 現在の評価手法は、ICL適用後の性能変化に依存し、信頼性の低下、属性の低下、データ不足のシナリオにおける非現実性に悩まされている。 本稿では,学習ゲイン(デモからの減少)と文脈関連(デモ・インプットの関連性)の勾配をモデル化し,ICLの有効性を定量的に評価する新しい指標であるLCSを提案する。 LCSは,(1)出力が間違っていても連続的な損失変化を捕捉し,信頼性を向上する,(2)図式化属性のICL障害によるコンテキストアライメントの弱さ(実演に適応できない)や強い出力キャリブレーション(正しさの自己検証),(3)合成評価によるラベル付きデータへの依存を最小限に抑える,といったパフォーマンスベースの指標の限界に対処する。 大規模な実験では、LCSはラベル付き設定のパフォーマンス改善と強く相関し、バイアスやデータスカースシナリオにおける真の有効性を確実に反映している。 さらなる分析により、LCSの実行可能なしきい値が明らかになり、ICLの成功に不可欠なモデル能力が特定される。

関連論文リスト

• Corrective In-Context Learning: Evaluating Self-Correction in Large Language Models [0.0]
  In-context Learning (ICL) は、大規模言語モデル (LLM) をNLPタスクに用いた。 有効性にもかかわらず、ICLは特に挑戦的な例でエラーを起こしやすい。 提案手法は,モデルの不正確な予測と地上の真偽の補正を併用する手法であるCICL(Corative In-Context Learning)を提案する。
  論文  参考訳（メタデータ） (2025-03-20T10:39:39Z)
• Technical Debt in In-Context Learning: Diminishing Efficiency in Long Context [13.796664304274643]
  我々は、スタイル化された設定における学習アルゴリズムとして、ICLの最適性を定量化する新しいフレームワークを導入する。 ICLは最初,ベイズ最適推定器の効率と一致したが,その効率は長期に渡り著しく低下する。 これらの結果は、ICLを普遍的な問題解決手段として採用する際のトレードオフを明らかにし、新しい世代のオンザフライ適応手法を動機付けている。
  論文  参考訳（メタデータ） (2025-02-07T00:26:45Z)
• Investigating the Pre-Training Dynamics of In-Context Learning: Task Recognition vs. Task Learning [99.05401042153214]
  In-context Learning(ICL)は、タスク認識(TR)とタスク学習(TL)の2つの主要な能力に起因する可能性がある。 ICLの出現の事前学習のダイナミクスを調べることで、第一歩を踏み出す。 そこで本研究では,この2つの機能を推論時によりよく統合するための,シンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-06-20T06:37:47Z)
• Towards Effective Evaluations and Comparisons for LLM Unlearning Methods [97.2995389188179]
  本稿では,大規模言語モデルにおける機械学習評価の精度向上を図る。 評価指標の堅牢性と、競合する目標間のトレードオフという、2つの重要な課題に対処します。
  論文  参考訳（メタデータ） (2024-06-13T14:41:00Z)
• A Context-Aware Approach for Enhancing Data Imputation with Pre-trained Language Models [0.18416014644193068]
  CRILMは、事前訓練された言語モデルを使用して、不足する値に対してコンテキストに関連のある記述子を作成する。 本評価は,MCAR,MAR,MNARシナリオにおけるCRILMの優れた性能とロバスト性を示す。
  論文  参考訳（メタデータ） (2024-05-28T00:08:29Z)
• In-Context Learning Demonstration Selection via Influence Analysis [11.504012974208466]
  大規模言語モデル(LLM)は、ICL(In-Context Learning)機能を披露した。 その利点にもかかわらず、ICLの有効性はデモの選択に大きく依存している。 本稿では,インフルエンス関数を用いてトレーニングサンプルの影響を解析する,InfICLという実演選択手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T00:39:31Z)
• Relaxed Contrastive Learning for Federated Learning [48.96253206661268]
  本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。 当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2024-01-10T04:55:24Z)
• Large Language Models are Miscalibrated In-Context Learners [22.30783674111999]
  本研究では,学習方法の異なる選択にまたがる行動の詳細な分析を行う。 低リソース環境における全ての学習手法に誤校正問題が存在することを観察する。 最大確率で自己認識を行うことで,ロバストかつ校正された予測が得られることがわかった。
  論文  参考訳（メタデータ） (2023-12-21T11:55:10Z)
• Unbiased and Efficient Self-Supervised Incremental Contrastive Learning [31.763904668737304]
  本稿では,新たなIncremental InfoNCE(NCE-II)損失関数からなる自己教師型Incremental Contrastive Learning(ICL)フレームワークを提案する。 ICLは最大16.7倍のトレーニングスピードアップと16.8倍の高速収束を実現している。
  論文  参考訳（メタデータ） (2023-01-28T06:11:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。