論文の概要: Corrective In-Context Learning: Evaluating Self-Correction in Large Language Models

• arxiv url: http://arxiv.org/abs/2503.16022v1
• Date: Thu, 20 Mar 2025 10:39:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 16:34:45.426747
• Title: Corrective In-Context Learning: Evaluating Self-Correction in Large Language Models
• Title（参考訳）: 訂正的インコンテキスト学習:大規模言語モデルにおける自己補正の評価
• Authors: Mario Sanz-Guerrero, Katharina von der Wense,
• Abstract要約: In-context Learning (ICL) は、大規模言語モデル (LLM) をNLPタスクに用いた。 有効性にもかかわらず、ICLは特に挑戦的な例でエラーを起こしやすい。 提案手法は,モデルの不正確な予測と地上の真偽の補正を併用する手法であるCICL(Corative In-Context Learning)を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: In-context learning (ICL) has transformed the use of large language models (LLMs) for NLP tasks, enabling few-shot learning by conditioning on labeled examples without finetuning. Despite its effectiveness, ICL is prone to errors, especially for challenging examples. With the goal of improving the performance of ICL, we propose corrective in-context learning (CICL), an approach that incorporates a model's incorrect predictions alongside ground truth corrections into the prompt, aiming to enhance classification accuracy through self-correction. However, contrary to our hypothesis, extensive experiments on text classification tasks demonstrate that CICL consistently underperforms standard ICL, with performance degrading as the proportion of corrections in the prompt increases. Our findings indicate that CICL introduces confusion by disrupting the model's task understanding, rather than refining its predictions. Additionally, we observe that presenting harder examples in standard ICL does not improve performance, suggesting that example difficulty alone may not be a reliable criterion for effective selection. By presenting these negative results, we provide important insights into the limitations of self-corrective mechanisms in LLMs and offer directions for future research.
• Abstract（参考訳）: In-context Learning (ICL) は、NLPタスクのための大規模言語モデル(LLM)の使用を変革し、ラベル付き例を微調整せずに条件付けすることで、少数ショット学習を可能にした。 有効性にもかかわらず、ICLは特に挑戦的な例でエラーを起こしやすい。 ICLの性能を向上させることを目的として,モデルの不正確な予測と地上の真理補正を併用し,自己補正による分類精度の向上を目指すCICL(Creative In-context Learning)を提案する。 しかし、本仮説とは対照的に、テキスト分類タスクに関する広範な実験により、CICLは標準ICLを一貫して過小評価しており、プロンプトの補正の割合が増加するにつれて性能が低下することが示された。 この結果から,CICLは予測を洗練させるのではなく,モデルのタスク理解を混乱させることによって混乱を招くことが示唆された。 さらに,標準ICLにおける難解な例を提示しても性能は向上せず,例えば難易度だけでは有効選択の信頼性が低い可能性が示唆された。 これらの否定的な結果を提示することにより,LLMにおける自己補正機構の限界について重要な洞察を与え,今後の研究の方向性を示す。

関連論文リスト

• Technical Debt in In-Context Learning: Diminishing Efficiency in Long Context [13.796664304274643]
  我々は、スタイル化された設定における学習アルゴリズムとして、ICLの最適性を定量化する新しいフレームワークを導入する。 ICLは最初,ベイズ最適推定器の効率と一致したが,その効率は長期に渡り著しく低下する。 これらの結果は、ICLを普遍的な問題解決手段として採用する際のトレードオフを明らかにし、新しい世代のオンザフライ適応手法を動機付けている。
  論文  参考訳（メタデータ） (2025-02-07T00:26:45Z)
• Loss-Aware Curriculum Learning for Chinese Grammatical Error Correction [21.82403446634522]
  中国語の文法的誤り訂正(CGEC)は、入力された中国語文の誤りを検出し、訂正することを目的としている。 現在のアプローチでは、修正の難しさはインスタンスによって異なり、これらのサンプルを等しく扱うことは無視されている。 この問題に対処する多粒度カリキュラム学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-31T08:11:49Z)
• Attribute Controlled Fine-tuning for Large Language Models: A Case Study on Detoxification [76.14641982122696]
  本稿では,属性制御付き大規模言語モデル(LLM)の制約学習スキーマを提案する。 提案手法は, ベンチマーク上での競合性能と毒性検出タスクを達成しながら, 不適切な応答を少ないLCMに導出することを示す。
  論文  参考訳（メタデータ） (2024-10-07T23:38:58Z)
• Robust Calibration of Large Vision-Language Adapters [17.583536041845402]
  本稿では,CLIPに基づくモデル適応における誤校正の重大な問題に対処する。 実験により,0ショットベースラインのキャリブレーション能力を大幅に低下させる,Adapters,Prompt Learning,Test-Time Adaptationなどの一般的なCLIP適応アプローチを実証した。 これらの観測により、各試料の対数範囲をゼロショット予測ロジットに拡大することにより、誤校正を緩和するための単純でモデルに依存しない解が提示される。
  論文  参考訳（メタデータ） (2024-07-18T15:27:56Z)
• Data Poisoning for In-context Learning [49.77204165250528]
  In-context Learning (ICL)は、新しいタスクに適応する革新的な能力として認識されている。 本論文は、ICLのデータ中毒に対する感受性の重大な問題について述べる。 ICLの学習メカニズムを活用するために考案された特殊攻撃フレームワークであるICLPoisonを紹介する。
  論文  参考訳（メタデータ） (2024-02-03T14:20:20Z)
• On Task Performance and Model Calibration with Supervised and Self-Ensembled In-Context Learning [71.44986275228747]
  In-context Learning (ICL) は、近年の大規模言語モデル(LLM)の進歩により、効率的なアプローチとなっている。 しかし、両方のパラダイムは、過信の批判的な問題(すなわち、誤校正)に苦しむ傾向にある。
  論文  参考訳（メタデータ） (2023-12-21T11:55:10Z)
• A Study on the Calibration of In-context Learning [27.533223818505682]
  In-context Learning (ICL) は静的言語モデルに適切なプロンプトで適応するための一般的な手法である。 また,ICL例の増加に伴い,モデルの誤校正が向上し,キャリブレーションの精度が向上することが確認された。 再校正手法について検討し,スケーリング結合キャリブレータが一貫した校正誤差を低減できることを見出した。
  論文  参考訳（メタデータ） (2023-12-07T03:37:39Z)
• In-context Learning and Gradient Descent Revisited [3.085927389171139]
  トレーニングされていないモデルでさえ、ICLを提示していないにもかかわらず、同等のICL-GD類似度スコアが得られることを示す。 次に、ICLとGDのモデル全体にわたる情報の流れにおける大きな相違について検討し、これをレイヤ因果性(Layer Causality)と呼ぶ。 本稿では,階層因果関係を尊重する単純なGDに基づく最適化手法を提案する。
  論文  参考訳（メタデータ） (2023-11-13T21:42:38Z)
• Beyond Task Performance: Evaluating and Reducing the Flaws of Large Multimodal Models with In-Context Learning [105.77733287326308]
  我々は,3Bから80Bパラメータスケールまでの最近のオープンソースLMMを,幻覚,禁忌,構成性,説明可能性,指示に従う5つの異なる軸で評価した。 トレーニングフリーなインコンテキスト学習(ICL)をソリューションとして検討し、それがこれらの制限に与える影響について検討する。 ICL研究に基づき、ICLをさらに推し進め、Multitask-ICL、Chain-of-Hindsight-ICL、Self-Correcting-ICLといった新しい多モードICL変種を提案する。
  論文  参考訳（メタデータ） (2023-10-01T12:02:59Z)
• What and How does In-Context Learning Learn? Bayesian Model Averaging, Parameterization, and Generalization [111.55277952086155]
  In-Context Learning (ICL) をいくつかのオープンな質問に答えることによって研究する。 ニューラルネットワークパラメータを更新せずに、ICLはベイズモデル平均化アルゴリズムを暗黙的に実装している。 事前学習されたモデルの誤差は近似誤差と一般化誤差の和で有界であることを示す。
  論文  参考訳（メタデータ） (2023-05-30T21:23:47Z)
• Using Representation Expressiveness and Learnability to Evaluate Self-Supervised Learning Methods [61.49061000562676]
  本稿では,学習可能性を評価するためにCluster Learnability (CL)を導入する。 CLは、K-meansで表現をクラスタリングすることによって得られたラベルを予測するために訓練されたKNNのパフォーマンスで測定される。 CLは、他の競合する評価手法よりも分布内モデルの性能と相関することがわかった。
  論文  参考訳（メタデータ） (2022-06-02T19:05:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。