論文の概要: NoisyICL: A Little Noise in Model Parameters Calibrates In-context Learning

• arxiv url: http://arxiv.org/abs/2402.05515v2
• Date: Thu, 15 Feb 2024 15:25:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-16 18:42:06.356402
• Title: NoisyICL: A Little Noise in Model Parameters Calibrates In-context Learning
• Title（参考訳）: NoisyICL: 文脈内学習を校正するモデルパラメータの小さなノイズ
• Authors: Yufeng Zhao, Yoshihiro Sakai, Naoya Inoue
• Abstract要約: In-Context Learning(ICL)は、事前バイアスが高く、不信感があるため、不満足なパフォーマンスと過小評価に悩まされている。 本稿では,モデルパラメータをランダムノイズで摂動させることで,より優れた性能とキャリブレーションを実現するノイズICLを提案する。
• 参考スコア（独自算出の注目度）: 5.2538258920647944
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-Context Learning (ICL) is suffering from unsatisfactory performance and under-calibration due to high prior bias and unfaithful confidence. Some previous works fine-tuned language models for better ICL performance with enormous datasets and computing costs. In this paper, we propose NoisyICL, simply perturbing the model parameters by random noises to strive for better performance and calibration. Our experiments on two models and 12 downstream datasets show that NoisyICL can help ICL produce more accurate predictions. Our further analysis indicates that NoisyICL enables the model to provide more fair predictions, and also with more faithful confidence. Therefore, we believe that NoisyICL is an effective calibration of ICL. Our experimental code is uploaded to Github.
• Abstract（参考訳）: In-Context Learning(ICL)は、事前バイアスが高く、不信感があるため、不満足なパフォーマンスと過小評価に悩まされている。 以前のいくつかの作業では、膨大なデータセットと計算コストでICLのパフォーマンスを改善するための言語モデルを微調整していた。 本稿では,モデルパラメータをランダムノイズで摂動させ,より優れた性能とキャリブレーションを実現するノイズICLを提案する。 2つのモデルと12のダウンストリームデータセットに関する実験では、ノイズiclがより正確な予測に役立ちます。 さらなる分析から,このモデルにより,より公平な予測が可能となり,信頼性も高まることが示唆された。 そこで我々は,NoisyICLはICLの効果的な校正法であると考えている。 実験コードはgithubにアップロードされます。

関連論文リスト

• Conformal-in-the-Loop for Learning with Imbalanced Noisy Data [5.69777817429044]
  大規模なデータセットでは、クラス不均衡とラベルノイズが広まっています。 機械学習の研究の多くは、よくラベル付けされたバランスの取れたデータを前提としている。 コンフォーマル・イン・ザ・ループ(Conformal-in-the-Loop, CitL)は,コンフォーマルな予測に基づく手法を用いて,両課題に対処する新しいトレーニングフレームワークである。
  論文  参考訳（メタデータ） (2024-11-04T17:09:58Z)
• Why Larger Language Models Do In-context Learning Differently? [12.554356517949785]
  大規模言語モデル(LLM)は、インコンテキスト学習(ICL)の重要な能力を備えた、AIの強力なツールとして登場した。 最近の謎の観測では、異なるスケールのモデルが異なるICLの挙動を持つ可能性がある。
  論文  参考訳（メタデータ） (2024-05-30T01:11:35Z)
• Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
  低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。 本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。 低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
  論文  参考訳（メタデータ） (2024-05-28T20:43:53Z)
• Advancing the Robustness of Large Language Models through Self-Denoised Smoothing [50.54276872204319]
  大規模言語モデル(LLM)は大きな成功を収めたが、敵の摂動に対する脆弱性は大きな懸念を引き起こしている。 本稿では,LLMのマルチタスク特性を活用して,まずノイズの入力を識別し,次にこれらの復号化バージョンに基づいて予測を行う。 LLMのロバスト性を高めるために個別のモデルを訓練する必要がある従来のコンピュータビジョンのスムース化技術とは異なり、本手法は効率と柔軟性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-04-18T15:47:00Z)
• ROPO: Robust Preference Optimization for Large Language Models [59.10763211091664]
  外部モデルの助けを借りずにノイズ耐性とノイズサンプルのフィルタリングを統合する反復アライメント手法を提案する。 Mistral-7BとLlama-2-7Bで広く使われている3つのデータセットの実験では、ROPOが既存の嗜好アライメント法を大幅に上回っていることが示されている。
  論文  参考訳（メタデータ） (2024-04-05T13:58:51Z)
• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• In-context Learning and Gradient Descent Revisited [3.085927389171139]
  トレーニングされていないモデルでさえ、ICLを提示していないにもかかわらず、同等のICL-GD類似度スコアが得られることを示す。 次に、ICLとGDのモデル全体にわたる情報の流れにおける大きな相違について検討し、これをレイヤ因果性(Layer Causality)と呼ぶ。 本稿では,階層因果関係を尊重する単純なGDに基づく最適化手法を提案する。
  論文  参考訳（メタデータ） (2023-11-13T21:42:38Z)
• Learning correlated noise in a 39-qubit quantum processor [0.38073142980732994]
  誤り訂正量子コンピュータの構築は、候補デバイス上でのノイズの測定とモデリングに大きく依存する。 本稿では, シンドローム抽出回路を動作させるデバイスにおいて, ノイズの詳細情報を抽出する手法を提案する。 様々な高度化のノイズモデルを構築するのに必要な情報を20個のデータキュービットから抽出する方法を示す。
  論文  参考訳（メタデータ） (2023-03-01T19:07:35Z)
• Latent Class-Conditional Noise Model [54.56899309997246]
  本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。 次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。 提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
  論文  参考訳（メタデータ） (2023-02-19T15:24:37Z)
• A Self-Refinement Strategy for Noise Reduction in Grammatical Error Correction [54.569707226277735]
  既存の文法的誤り訂正(GEC)のアプローチは、手動で作成したGECデータセットによる教師あり学習に依存している。 誤りが不適切に編集されたり、修正されなかったりする「ノイズ」は無視できないほどある。 本稿では,既存のモデルの予測整合性を利用して,これらのデータセットをデノマイズする自己補充手法を提案する。
  論文  参考訳（メタデータ） (2020-10-07T04:45:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。