論文の概要: Measuring the Instability of Fine-Tuning

• arxiv url: http://arxiv.org/abs/2302.07778v2
• Date: Sun, 1 Oct 2023 10:38:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-03 20:16:16.754099
• Title: Measuring the Instability of Fine-Tuning
• Title（参考訳）: 微調整の不安定性の測定
• Authors: Yupei Du and Dong Nguyen
• Abstract要約: 異なるランダムシードを持つ下流タスクにおける微調整済み言語モデルは不安定であることが示されている。 本稿では,SDと他の6つの測定方法について,粒度の異なるレベルでの不安定性を定量的に分析する。
• 参考スコア（独自算出の注目度）: 7.370822347217826
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning pre-trained language models on downstream tasks with varying random seeds has been shown to be unstable, especially on small datasets. Many previous studies have investigated this instability and proposed methods to mitigate it. However, most studies only used the standard deviation of performance scores (SD) as their measure, which is a narrow characterization of instability. In this paper, we analyze SD and six other measures quantifying instability at different levels of granularity. Moreover, we propose a systematic framework to evaluate the validity of these measures. Finally, we analyze the consistency and difference between different measures by reassessing existing instability mitigation methods. We hope our results will inform the development of better measurements of fine-tuning instability.
• Abstract（参考訳）: 様々なランダムなシードを持つ下流タスク上の微調整済み言語モデルは、特に小さなデータセットでは不安定であることが示されている。 以前の多くの研究はこの不安定性を調査し、緩和する方法を提案した。 しかし、ほとんどの研究はパフォーマンススコア(SD)の標準偏差を測定基準として用いており、これは不安定性の狭い特徴である。 本稿では,様々な粒度で不安定性を定量化するsdおよび他の6つの測定値を分析した。 さらに,本手法の有効性を評価するための体系的枠組みを提案する。 最後に,既存の不安定緩和法を再評価することにより,異なる尺度間の一貫性と差異を分析する。 私たちの結果は、微調整不安定性のより良い測定方法の開発に役立てることを願っています。

関連論文リスト

• Second-Order Uncertainty Quantification: Variance-Based Measures [2.3999111269325266]
  本稿では,分類問題における二階分布に基づく不確かさの定量化に分散に基づく新しい手法を提案する。 この尺度の特徴は、クラスベースレベルでの不確実性を推論する能力であり、不確実な意思決定が必要な状況において有用である。
  論文  参考訳（メタデータ） (2023-12-30T16:30:52Z)
• One step closer to unbiased aleatoric uncertainty estimation [71.55174353766289]
  そこで本研究では,観測データのアクティブデノイズ化による新しい推定手法を提案する。 幅広い実験を行うことで,提案手法が標準手法よりも実際のデータ不確実性にはるかに近い近似を与えることを示す。
  論文  参考訳（メタデータ） (2023-12-16T14:59:11Z)
• Selective Nonparametric Regression via Testing [54.20569354303575]
  本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。 既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
  論文  参考訳（メタデータ） (2023-09-28T13:04:11Z)
• Evaluating AI systems under uncertain ground truth: a case study in dermatology [44.80772162289557]
  本稿では,アノテーションの不確実性を測定するための指標を提案し,評価のための不確実性調整指標を提案する。 本稿では,本フレームワークを皮膚条件分類に応用した症例スタディとして,アノテーションを診断の形で提供した画像について述べる。
  論文  参考訳（メタデータ） (2023-07-05T10:33:45Z)
• Toward Reliable Human Pose Forecasting with Uncertainty [51.628234388046195]
  我々は、複数のモデルを含む人間のポーズ予測のためのオープンソースのライブラリを開発し、複数のデータセットをサポートする。 我々は、パフォーマンスを高め、より良い信頼をもたらすために、問題の2つの不確実性を考案する。
  論文  参考訳（メタデータ） (2023-04-13T17:56:08Z)
• Mutual Wasserstein Discrepancy Minimization for Sequential Recommendation [82.0801585843835]
  逐次リコメンデーションのためのMutual WasserStein差分最小化MSteinに基づく新しい自己教師型学習フレームワークを提案する。 また,ワッサーシュタイン離散度測定に基づく新しい学習損失を提案する。
  論文  参考訳（メタデータ） (2023-01-28T13:38:48Z)
• Monotonicity and Double Descent in Uncertainty Estimation with Gaussian Processes [52.92110730286403]
  限界確率はクロスバリデーションの指標を思い起こさせるべきであり、どちらもより大きな入力次元で劣化すべきである、と一般的に信じられている。 我々は,ハイパーパラメータをチューニングすることにより,入力次元と単調に改善できることを証明した。 また、クロスバリデーションの指標は、二重降下の特徴である質的に異なる挙動を示すことも証明した。
  論文  参考訳（メタデータ） (2022-10-14T08:09:33Z)
• Better Uncertainty Quantification for Machine Translation Evaluation [17.36759906285316]
  我々は、新しい異種回帰、発散最小化、および直接不確実性予測目標を用いてCOMETメトリックを訓練する。 実験の結果、WMT20とWMT21のメトリクスタスクデータセットが改善され、計算コストが大幅に削減された。
  論文  参考訳（メタデータ） (2022-04-13T17:49:25Z)
• How certain are your uncertainties? [0.3655021726150368]
  ディープラーニング手法の出力の不確実性の尺度は、いくつかの点で有用である。 本研究では、これらの不確実性の測定の安定性について、大きさと空間パターンの両方の観点から検討する。
  論文  参考訳（メタデータ） (2022-03-01T05:25:02Z)
• Uncertainty-Gated Stochastic Sequential Model for EHR Mortality Prediction [6.170898159041278]
  本稿では,欠落変数の分布を推定し,隠れ状態の更新を行い,院内死亡の可能性を予測できる新しい変動再帰ネットワークを提案する。 我々のモデルは、これらの手順を1つのストリームで実行し、エンドツーエンドで全てのネットワークパラメータを共同で学習できることは注目に値する。
  論文  参考訳（メタデータ） (2020-03-02T04:41:28Z)
• Learning to Predict Error for MRI Reconstruction [67.76632988696943]
  提案手法による予測の不確実性は予測誤差と強く相関しないことを示す。 本稿では,2段階の予測誤差の目標ラベルと大小を推定する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-02-13T15:55:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。