Fugu-MT 論文翻訳(概要): Assessing the Macro and Micro Effects of Random Seeds on Fine-Tuning Large Language Models

論文の概要: Assessing the Macro and Micro Effects of Random Seeds on Fine-Tuning Large Language Models

arxiv url: http://arxiv.org/abs/2503.07329v1
Date: Mon, 10 Mar 2025 13:42:04 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-11 15:53:13.506253
Title: Assessing the Macro and Micro Effects of Random Seeds on Fine-Tuning Large Language Models
Title（参考訳）: 微調整大言語モデルにおけるランダム種子のマクロとミクロ効果の評価
Authors: Hao Zhou, Guergana Savova, Lijing Wang,
Abstract要約: GLUEおよびSuperGLUEベンチマークを用いて,ランダムシードが大規模言語モデル(LLM)に与える影響を系統的に評価した。本実験は, 微調整および評価において, ランダム種子の注意深い検討の必要性を浮き彫りにして, マクロレベルとマイクロレベルの両方で有意なばらつきを示した。
参考スコア（独自算出の注目度）: 15.45085233672237
License:
Abstract: The impact of random seeds in fine-tuning large language models (LLMs) has been largely overlooked despite its potential influence on model performance.In this study, we systematically evaluate the effects of random seeds on LLMs using the GLUE and SuperGLUE benchmarks. We analyze the macro-level impact through traditional metrics like accuracy and F1, calculating their mean and variance to quantify performance fluctuations. To capture the micro-level effects, we introduce a novel metric, consistency, measuring the stability of individual predictions across runs. Our experiments reveal significant variance at both macro and micro levels, underscoring the need for careful consideration of random seeds in fine-tuning and evaluation.
Abstract（参考訳）: そこで本研究では, GLUEおよびSuperGLUEベンチマークを用いて, LLMに対するランダムシードの影響を系統的に評価した。我々は、精度やF1といった従来の指標を通してマクロレベルの影響を分析し、その平均と分散を計算し、パフォーマンスの変動を定量化する。マイクロレベルの効果を捉えるために,各走行中の予測の安定性を計測する新しい指標,一貫性を導入する。本実験は, 微調整および評価において, ランダム種子の注意深い検討の必要性を浮き彫りにして, マクロレベルとマイクロレベルの両方で有意なばらつきを示した。

関連論文リスト

Exploring Variability in Fine-Tuned Models for Text Classification with DistilBERT [0.9249657468385781]
本研究では, DistilBERT モデルを用いたテキスト分類のための微調整手法の評価を行った。学習率,バッチサイズ,エポックといったハイパーパラメータが,精度,F1スコア,損失に与える影響について検討した。
論文参考訳（メタデータ） (2024-12-31T03:16:15Z)
Quantifying perturbation impacts for large language models [49.1574468325115]
本稿では、頻繁な仮説テスト問題として摂動解析を再構成するフレームワークDBPAを紹介する。摂動影響評価におけるDBPAの有効性を示すとともに,摂動解析の汎用性を示す。
論文参考訳（メタデータ） (2024-12-01T16:13:09Z)
Learn from Downstream and Be Yourself in Multimodal Large Language Model Fine-Tuning [104.27224674122313]
微調整MLLMは、特定の下流タスクのパフォーマンスを改善するための一般的なプラクティスとなっている。一般化と特殊化のトレードオフのバランスをとるために,事前学習と微調整の両方におけるパラメータの重要度を測定することを提案する。
論文参考訳（メタデータ） (2024-11-17T01:16:37Z)
What Goes Into a LM Acceptability Judgment? Rethinking the Impact of Frequency and Length [61.71625297655583]
MORCELAはアクセプタビリティのためのリンク理論よりも優れていることを示す。より大型のモデルでは、一グラムの周波数に対する相対的な調整の度合いが低い。本分析により,より大きなLMの周波数効果に対する感受性の低下は,文脈において稀な単語をより正確に予測する能力によって説明できることが示された。
論文参考訳（メタデータ） (2024-11-04T19:05:49Z)
Toward Adaptive Large Language Models Structured Pruning via Hybrid-grained Weight Importance Assessment [58.030196381554745]
大規模言語モデル (LLM) の刈り取りにおける重み付け重要度の評価を, 微粒化と粗粒化にマージする手法であるHybrid-fine Weight Importance Assessment (HyWIA) を導入する。 LLaMA-V1/V2, Vicuna, Baichuan, Bloomの様々なベンチマークによる大規模な実験により, 刈り込みLDMにおけるHyWIAの有効性が示された。
論文参考訳（メタデータ） (2024-03-16T04:12:50Z)
Monotonicity and Double Descent in Uncertainty Estimation with Gaussian Processes [52.92110730286403]
限界確率はクロスバリデーションの指標を思い起こさせるべきであり、どちらもより大きな入力次元で劣化すべきである、と一般的に信じられている。我々は,ハイパーパラメータをチューニングすることにより,入力次元と単調に改善できることを証明した。また、クロスバリデーションの指標は、二重降下の特徴である質的に異なる挙動を示すことも証明した。
論文参考訳（メタデータ） (2022-10-14T08:09:33Z)
Variational Inference for Additive Main and Multiplicative Interaction Effects Models [0.0]
植物育種において、環境による遺伝子型(GxE)相互作用の存在は、栽培決定に強い影響を及ぼす。本稿では,そのようなモデルに対する変分推論手法について考察する。パラメータを推定するための変分近似を導出し、シミュレーションデータと実データの両方を用いてMCMCと比較する。
論文参考訳（メタデータ） (2022-06-29T22:58:12Z)
Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
論文参考訳（メタデータ） (2021-06-07T17:47:16Z)
On the Impact of Random Seeds on the Fairness of Clinical Classifiers [27.71610203951057]
電子健康記録上の臨床予測タスクにおける人口統計群間のモデル公平性に対するこの現象の影響を検討する。また,マイノリティ群の交点や幾らかの希少な条件に固有の小さなサンプルサイズは,差を正確に推定する能力に制限があることを見出した。
論文参考訳（メタデータ） (2021-04-13T16:30:39Z)
Inferring Microbial Biomass Yield and Cell Weight using Probabilistic Macrochemical Modeling [0.0]
微生物学研究において、微生物種が環境の変化にどのように反応するかを理解するために、成長速度とバイオマス収量が重要な記述子である。細胞数からバイオマスを推定し、収穫量を評価するために必要となるように、仮定された細胞重量に依存する。これらの仮定に対するノイズと不一致は、微生物の反応に関する結論に大きな変化をもたらす可能性がある。本稿では,微生物成長の確率論的マクロケミカルモデルを用いて,これらの課題に対処する手法を提案する。
論文参考訳（メタデータ） (2020-10-06T14:23:21Z)
Coupling Machine Learning and Crop Modeling Improves Crop Yield Prediction in the US Corn Belt [2.580765958706854]
本研究では,米コーンベルトにおける作物モデルと機械学習(ML)の結合によるトウモロコシ収量予測の改善について検討した。主な目的は、ハイブリッドアプローチ(クロップモデリング+ML)がより良い予測をもたらすかどうかを探求し、トウモロコシ収量予測のためにMLと最も効果的に統合できる作物モデルから特徴を決定することである。
論文参考訳（メタデータ） (2020-07-28T16:22:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。