論文の概要: Annotation Entropy Predicts Per-Example Learning Dynamics in LoRA Fine-Tuning

• arxiv url: http://arxiv.org/abs/2604.16332v1
• Date: Thu, 12 Mar 2026 20:19:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-04 02:32:13.896031
• Title: Annotation Entropy Predicts Per-Example Learning Dynamics in LoRA Fine-Tuning
• Title（参考訳）: 注釈エントロピーによるLoRAファインチューニングにおけるサンプルごとの学習ダイナミクスの予測
• Authors: Brady Steele,
• Abstract要約: 高いアノテータの不一致のある項目は、トレーニング中に損失が増加することを示している。 LoRAファインチューニングは、競合する事例の未学習の展示である。 デデコーダのみのモデルは、一致したLoRAランクのエンコーダよりも強い相関を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We find that LoRA fine-tuning exhibits un-learning on contested examples: items with high annotator disagreement show increasing loss during training, a qualitatively distinct pattern largely absent under full fine-tuning and consistent across all six models tested (four encoder, two decoder-only). This discovery emerges from correlating annotation entropy, computed from ChaosNLI's 100 labels per example, with per-example area under the loss curve (AULC) on SNLI and MNLI. The correlation is positive in all 25 conditions tested (Spearman $ρ= 0.06$-$0.43$), with decoder-only models showing stronger correlations than encoders at matched LoRA rank. The effect survives partial-correlation controls and replicates across seeds and datasets. A preliminary noise-injection experiment is consistent with these findings.
• Abstract（参考訳）: その結果,LoRAファインチューニングでは,アノテータの不一致が高い項目はトレーニング中の損失の増加を示し,定性的に異なるパターンはフル微調整では欠落し,テスト対象の6モデルすべて(4エンコーダ,2デコーダのみ)に一貫性があることがわかった。 この発見は、例えばChaosNLIの100ラベルから計算されたアノテーションエントロピーと、SNLIとMNLIの損失曲線(AULC)の下でのサンプル単位の領域との相関から生じる。 この相関は、テストされた25条件すべて(Spearman $ρ= 0.06$-0.43$)で正であり、デコーダのみのモデルは、一致したLoRAランクのエンコーダよりも強い相関を示す。 この効果は部分相関制御を生き残り、種子やデータセット間で複製する。 予備的なノイズ注入実験はこれらの結果と一致している。

関連論文リスト

• Autoencoder based approach for the mitigation of spurious correlations [2.7624021966289605]
  純粋な相関は、真の基盤となる関係を反映しないデータの誤関連を指す。 これらの相関により、ディープニューラルネットワーク(DNN)は、さまざまなデータセットや実世界のシナリオで堅牢でないパターンを学ぶことができる。 本稿では,GWHD(Global Wheat Head Detection)2021データセットに存在するスプリアス相関の性質を自動エンコーダで解析する手法を提案する。
  論文  参考訳（メタデータ） (2024-06-27T05:28:44Z)
• Federated Nonparametric Hypothesis Testing with Differential Privacy Constraints: Optimal Rates and Adaptive Tests [5.3595271893779906]
  フェデレート学習は、さまざまな場所でデータが収集され分析される広範囲な設定で適用可能であることから、近年大きな注目を集めている。 分散差分プライバシー(DP)制約下でのホワイトノイズ・ウィズ・ドリフトモデルにおける非パラメトリック適合性試験について検討した。
  論文  参考訳（メタデータ） (2024-06-10T19:25:19Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• The Copycat Perceptron: Smashing Barriers Through Collective Learning [3.55026004901472]
  本研究では,各学生の一般化性能に影響を及ぼすサーマルノイズが存在する場合の一般的な設定を解析する。 レプリカの結合は、$alpha$の小さな値への位相図の曲がりに繋がることがわかった。 これらの結果は、最近推測されたReplicated Simulated Annealingのベイズ最適性に関する解析的および数値的な証拠を与える。
  論文  参考訳（メタデータ） (2023-08-07T17:51:09Z)
• Identifying Spurious Biases Early in Training through the Lens of Simplicity Bias [25.559684790787866]
  訓練の初期にモデルの出力に基づいて,スプリアス機能のある例が確実に分離可能であることを示す。 SPAREは,訓練の初期段階において,素早い相関関係を同定し,その効果を緩和するために重要サンプリングを利用する。
  論文  参考訳（メタデータ） (2023-05-30T05:51:36Z)
• Latent Feature Relation Consistency for Adversarial Robustness [80.24334635105829]
  深層ニューラルネットワークは、人間の知覚できない敵のノイズを自然の例に付加する敵の例を予測するときに、誤分類が起こる。 textbfLatent textbfFeature textbfRelation textbfConsistency (textbfLFRC)を提案する。 LFRCは、潜在空間における逆例の関係を、自然例と整合性に制約する。
  論文  参考訳（メタデータ） (2023-03-29T13:50:01Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Breaking the Spurious Causality of Conditional Generation via Fairness Intervention with Corrective Sampling [77.15766509677348]
  条件生成モデルは、トレーニングデータセットから急激な相関を継承することが多い。 これは別の潜在属性に対して不均衡なラベル条件分布をもたらす。 この問題を緩和するための一般的な2段階戦略を提案する。
  論文  参考訳（メタデータ） (2022-12-05T08:09:33Z)
• On Disentangled Representations Learned From Correlated Data [59.41587388303554]
  相関データに対する最も顕著な絡み合うアプローチの挙動を解析することにより、現実のシナリオにギャップを埋める。 本研究では,データセットの体系的相関が学習され,潜在表現に反映されていることを示す。 また、トレーニング中の弱い監督や、少数のラベルで事前訓練されたモデルを修正することで、これらの潜伏相関を解消する方法を実証する。
  論文  参考訳（メタデータ） (2020-06-14T12:47:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。