論文の概要: Calibrated Language Models and How to Find Them with Label Smoothing

• arxiv url: http://arxiv.org/abs/2508.00264v1
• Date: Fri, 01 Aug 2025 02:12:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-04 18:08:53.711983
• Title: Calibrated Language Models and How to Find Them with Label Smoothing
• Title（参考訳）: キャリブレーション言語モデルとラベル平滑化手法
• Authors: Jerry Huang, Peng Lu, Qiuhao Zeng,
• Abstract要約: 大規模言語モデル(LLM)は、命令追従能力を改善することで、より強力な対話型エージェントとして振る舞うことができる。 自然言語処理(NLP)の最近の進歩は、命令追従能力の向上を通じて、より強力な対話的エージェントとして振る舞うための微調整された大規模言語モデル(LLM)を実現する機会を拡大している。 信頼性の高いモデル出力の 信頼性校正にどう影響するか 完全には研究されていない
• 参考スコア（独自算出の注目度）: 4.038344945496787
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in natural language processing (NLP) have opened up greater opportunities to enable fine-tuned large language models (LLMs) to behave as more powerful interactive agents through improved instruction-following ability. However, understanding how this impacts confidence calibration for reliable model output has not been researched in full. In this work, we examine various open-sourced LLMs, identifying significant calibration degradation after instruction tuning in each. Seeking a practical solution, we look towards label smoothing, which has been shown as an effective method to regularize for overconfident predictions but has yet to be widely adopted in the supervised fine-tuning (SFT) of LLMs. We first provide insight as to why label smoothing is sufficient to maintain calibration throughout the SFT process. However, settings remain where the effectiveness of smoothing is severely diminished, in particular the case of large vocabulary LLMs (LV-LLMs). We posit the cause to stem from the ability to become over-confident, which has a direct relationship with the hidden size and vocabulary size, and justify this theoretically and experimentally. Finally, we address an outstanding issue regarding the memory footprint of the cross-entropy loss computation in the label smoothed loss setting, designing a customized kernel to dramatically reduce memory consumption without sacrificing speed or performance in comparison to existing solutions for non-smoothed losses.
• Abstract（参考訳）: 自然言語処理(NLP)の最近の進歩は、命令追従能力の向上を通じて、より強力な対話的エージェントとして振る舞うための微調整された大規模言語モデル(LLM)を実現する機会を拡大している。 しかし、信頼性の高いモデル出力の信頼性校正にどのように影響するかを理解することは、完全には研究されていない。 そこで本研究では,各種オープンソースのLDMについて検討し,各指導調律後のキャリブレーション劣化について検討する。 本研究は,ラベルスムーシング(ラベルスムーシング,ラベルスムーシング,ラベルスムーシング,ラベルスムーシング,ラベルスムーシング,ラベルスムーシング,ラベルスムースメント,ラベルスムースメント,ラベルスムースメント,ラベルスムースメント,ラベルスムースメント,ラベルスムースメント,ラベルスムースメント,ラベルスムースティング)を対象とする。 まず,ラベルの平滑化がSFTプロセス全体にわたってキャリブレーションを維持するのに十分な理由について考察する。 しかし、スムース化の有効性は著しく低下し、特に大語彙LLM(LV-LLMs)の場合、設定は依然として残っている。 隠れた大きさと語彙サイズと直接関係を持つ過信化能力から起因した原因を仮定し、理論的・実験的に正当化する。 最後に、ラベルスムーズな損失設定におけるクロスエントロピー損失計算のメモリフットプリントに関する問題に対処し、非滑らかな損失に対する既存のソリューションと比較して、速度や性能を犠牲にすることなく、メモリ消費を劇的に削減するカーネルを設計する。

関連論文リスト

• Federated Learning-Enabled Hybrid Language Models for Communication-Efficient Token Transmission [87.68447072141402]
  ハイブリッド言語モデル(HLM)は、エッジデバイス上でのSLM(Small Language Model)の低レイテンシ効率と、集中型サーバ上でのLLM(Large Language Model)の高精度を組み合わせたものである。 我々は、不確実性を考慮した推論とフェデレートラーニング(FL)を統合する通信効率の高いHLMフレームワークであるFedHLMを提案する。
  論文  参考訳（メタデータ） (2025-06-30T02:56:11Z)
• SDMPrune: Self-Distillation MLP Pruning for Efficient Large Language Models [3.962074007736394]
  原モデルの予測を十分に活用するために,プレニング段階(後訓練ではなく)に自己蒸留損失を導入する。 提案手法は,既存の刈り取り法よりも大幅に優れていることを示す。 提案手法は,1BスケールのオープンソースLLMにおいて,非常に競争力のある性能を実現する。
  論文  参考訳（メタデータ） (2025-06-10T02:24:32Z)
• An Extra RMSNorm is All You Need for Fine Tuning to 1.58 Bits [0.0]
  トレーニング後の量子化はメモリと計算を減少させるが、しばしば精度を低下させる。 三進法(2ビット)に量子化をプッシュすると、さらに大きな貯蓄が得られるが、非常に不安定である。 私たちのアプローチは、標準的な言語モデリングベンチマークにおいて、より精巧な知識蒸留パイプラインに適合するか、超越しています。
  論文  参考訳（メタデータ） (2025-05-12T21:14:29Z)
• O-TPT: Orthogonality Constraints for Calibrating Test-time Prompt Tuning in Vision-Language Models [17.56932003351322]
  視覚言語モデル(VLM)のテスト時プロンプトチューニングは、微調整なしでラベルのないデータで学習できることから注目されている。 結果として得られたモデルはキャリブレーションの低さを示す傾向にあり、これらのモデルの信頼性と信頼性に疑問を呈する。 我々は、学習可能なプロンプトに対応するテキストの特徴に直交制約を導入する、O-TPTと呼ばれる新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2025-03-15T11:45:54Z)
• Provenance: A Light-weight Fact-checker for Retrieval Augmented LLM Generation Output [49.893971654861424]
  検索強化生成(RAG)から非実効出力を検出する軽量な手法を提案する。 私たちは、二項決定を下すためにしきい値にできる事実性スコアを計算します。 実験の結果, ROC曲線 (AUC) の下では, 関連するオープンソースデータセットの広範囲にわたって高い面積を示すことができた。
  論文  参考訳（メタデータ） (2024-11-01T20:44:59Z)
• Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [63.10833446782114]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZO) 最適化手法はメモリ効率の良い代替手段を提供する。 本稿では,高次元摂動によって生じる課題に対処するために,部分空間ゼロ次最適化を提案する。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)
• Geometric-Averaged Preference Optimization for Soft Preference Labels [78.2746007085333]
  LLMを人間の嗜好と整合させる多くのアルゴリズムは、人間の嗜好は二進的かつ決定論的であると仮定する。 本研究では,分散ソフトな選好ラベルを導入し,損失関数におけるLLM出力確率の重み付き幾何平均を用いて直接選好最適化(DPO)を改善する。
  論文  参考訳（メタデータ） (2024-09-10T17:54:28Z)
• Get Confused Cautiously: Textual Sequence Memorization Erasure with Selective Entropy Maximization [17.20276556057748]
  大規模言語モデル(LLM)は、トレーニングセットの冗長性からいくつかのテキストシーケンスを暗記し、引用することが発見されている。 このTSM(Textual Sequence Memorization)現象は、特定の記憶されたテキストを生成するのを防ぐために、LCM出力の調整を要求される。 TSM消去のための既存の方法は、モデルユーティリティを実質的に損なうことなく、大量の記憶されたサンプルを忘れることができない。
  論文  参考訳（メタデータ） (2024-08-09T10:26:11Z)
• Smooth Pseudo-Labeling [4.1569253650826195]
  半教師付き学習(SSL)における実りある方法は擬似ラベル(PL)である PLは、関連する損失関数が誘導体に不連続性を持つという重要な欠点に悩まされており、ラベルが極めて少ない場合に性能が不安定になる。 ラベル付き画像がデータセット全体からランダムに選択され、データセットの頻度に比例する各クラスの表現を含まない新しいベンチマークを導入する。
  論文  参考訳（メタデータ） (2024-05-23T08:33:07Z)
• FFN-SkipLLM: A Hidden Gem for Autoregressive Decoding with Adaptive Feed Forward Skipping [49.66872823080736]
  自己回帰型大規模言語モデル(LLaMa, GPT)は、言語理解と生成において顕著な成功を収めている。 発生時に発生する過負荷を軽減するため、いくつかの早期退避および層下降戦略が提案されている。 本稿では,入力適応型フィードフォワードスキップ戦略であるFFN-SkipLLMを提案する。
  論文  参考訳（メタデータ） (2024-04-05T02:35:43Z)
• Mitigating Biases of Large Language Models in Stance Detection with Counterfactual Augmented Calibration [43.02857908228108]
  大規模言語モデル (LLM) は、スタンス検出を含む様々な自然言語処理タスクにおいて顕著な進歩を示している。 姿勢検出におけるそれらの性能は、データ駆動性に起因するバイアスと刺激的な相関によって制限される。 本稿では,LCMの姿勢予測における潜在的なバイアスをキャリブレーションする新たなキャリブレーションネットワークであるFACTUALを提案する。
  論文  参考訳（メタデータ） (2024-02-22T05:17:49Z)
• Semi-Supervised Class-Agnostic Motion Prediction with Pseudo Label Regeneration and BEVMix [59.55173022987071]
  クラス非依存動作予測のための半教師あり学習の可能性について検討する。 我々のフレームワークは一貫性に基づく自己学習パラダイムを採用しており、ラベルのないデータからモデルを学習することができる。 本手法は,弱さと完全教師付き手法に匹敵する性能を示す。
  論文  参考訳（メタデータ） (2023-12-13T09:32:50Z)
• One-Shot Sensitivity-Aware Mixed Sparsity Pruning for Large Language Models [42.95555008229016]
  そこで本研究では, ヘッセン感度を意識した混合疎水性プルーニング法を, 再トレーニングを必要とせず, 最低50%の疎水性まで適用する方法を提案する。 提案手法の利点は, 空間が極めて高い場合にさらに顕著である。
  論文  参考訳（メタデータ） (2023-10-14T05:43:09Z)
• Compress, Then Prompt: Improving Accuracy-Efficiency Trade-off of LLM Inference with Transferable Prompt [96.24800696597707]
  圧縮モデルにより,このトレードオフを最適化する新たな視点を導入する。 本稿では,圧縮されたモデルを学習プロセスに公開するソフトプロンプト学習法を提案する。 我々のソフトプロンプト戦略は8x圧縮LLaMA-7Bモデルの性能を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-17T20:45:13Z)
• SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised Learning [101.86916775218403]
  本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。 トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。 実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
  論文  参考訳（メタデータ） (2023-01-26T03:53:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。