論文の概要: Unveiling the Basin-Like Loss Landscape in Large Language Models

• arxiv url: http://arxiv.org/abs/2505.17646v2
• Date: Wed, 08 Oct 2025 04:36:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-09 14:21:18.00876
• Title: Unveiling the Basin-Like Loss Landscape in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける盆地型失われた景観の創出
• Authors: Huanran Chen, Yinpeng Dong, Zeming Wei, Yao Huang, Yichi Zhang, Hang Su, Jun Zhu,
• Abstract要約: 事前学習により, テクストベース機能盆地が生成され, その後のアライメント微調整形式がテクスト固有機能盆地となることが観察された。 その結果, 逆方向の微調整がほぼ最悪の方向に進行し, モデル性能が急速に低下することが判明した。
• 参考スコア（独自算出の注目度）: 64.07900377968143
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We discover the emergence of \textit{basins} in the loss landscape of large language models. As model scale increases, LLMs become progressively more resilient to random perturbations in the parameter space, giving rise to expansive stability regions where models exhibit nearly identical performance, but outside of which their capabilities collapse. We observe that pre-training creates a \textit{basic capability} basin, and subsequent alignment fine-tuning forms \textit{specific capability} basins (e.g., safety, math, coding). Thus, we argue that benign fine-tuning confined to the basin should preserve prior capabilities. Besides, we also analyze the loss landscape for worst-case directions, which is consistently sharp and detrimental. We find that adversarial fine-tuning moves along the nearly worst-case directions, thus rapidly degrading model capabilities. Finally, we provide a theoretical analysis demonstrating that the basin size bounds the performance degradation of any fine-tuning, including the adversarial ones, while also guaranteeing the model robustness w.r.t. input perturbations, suggesting the benefit of enlarging basins.
• Abstract（参考訳）: 大規模言語モデルの損失景観におけるtextit{basins} の出現を明らかにする。 モデルスケールが大きくなるにつれて、LLMはパラメータ空間のランダムな摂動に対して徐々に耐性が増し、モデルがほぼ同じ性能を示すが、それらの能力が崩壊する領域が広がる。 事前学習では, 事前学習によって \textit{basic capabilities} 盆地が生成され, その後のアライメント微調整形式 \textit{specific capabilities} 盆地(例えば, 安全性, 数学, コーディング)が生成される。 したがって、盆地に制限された良質な微調整は、事前の能力を維持するべきであると論じる。 さらに、最悪のケースの方向の損失状況も分析し、それは常に鋭く、有害である。 その結果, 逆方向の微調整がほぼ最悪の方向に進行し, モデル性能が急速に低下することが判明した。 最後に, 流域の大きさが, 逆方向を含むあらゆる微調整の性能劣化に束縛されていること, また, 入力摂動のモデル頑健性を保証すること, そして, 流域を拡大する利点を示唆する理論解析を行った。

関連論文リスト

• Mitigating Reward Hacking in RLHF via Bayesian Non-negative Reward Modeling [49.41422138354821]
  非負の因子分析をBradley-Terry選好モデルに統合する原理的報酬モデリングフレームワークを提案する。 BNRMは、スパースで非負の潜在因子生成過程を通じて報酬を表す。 BNRMは報酬の過度な最適化を著しく軽減し、分布シフトによるロバスト性を改善し、強いベースラインよりも解釈可能な報酬分解をもたらすことを示す。
  論文  参考訳（メタデータ） (2026-02-11T08:14:11Z)
• Understanding Degradation with Vision Language Model [56.09241449206817]
  視覚的劣化を理解することは、コンピュータビジョンにおいて重要な問題であるが、難しい問題である。 本稿では,教師付き微調整と強化学習を併用したマルチモーダル・チェーン・オブ・ソート・モデルであるDU-VLMを紹介する。 また,110,000個のクリーン劣化ペアと接地された物理アノテーションからなる大規模データセットである textbfDU-110k も導入した。
  論文  参考訳（メタデータ） (2026-02-04T13:51:15Z)
• Reducing Memorisation in Generative Models via Riemannian Bayesian Inference [40.41090345118905]
  データ分布の変動をよりよく捉えた予測後部を構築する。 提案手法は,一般化を保ちながら記憶を減少させることを示した。 全体として,損失の幾何学を考えることで,パラメータ空間の有効利用が可能となることを示す。
  論文  参考訳（メタデータ） (2026-01-30T11:08:51Z)
• Da Yu: Towards USV-Based Image Captioning for Waterway Surveillance and Scene Understanding [25.87853252053879]
  水路環境に特化して設計された最初のキャプションデータセットであるWaterCaptionを紹介する。 WaterCaptionは、きめ細かいマルチリージョンの長文記述に焦点を当てている。 我々は,USVのためのエッジデプロイ可能なマルチモーダルな大規模言語モデルであるDa Yuを提案する。
  論文  参考訳（メタデータ） (2025-06-24T03:48:48Z)
• Understanding Overadaptation in Supervised Fine-Tuning: The Role of Ensemble Methods [11.695512384798299]
  監視された微調整は、基礎モデルを専門的なタスクに適応するための支配的なアプローチである。 視覚モデルでは、事前訓練されたモデルと微調整されたモデルを組み合わせることでこの問題を軽減することが示されている。 アンサンブルモデルは基礎モデルからの一般的な知識を保持するだけでなく、微調整されたドメイン自体においても、微調整されたモデルよりも優れる。
  論文  参考訳（メタデータ） (2025-06-02T17:23:16Z)
• Do Language Models Use Their Depth Efficiently? [53.56816097840505]
  Llama 3.1 および Qwen 3 モデルの残留ストリームを分析する。 後半のレイヤが前半のレイヤよりもはるかに少ないことが分かりました。 マルチホップタスクでは、モデルが深度を増してサブレサルを構成するという証拠が見つからない。
  論文  参考訳（メタデータ） (2025-05-20T04:00:56Z)
• Energy-Conserving Neural Network Closure Model for Long-Time Accurate and Stable LES [0.0]
  我々は,鍵となる物理保存則を保ちながら安定性を強制する閉鎖モデルとして,スキュー対称ニューラルネットワークアーキテクチャを開発した。 提案手法は, 質量, 運動量, エネルギーの保存を確実にする離散化と, 粗粒な速度場における質量の保存を維持するための対面吸収フィルタを利用する。
  論文  参考訳（メタデータ） (2025-04-08T09:49:18Z)
• Understanding Flatness in Generative Models: Its Role and Benefits [9.775257597631244]
  教師付き学習における堅牢性を高めることが知られているフラット・ミニマは、生成モデルにおいてほとんど探索されていない。 より平坦なミニマは、対象の事前分布における摂動に対する頑健性を改善するという理論的主張を確立する。 拡散モデルにおける平坦なミニマは、生成性能だけでなく、頑健性も向上することを示した。
  論文  参考訳（メタデータ） (2025-03-14T04:38:53Z)
• HYPNOS : Highly Precise Foreground-focused Diffusion Finetuning for Inanimate Objects [1.706656684496508]
  頑健な拡散モデルは、ある積の結果のほぼ完全な再構成を行う能力によって決定される。 現在の顕著な拡散に基づく微調整技術は、前景オブジェクトの一貫性を維持するには不十分である。 我々は,高精度な前景焦点拡散微調整技術であるHypnosを提案する。
  論文  参考訳（メタデータ） (2024-10-18T08:20:37Z)
• Depth Anything V2 [84.88796880335283]
  V2は3つの重要なプラクティスを通じて、より微細でより堅牢な深度予測を生成する。 すべてのラベル付き実像を合成画像に置き換え、教師モデルの容量を拡大し、大規模な擬似ラベル付き実像のブリッジを通じて生徒モデルを教える。 その強い一般化能力から、距離深度モデルを得るために、距離深度ラベルを微調整する。
  論文  参考訳（メタデータ） (2024-06-13T17:59:56Z)
• Super Consistency of Neural Network Landscapes and Learning Rate Transfer [72.54450821671624]
  我々は、失われたヘッセンのレンズを通して風景を研究する。 我々は、$mu$P のスペクトル特性がネットワークの大きさに大きく依存していることを発見した。 ニューラルタンジェントカーネル(NTK)や他のスケーリングシステムでは、シャープネスは異なるスケールで非常に異なるダイナミクスを示す。
  論文  参考訳（メタデータ） (2024-02-27T12:28:01Z)
• Learning Robust Precipitation Forecaster by Temporal Frame Interpolation [65.5045412005064]
  本研究では,空間的不一致に対するレジリエンスを示す頑健な降水予測モデルを構築した。 提案手法は,textit4cast'23コンペティションの移行学習リーダーボードにおいて,textit1位を確保したモデルにおいて,予測精度が大幅に向上した。
  論文  参考訳（メタデータ） (2023-11-30T08:22:08Z)
• On the Embedding Collapse when Scaling up Recommendation Models [53.66285358088788]
  埋め込み崩壊現象をスケーラビリティの阻害とみなし、埋め込み行列は低次元の部分空間を占有する傾向にある。 本稿では,組込み集合固有の相互作用モジュールを組み込んで,多様性を持つ組込み集合を学習する,単純かつ効果的な組込み設計を提案する。
  論文  参考訳（メタデータ） (2023-10-06T17:50:38Z)
• Uncertainty Quantification in Inverse Models in Hydrology [9.020366051310384]
  本研究では,ストリームフローと気象データから物理特性を復元する知識誘導確率逆モデリング手法を提案する。 我々は,河川流域特性を推定するための最先端の逆モデルと比較した。 我々のフレームワークはまた、逆モデルとフォワードモデルの両方の不確実性を定量化できるため、説明可能性の向上も提供する。
  論文  参考訳（メタデータ） (2023-10-03T16:39:21Z)
• Fine-tuning can cripple your foundation model; preserving features may be the solution [87.35911633187204]
  タスク上の概念を認識できる微調整モデルの能力は、事前訓練されたモデルに比べて大幅に低下する。 我々は、下流タスクに関連する新しい概念を学習しながら、モデルが事前学習した知識を保存できる「textitLDIFS$」という新しい微調整手法を提案する。
  論文  参考訳（メタデータ） (2023-08-25T11:49:51Z)
• Can we avoid Double Descent in Deep Neural Networks? [3.1473798197405944]
  二重降下は、ディープラーニングコミュニティの注目を集めている。 これは、高一般化を維持するために最適なモデルのサイズについて深刻な疑問を提起する。 本研究は, 学習問題の適切な条件付けにより, 二重降下現象は回避可能であることを示す。
  論文  参考訳（メタデータ） (2023-02-26T08:12:28Z)
• An evaluation of deep learning models for predicting water depth evolution in urban floods [59.31940764426359]
  高空間分解能水深予測のための異なる深層学習モデルの比較を行った。 深層学習モデルはCADDIESセル-オートマタフラッドモデルによってシミュレーションされたデータを再現するために訓練される。 その結果,ディープラーニングモデルでは,他の手法に比べて誤差が低いことがわかった。
  論文  参考訳（メタデータ） (2023-02-20T16:08:54Z)
• Towards Accurate Reconstruction of 3D Scene Shape from A Single Monocular Image [91.71077190961688]
  まず、未知のスケールまで深さを予測し、単一の単眼画像からシフトする2段階のフレームワークを提案する。 次に、3Dポイントの雲のデータを利用して、奥行きの変化とカメラの焦点距離を予測し、3Dシーンの形状を復元します。 我々は9つの未知のデータセットで深度モデルを検証し、ゼロショット評価で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-08-28T16:20:14Z)
• Likelihood Landscapes: A Unifying Principle Behind Many Adversarial Defenses [15.629921195632857]
  本研究では,防御技術が地形形状に与える影響について検討する。 敵防衛技術のサブセットは、可能性の景観を平らにする同様の効果をもたらす。
  論文  参考訳（メタデータ） (2020-08-25T22:51:51Z)
• The Global Landscape of Neural Networks: An Overview [23.79848233534269]
  ニューラルネットワークの最近の成功は、その損失がそれほど悪くはないことを示唆している。 我々は,「悪い」経路のような幾何学的特性の広いネットワークに関する厳密な結果について論じるとともに,最適化された局所最小値を排除したり,無限大への可視化を減らしたりするいくつかの修正について論じる。
  論文  参考訳（メタデータ） (2020-07-02T22:50:20Z)
• Learnable Bernoulli Dropout for Bayesian Deep Learning [53.79615543862426]
  Learnable Bernoulli Dropout (LBD) は、他のモデルパラメータと共に最適化されたパラメータとしてドロップアウト率を考慮する新しいモデルに依存しないドロップアウトスキームである。 LBDは画像分類とセマンティックセグメンテーションにおける精度と不確実性の推定を改善する。
  論文  参考訳（メタデータ） (2020-02-12T18:57:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。