論文の概要: Not All Layers Need Tuning: Selective Layer Restoration Recovers Diversity

• arxiv url: http://arxiv.org/abs/2602.06665v1
• Date: Fri, 06 Feb 2026 12:49:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-09 22:18:26.398779
• Title: Not All Layers Need Tuning: Selective Layer Restoration Recovers Diversity
• Title（参考訳）: すべてのレイヤをチューニングする必要はない: 選択的なレイヤ復元が多様性を回復
• Authors: Bowen Zhang, Meiyi Wang, Harold Soh,
• Abstract要約: トレーニング後モデルで選択した層をトレーニング前の重みに復元する,トレーニング不要な手法を提案する。 SLRは、高い出力品質を維持しながら、出力の多様性を一貫して、実質的に向上させることができる。
• 参考スコア（独自算出の注目度）: 12.556307629726854
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Post-training improves instruction-following and helpfulness of large language models (LLMs) but often reduces generation diversity, which leads to repetitive outputs in open-ended settings, a phenomenon known as mode collapse. Motivated by evidence that LLM layers play distinct functional roles, we hypothesize that mode collapse can be localized to specific layers and that restoring a carefully chosen range of layers to their pre-trained weights can recover diversity while maintaining high output quality. To validate this hypothesis and decide which layers to restore, we design a proxy task -- Constrained Random Character(CRC) -- with an explicit validity set and a natural diversity objective. Results on CRC reveal a clear diversity-validity trade-off across restoration ranges and identify configurations that increase diversity with minimal quality loss. Based on these findings, we propose Selective Layer Restoration (SLR), a training-free method that restores selected layers in a post-trained model to their pre-trained weights, yielding a hybrid model with the same architecture and parameter count, incurring no additional inference cost. Across three different tasks (creative writing, open-ended question answering, and multi-step reasoning) and three different model families (Llama, Qwen, and Gemma), we find SLR can consistently and substantially improve output diversity while maintaining high output quality.
• Abstract（参考訳）: ポストトレーニングは、大規模言語モデル(LLM)の命令追従と有用性を改善するが、しばしば生成の多様性を減少させ、オープンエンド環境で繰り返し出力する現象であるモード崩壊(英語版)と呼ばれる現象を引き起こす。 LLM層が機能的な役割を担っているという証拠によって、モード崩壊は特定の層に局所化し、慎重に選択された範囲の層をトレーニング済みの重みに復元することで、高い出力品質を維持しながら多様性を回復できるという仮説を立てた。 この仮説を検証し、どのレイヤを復元するかを決定するために、明示的な妥当性セットと自然多様性目標を備えたプロキシタスクである制約ランダム文字(CRC)を設計する。 CRCの結果は、修復範囲にわたって明らかな多様性と妥当性のトレードオフを明らかにし、最小品質の損失で多様性を増大させる構成を特定する。 これらの結果に基づいて,SLR(Selective Layer Restoration)を提案する。SLR(Selective Layer Restoration)は,学習後モデルから選択したレイヤをトレーニング前の重みに復元し,同じアーキテクチャとパラメータ数を持つハイブリッドモデルを生成する。 3つの異なるタスク(創造的記述、オープンな質問応答、多段階推論)と3つの異なるモデルファミリー(Llama, Qwen, Gemma)でSLRは高い出力品質を維持しつつ、一貫して、実質的に出力の多様性を向上させることができる。

関連論文リスト

• ReCALL: Recalibrating Capability Degradation for MLLM-based Composed Image Retrieval [64.14282916266998]
  Composed Image Retrievalは、参照画像と修正テキストからなるハイブリッドクエリに基づいてターゲット画像を取得することを目的としている。 本稿では,診断・生成・再定義パイプラインに従うモデルに依存しないフレームワークであるReCALLを提案する。 CIRRとFashionIQの実験では、ReCALLは継続的に劣化した機能を再検討し、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-02-02T04:52:54Z)
• DIVERSE: Disagreement-Inducing Vector Evolution for Rashomon Set Exploration [0.434964016971127]
  DIVERSEは、ディープニューラルネットワークのRashomonセットを探索するためのフレームワークである。 我々の実験は、DIVERSEがラショウモン集合の競合的で効率的な探索を提供することを示している。
  論文  参考訳（メタデータ） (2026-01-28T14:02:28Z)
• Beyond the Dirac Delta: Mitigating Diversity Collapse in Reinforcement Fine-Tuning for Versatile Image Generation [51.305316234962554]
  textbfDRIFT(textbfDivetextbfRsity-textbfIncentivized Reinforcement textbfFine-textbfTuning for Versatile Image Generation)を提案する。 DRIFTはタスクアライメントとジェネレーションの多様性に関して優れた優位性を達成し、9.08%!sim! 43.46%$多様性等価アライメントレベルの増加と59.65ドルとなる。
  論文  参考訳（メタデータ） (2026-01-18T13:25:43Z)
• DiverseGRPO: Mitigating Mode Collapse in Image Generation via Diversity-Aware GRPO [50.89703227426486]
  強化学習(RL)は、同一グループ内で生成された画像の相対的性能を比較することにより、画像生成品質を著しく向上させる。 トレーニングの後半段階では、モデルは創造性と視覚的多様性を欠いた均質化されたアウトプットを生成する傾向にある。 この問題は、報酬モデリングとジェネレーションダイナミクスの両方の観点から分析することができる。
  論文  参考訳（メタデータ） (2025-12-25T05:37:37Z)
• Diffusion Fine-Tuning via Reparameterized Policy Gradient of the Soft Q-Function [25.182340618001792]
  拡散モデルは高濃度のサンプルを生成するのに優れるが、しばしば下流の目的と整合する必要がある。 拡散アライメントのための新しいKL正規化RL法である textbfSoft Q-based Diffusion Finetuning (SQDF) を提案する。 SQDFはテキストと画像のアライメントの多様性を維持しながら、優れた目標報酬を達成する。
  論文  参考訳（メタデータ） (2025-12-04T08:21:52Z)
• Training-Free Generation of Diverse and High-Fidelity Images via Prompt Semantic Space Optimization [50.5332987313297]
  本稿では,トレーニングフリーでモデルに依存しないモジュールであるToken-Prompt Embedding Space Optimization (TPSO)を提案する。 TPSOは、トークン埋め込み空間の未表現領域を探索するために学習可能なパラメータを導入し、学習された分布の強いモードからサンプルを繰り返し生成する傾向を減少させる。 MS-COCOと3つの拡散バックボーンの実験では、TPSOは画像品質を犠牲にすることなく、生成多様性を著しく向上し、ベースライン性能を1.10から4.18ポイントに改善した。
  論文  参考訳（メタデータ） (2025-11-25T00:42:09Z)
• Post-training Large Language Models for Diverse High-Quality Responses [32.92680825196664]
  強化学習 (Reinforcement Learning, RL) は,大規模言語モデル (LLM) の訓練後に一般的な手法として登場した。 決定点プロセス(DPP)に基づくDQO(Diversity Quality Optimization)という新しいトレーニング手法を提案する。 提案手法では,各プロンプトに対して応答群をサンプリングし,次にカーネルベースの類似度行列の行列式を用いて,これらの応答の埋め込みによって分散される体積として多様性を測定する。
  論文  参考訳（メタデータ） (2025-09-05T03:47:06Z)
• Jointly Reinforcing Diversity and Quality in Language Model Generations [64.72289248044514]
  大規模言語モデル(LM)のポストトレーニングは、しばしば多様性を犠牲にして正確さと役に立つことを優先する。 DARling(Diversity-Aware Reinforcement Learning)は、応答品質とセマンティック多様性を協調的に最適化するフレームワークである。
  論文  参考訳（メタデータ） (2025-09-02T17:38:47Z)
• Chain-of-Restoration: Multi-Task Image Restoration Models are Zero-Shot Step-by-Step Universal Image Restorers [53.298698981438]
  本稿では,UIR(Universal Image Restoration)という新たなタスク設定を提案する。 UIRは、すべての劣化組み合わせのトレーニングを必要とせず、一連の劣化基だけに限って、これらの基がゼロショットで構成できる可能性のある劣化を取り除く。 本稿では,未知の複合劣化を段階的に除去するモデルをモデルに指示する,CoR(Chain-of-Restoration)機構を提案する。
  論文  参考訳（メタデータ） (2024-10-11T10:21:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。