論文の概要: Reconciling Contradictory Views on the Effectiveness of SFT in LLMs: An Interaction Perspective

• arxiv url: http://arxiv.org/abs/2605.17967v1
• Date: Mon, 18 May 2026 07:22:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:48.988003
• Title: Reconciling Contradictory Views on the Effectiveness of SFT in LLMs: An Interaction Perspective
• Title（参考訳）: LLMにおけるSFTの有効性に関する矛盾的視点の再検討:相互作用の視点から
• Authors: Junpeng Zhang, Lei Cheng, Guoxi Zhang, Hua Cai, Qing Xu, Quanshi Zhang,
• Abstract要約: 本稿では,教師付き微調整(SFT)が大規模深層ニューラルネットワークに広範に有効であるが,大規模言語モデル(LLM)に適用した場合,不整合性や有害な効果を生じる可能性がある理由を考察する。 SFT間の相互作用の進化は,LLMに対するSFTの不整合性の有効性を効果的に説明できることがわかった。
• 参考スコア（独自算出の注目度）: 24.938534291751964
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper explores a scientific question in supervised fine-tuning (SFT): why SFT is broadly effective for small-scale deep neural networks, yet can produce inconsistent or even detrimental effects when applied to large language models (LLMs). Recent advances in interaction-based explanations suggest that interactions between words/tokens provide a faithful metric for quantifying the inference patterns encoded by LLMs. We find that the evolution of interactions during SFT can effectively explain the inconsistent effectiveness of SFT for LLMs. Specifically, we find that (1) SFT primarily removes noise-like interactions, while rarely acquiring reliable new interactions. (2) This denoising stage is extremely brief, after which continued fine-tuning tends to introduce overfitted interactions. We validate these findings across multiple LLMs and datasets. Our findings provide new insights into early stopping and offer practical guidance for LLM training.
• Abstract（参考訳）: 本稿では, 教師付き微調整(SFT)における科学的問題として, SFTが大規模深層ニューラルネットワークに広範に有効であるが, 大規模言語モデル(LLM)に適用した場合, 不整合性や有害な効果を生じる可能性がある理由を考察する。 対話に基づく説明の最近の進歩は、LLMが符号化した推論パターンの定量化に、単語/トークン間の相互作用が忠実な指標となることを示唆している。 SFT間の相互作用の進化は,LLMに対するSFTの不整合性の有効性を効果的に説明できることがわかった。 具体的には,(1)SFTは主としてノイズのような相互作用を除去するが,信頼性の高い新しい相互作用は得られない。 2) このデノナイジング段階は非常に短く, その後も微調整が続き, 過度に適合する相互作用が生じる傾向にある。 これらの結果は,複数のLLMおよびデータセットにまたがって検証される。 本研究は, 早期停止に関する新たな知見を提供し, LLMトレーニングの実践的ガイダンスを提供する。

関連論文リスト

• Intent Mismatch Causes LLMs to Get Lost in Multi-Turn Conversation [26.91734024759386]
  根本原因は本質的な能力不足というよりも,意図的なアライメントギャップにある,と我々は主張する。 本稿では,Mediator-Assistantアーキテクチャによるタスク実行から意図的理解を分離することを提案する。
  論文  参考訳（メタデータ） (2026-02-07T03:41:04Z)
• Supervised Fine-Tuning or Contrastive Learning? Towards Better Multimodal LLM Reranking [56.46309219272326]
  大型言語モデル(LLM)では、教師付き微調整(SFT)による分類は、関連する(非関連)ペアに対して'yes' (resp. ''no')トークンを予測する。 この分散は中心的な疑問を提起する:どの目的がLLMベースのリランクに本質的に適しているか、どのメカニズムが違いの根底にあるのか? 我々はCLとSFTの総合的な比較と分析を行い、ユニバーサルマルチモーダル検索(UMR)を実験場とした。
  論文  参考訳（メタデータ） (2025-10-16T16:02:27Z)
• When Long Helps Short: How Context Length in Supervised Fine-tuning Affects Behavior of Large Language Models [16.12256921806929]
  大規模言語モデル (LLM) は自然言語処理 (NLP) タスクにまたがって優れた性能を達成している。 現実世界のアプリケーションは、より長いコンテキストウインドウをますます求めているため、長いコンテキストデータに対する事前トレーニングと教師付き微調整(SFT)が一般的なアプローチとなっている。 SFTデータ長が短時間のタスクにおけるLLMの挙動にどう影響するかを系統的に検討する。 長文事前学習による劣化に対して,長文SFTは短文性能を向上することがわかった。
  論文  参考訳（メタデータ） (2025-09-23T07:55:38Z)
• Why Reinforcement Fine-Tuning Enables MLLMs Preserve Prior Knowledge Better: A Data Perspective [98.45690529036848]
  Supervised Fine-Tuning (SFT) や Reinforcement Fine-Tuning (RFT) といったポストトレーニングアルゴリズムは、マルチモーダルな大規模言語モデルを下流タスクに適応するために広く使われている。 タスク適応には有効であるが、以前の知識に対する影響はいまだ不明である。
  論文  参考訳（メタデータ） (2025-06-30T04:15:01Z)
• Balancing Truthfulness and Informativeness with Uncertainty-Aware Instruction Fine-Tuning [79.48839334040197]
  インストラクション微調整(IFT)は、大きな言語モデル(LLM)の知性を高めるが、その真偽を減少させる可能性がある。 本稿では,IFTデータセットにおける不慣れな知識がLLMの真偽にどのように悪影響を及ぼすかを実証的に示す。 この問題に対処するために、新しいIFTパラダイムである$UNIT_cut$と$UNIT_ref$を導入します。
  論文  参考訳（メタデータ） (2025-02-17T16:10:30Z)
• From Yes-Men to Truth-Tellers: Addressing Sycophancy in Large Language Models with Pinpoint Tuning [91.79567270986901]
  大規模言語モデル(LLM)は、ユーザプロンプトへの順守を、妥当な応答よりも優先する傾向がある。 近年の研究では、教師付き微調整(SFT)を用いて、梅毒問題を軽減することが提案されている。 そこで本研究では,特定の目的のために関心のあるモジュールを調整した新しいピンポイントチューニング(SPT)を提案する。
  論文  参考訳（メタデータ） (2024-09-03T07:01:37Z)
• LaFFi: Leveraging Hybrid Natural Language Feedback for Fine-tuning Language Models [14.087415157225715]
  微調整大型言語モデル(LLM)は、特定の下流タスクに訓練されたモデルを適用する。 Supervised Fine-Tuning (SFT) は、LLMが望ましい回答を得るために訓練される一般的なアプローチである。 本稿では,LLMのための自然言語フィードバック (Natural Language Feedback for Finetuning LLMs, LaFFi) という,SFTの代替手法を提案する。
  論文  参考訳（メタデータ） (2023-12-31T21:18:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。