論文の概要: Fine-Tuning on Noisy Instructions: Effects on Generalization and Performance

• arxiv url: http://arxiv.org/abs/2510.03528v1
• Date: Fri, 03 Oct 2025 21:54:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.092114
• Title: Fine-Tuning on Noisy Instructions: Effects on Generalization and Performance
• Title（参考訳）: ノイズインストラクションの微調整:一般化と性能への影響
• Authors: Ahmed Alajrami, Xingwei Tan, Nikolaos Aletras,
• Abstract要約: 命令調整データにおける摂動は、大きな言語モデルのノイズのある命令に対する抵抗を高めることができることを示す。 意外なことに、この結果から、摂動命令による命令調整は、ダウンストリーム性能を改善する可能性があることが示唆された。
• 参考スコア（独自算出の注目度）: 29.349544663659938
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Instruction-tuning plays a vital role in enhancing the task-solving abilities of large language models (LLMs), improving their usability in generating helpful responses on various tasks. However, previous work has demonstrated that they are sensitive to minor variations in instruction phrasing. In this paper, we explore whether introducing perturbations in instruction-tuning data can enhance LLMs' resistance against noisy instructions. We focus on how instruction-tuning with perturbations, such as removing stop words or shuffling words, affects LLMs' performance on the original and perturbed versions of widely-used benchmarks (MMLU, BBH, GSM8K). We further assess learning dynamics and potential shifts in model behavior. Surprisingly, our results suggest that instruction-tuning on perturbed instructions can, in some cases, improve downstream performance. These findings highlight the importance of including perturbed instructions in instruction-tuning, which can make LLMs more resilient to noisy user inputs.
• Abstract（参考訳）: インストラクションチューニングは,大規模言語モデル(LLM)のタスク解決能力を高める上で重要な役割を担っている。 しかし、以前の研究では、命令句の微妙な変化に敏感であることが示されている。 本稿では,命令調整データに摂動を導入することで,LLMの雑音耐性が向上するかどうかを考察する。 我々は,停止語やシャッフル語などの摂動による命令チューニングが,広く使用されているベンチマーク(MMLU,BBH,GSM8K)のオリジナルおよび摂動バージョンにおけるLLMのパフォーマンスにどのように影響するかに着目した。 さらに、モデル行動の学習力学と潜在的な変化を評価する。 意外なことに、この結果から、摂動命令による命令調整は、ダウンストリーム性能を改善する可能性があることが示唆された。 これらの知見は,命令チューニングにおける摂動命令を含めることの重要性を浮き彫りにした。

関連論文リスト

• Exploring the Impact of Instruction-Tuning on LLM's Susceptibility to Misinformation [3.032542495872679]
  本研究では,大規模言語モデルが誤情報に対する感受性に与える影響について検討する。 分析の結果,命令調整型LPMはユーザによって提示された誤情報を受けやすいことがわかった。
  論文  参考訳（メタデータ） (2025-07-24T08:58:47Z)
• Enhancing LLM Robustness to Perturbed Instructions: An Empirical Study [8.827173113748701]
  ダウンストリーム性能を著しく低下させるタスク特化命令の文字・単語レベルの編集について検討した。 平均的に、自己否定は、代替戦略よりも大幅に高いパフォーマンス向上を達成することが分かっています。
  論文  参考訳（メタデータ） (2025-04-03T16:17:56Z)
• The Inherent Limits of Pretrained LLMs: The Unexpected Convergence of Instruction Tuning and In-Context Learning Capabilities [51.594836904623534]
  本研究は,インコンテキストの例を用いて誘導されるベースモデルと,命令調整モデルが根本的に異なる機能を持つかどうかを考察する。 命令調整モデルの性能は,基本モデルのコンテキスト内性能と大きく相関していることを示す。 具体的には、この理解を命令付きモデルに拡張し、事前学習データも同様に、解決可能なタスクの制限境界を設定することを示唆する。
  論文  参考訳（メタデータ） (2025-01-15T10:57:55Z)
• SwitchCIT: Switching for Continual Instruction Tuning [14.085371250265224]
  大規模言語モデル (LLM) とマルチモーダルモデル (MM) は、様々な領域で印象的な機能を示している。 タスクやドメインの進化に大規模なモデルを適用するためには、継続的な命令チューニングが不可欠である。 この研究は、パラメータ効率の調整モデルに計算をルーティングするメカニズムを通じて、連続的な命令学習における破滅的な忘れに対処する。
  論文  参考訳（メタデータ） (2024-07-16T14:37:33Z)
• Contrastive Instruction Tuning [61.97704869248903]
  意味論的に等価な命令-インスタンスペア間の類似性を最大化するために、コントラスト命令チューニングを提案する。 PromptBenchベンチマークの実験によると、CoINはLLMの頑健さを一貫して改善し、文字、単語、文、意味のレベルを平均して2.5%の精度で変化させる。
  論文  参考訳（メタデータ） (2024-02-17T00:09:32Z)
• Demystifying Instruction Mixing for Fine-tuning Large Language Models [29.69436955342966]
  本研究は,NLPダウンストリームタスク,コーディング,一般的なチャットという,命令を3つの主要なタイプに分類する。 特定の命令型は特定のアプリケーションに対してより有利であるが、他の領域に悪影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2023-12-17T18:44:26Z)
• From Language Modeling to Instruction Following: Understanding the Behavior Shift in LLMs after Instruction Tuning [63.63840740526497]
  そこで本研究では,本質的な変化に着目した事前学習モデルの調整方法について検討する。 次に、事前訓練されたモデルと命令調整されたモデルから導かれた説明を比較することで、命令チューニングの影響について研究する。 この結果から,指導指導の3つの重要な影響が明らかになった。
  論文  参考訳（メタデータ） (2023-09-30T21:16:05Z)
• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。