論文の概要: The Atomic Instruction Gap: Instruction-Tuned LLMs Struggle with Simple, Self-Contained Directives

• arxiv url: http://arxiv.org/abs/2510.17388v1
• Date: Mon, 20 Oct 2025 10:26:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:12.037054
• Title: The Atomic Instruction Gap: Instruction-Tuned LLMs Struggle with Simple, Self-Contained Directives
• Title（参考訳）: 原子インストラクションギャップ:シンプルで自己完結型ディレクティブを用いた命令調整LDM
• Authors: Henry Lim, Kwan Hui Lim,
• Abstract要約: Instruction-tuned large language model (IT-LLM) は強いゼロショット推論を示す。 MMLUとMMLU-Proのベンチマークを用いて20個のIT-LLMを評価した。
• 参考スコア（独自算出の注目度）: 7.085868567930685
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Instruction-tuned large language models (IT-LLMs) exhibit strong zero-shot reasoning, yet their ability to execute simple, self-contained instructions remains underexplored, despite this being foundational to complex instruction-following. We evaluate 20 IT-LLMs on modified MMLU and MMLU-Pro benchmarks, by systematically varying the format of option labels (alphabetic, numeric, Roman) while keeping their meaning identical under four paradigms, namely: (1) With explicit instructions, label changes cause large performance shifts (e.g., -30.45\% for Roman vs. numeric), revealing instruction-format bias. (2) Without instructions, performance drops further (up to -10.84\%) and label sensitivity intensifies, underscoring the role of explicit guidance. (3) When option contents are removed, models fail random-choice baselines except with numeric labels, suggesting weak adherence to atomic directives. (4) Three-shot exemplars yield no significant gains in robustness or fidelity, and generation analyses show persistent label errors, especially for non-numeric formats. Across model sizes, larger LLMs achieve higher accuracy but remain inconsistent in instruction adherence. These results expose the insufficiencies of current instruction-tuning paradigms and highlight the need for evaluation methods and training strategies that explicitly target atomic instruction-following.
• Abstract（参考訳）: 命令調整型大規模言語モデル(IT-LLM)は、強いゼロショット推論を示すが、複雑な命令追従の基礎となっているにもかかわらず、単純で自己完結型の命令を実行する能力は未探索のままである。 MMLU と MMLU-Pro ベンチマークの20 IT-LLM を,オプションラベルの形式を体系的に変更し,その意味を4つのパラダイムで同一に保ちながら評価した。 2)指示がなければ、パフォーマンスはさらに低下し(最大10.84\%)、ラベルの感度が向上し、明示的なガイダンスの役割が強調される。 (3)オプションの内容が削除された場合、モデルは数値ラベルを除いてランダム選択ベースラインを失敗し、原子ディレクティブへの弱い付着を示唆する。 (4) 3ショット例では, 強靭性や忠実性に有意な利得は得られず, 生成解析では, 特に非数値形式において, ラベルエラーが持続的であった。 モデルサイズ全体にわたって、より大きなLLMは高い精度を達成するが、命令順守には矛盾しない。 これらの結果は、現在の命令学習パラダイムが不十分であることを明らかにし、原子命令追跡を明示的に対象とする評価方法や訓練戦略の必要性を強調している。

関連論文リスト

• DecIF: Improving Instruction-Following through Meta-Decomposition [9.939860059820917]
  DecIFは、多種多様な高品質の命令追従データを生成する、完全に自律的でメタ分解誘導フレームワークである。 命令生成のために,LLMは様々なメタ情報を反復的に生成し,応答制約と組み合わせて意味的にリッチな命令を生成するように誘導する。 応答生成のために、各命令を原子レベルの評価基準に分解し、厳密な検証と不正確な命令応答対の除去を可能にする。
  論文  参考訳（メタデータ） (2025-05-20T06:38:28Z)
• Robustness via Referencing: Defending against Prompt Injection Attacks by Referencing the Executed Instruction [68.6543680065379]
  大型言語モデル(LLM)はインジェクション攻撃に弱い。 本研究では,LLMの命令追従能力を抑えるのではなく,新たな防御手法を提案する。
  論文  参考訳（メタデータ） (2025-04-29T07:13:53Z)
• Enhancing and Assessing Instruction-Following with Fine-Grained Instruction Variants [28.691691883519542]
  複雑な命令を単純なサブコンポーネントに分解し、それらを修正し、それらを新しい変種に再構成する手法を導入する。 DeMoReconに基づくFGIVデータセットは,1,773個のシード命令の微粒化を含む。 以上の結果から,FGIVを微調整したLDMは,命令追従ベンチマークと一般的な命令追従ベンチマークの両方において,大幅な性能向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2024-06-17T08:08:11Z)
• Contrastive Instruction Tuning [61.97704869248903]
  意味論的に等価な命令-インスタンスペア間の類似性を最大化するために、コントラスト命令チューニングを提案する。 PromptBenchベンチマークの実験によると、CoINはLLMの頑健さを一貫して改善し、文字、単語、文、意味のレベルを平均して2.5%の精度で変化させる。
  論文  参考訳（メタデータ） (2024-02-17T00:09:32Z)
• Evaluating the Instruction-Following Robustness of Large Language Models to Prompt Injection [70.28425745910711]
  LLM(Large Language Models)は、命令追従に非常に熟練した言語である。 この能力は、迅速なインジェクション攻撃のリスクをもたらす。 このような攻撃に対する命令追従LDMの堅牢性を評価する。
  論文  参考訳（メタデータ） (2023-08-17T06:21:50Z)
• Enhancing Large Language Models Against Inductive Instructions with Dual-critique Prompting [55.15697111170836]
  本稿では,大規模言語モデル(LLM)のテクスト誘導的指示に対する行動を明らかにするとともに,その真しさと有用性を高める。 広範囲な人的・自動的な評価の結果,帰納的命令処理において LLM に共通する脆弱性が発見された。 異なる帰納的スタイルがモデルに同じエラーを識別する能力に影響を及ぼし、基礎となる仮定の複雑さがモデルの性能にも影響を及ぼす。
  論文  参考訳（メタデータ） (2023-05-23T06:38:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。