論文の概要: Task Competence Is Not Instruction Following: Evaluating Instruction-Conflicting Behavior in Small Language Models

• arxiv url: http://arxiv.org/abs/2607.19608v1
• Date: Tue, 21 Jul 2026 22:24:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-23 18:51:37.937443
• Title: Task Competence Is Not Instruction Following: Evaluating Instruction-Conflicting Behavior in Small Language Models
• Title（参考訳）: 課題能力は指示に従わない:小言語モデルにおける命令競合行動の評価
• Abstract要約: 命令調整型Qwenモデルの評価を行った。 標準的な精度と命令は、一般的にスケールで改善される。 小型モデルは非標準命令を無視するが、大型モデルは2つの設定の間に明らかなギャップを示す。
• 参考スコア（独自算出の注目度）: 3.6463026920885824
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Instruction tuning is meant to make language models follow user requests, yet it is unclear whether small models comply when an instruction conflicts with their usual task behavior. We study this across three tasks - multiple-choice question answering (MCQA), sentiment classification, and mathematical question answering - by pairing a standard instruction with a conflicting non-standard one (select an incorrect option, output the opposite sentiment, or return twice the answer). This cross-task design allows us to test whether resistance to conflicting instructions is tied to specific task characteristics or reflects a broader behavioral tendency. As all predictions are scored against the original ground truth, a model that ignores the non-standard instruction still appears accurate. Using standard accuracy, non-standard accuracy, and an Instruction-Following Failure Rate (IFFR), we evaluate instruction-tuned Qwen models across sizes. Both standard accuracy and instruction following generally improve with scale, although the pattern is not consistent across all tasks and datasets. Small models stay competent yet routinely ignore the non-standard instruction, while larger models show a clear gap between the two settings. These findings suggest that gains in task capability do not automatically provide reliable control over model behavior. Task competence and instruction following are therefore distinct abilities, and reporting only standard accuracy hides instruction-following failures.
• Abstract（参考訳）: インストラクションチューニングは、言語モデルをユーザ要求に従わせることを目的としているが、命令が通常のタスク動作と矛盾する場合に小さなモデルが従うかどうかは不明である。 我々は,これを3つのタスク – 複数選択質問応答 (MCQA), 感情分類, 数学的質問応答 – で検証し, 矛盾する非標準命令と標準命令をペアリングする(誤った選択肢を選択し, 反対の感情を出力するか, あるいは2倍の回答を返す)。 このクロスタスク設計により、競合する命令に対する抵抗が特定のタスク特性に結びついているか、より広範な行動傾向を反映しているかを検証できる。 全ての予測が元の根拠の真理に反するものとして、非標準命令を無視するモデルは依然として正確であるように見える。 標準精度,非標準精度,命令追従失敗率(IFFR)を用いて,命令調整されたQwenモデルの評価を行った。 標準的な精度と命令のどちらも、一般的にはスケールで改善されているが、このパターンはすべてのタスクやデータセットで一貫性がない。 小型モデルは非標準命令を無視するが、大型モデルは2つの設定の間に明らかなギャップを示す。 これらの結果から,タスク能力の利得はモデル行動に対する信頼性の高い制御を自動で提供するものではないことが示唆された。 そのため、タスク能力と命令従は異なる能力であり、標準精度のみを報告することは命令追従失敗を隠蔽する。

関連論文リスト

• Interactive Task Alignment as a POMDP [17.743513722485876]
  本稿では,特定のタスクを不特定なインタラクションに変換するための一般的なフレームワークを紹介する。 ユーザシミュレータを人的ユーザスタディで検証した。 教師付き微調整と強化学習によるポストトレーニングではタスクアライメントが改善されるが,インタラクションによる不確実性の解消には,モデルが人間に遅れている。
  論文  参考訳（メタデータ） (2026-07-17T18:04:38Z)
• Do as I Say, Not as I Do: Instruction-Induction Conflict in LLMs [0.17188280334580197]
  言語モデルは命令に従うように訓練されているが、強力なパターン補完器でもある。 我々は、ターゲットTで動作するためのユーザ命令がNのハードコードアシスタントによって反対される会話を構築し、競合するパターンPを示す。 この設定では、最大50ターンで13のモデルと16の異なる命令で命令追従率(IF)を測定します。
  論文  参考訳（メタデータ） (2026-05-19T18:32:20Z)
• Silent Commitment Failure in Instruction-Tuned Language Models: Evidence of Governability Divergence Across Architectures [0.0]
  我々は、モデルのエラーが出力コミット前に検出可能で、一度検出されると修正できる程度、統治性を導入します。 ベンチマーク精度は支配可能性を予測するものではなく、補正能力は検出と独立に異なり、同一のガバナンス足場はモデル間で逆の効果をもたらす。 本稿では,モデルとタスクの組み合わせをGovernable, Monitor Only, Steer Blind, Ungovernableの4つに分類する。
  論文  参考訳（メタデータ） (2026-03-22T21:50:28Z)
• Do Instruction-Tuned Models Always Perform Better Than Base Models? Evidence from Math and Domain-Shifted Benchmarks [0.6536121591910934]
  我々は,標準数学ベンチマーク,構造的摂動変異,ドメインシフトタスクに基づいて,ベースモデルと命令調整モデルを評価する。 この結果から,ベースモデルはドメイン固有のMedCalcベンチマークにおいて,命令調整のバリエーションを上回ることがわかった。 インストラクションチューニングされたモデルでは、摂動データセットが急激な低下を示し、頑健な推論よりも構造に敏感であることを示している。
  論文  参考訳（メタデータ） (2026-01-19T17:26:49Z)
• Probing for Arithmetic Errors in Language Models [86.8227317662622]
  言語モデルの内部アクティベーションは、算術誤差を検出するために使用できる。 単純なプローブはモデルが予測した出力と正解の両方を隠蔽状態から正確に復号できることを示す。 モデル精度を90%以上の精度で予測する軽量エラー検出器を訓練する。
  論文  参考訳（メタデータ） (2025-07-16T16:27:50Z)
• Context-Parametric Inversion: Why Instruction Finetuning Can Worsen Context Reliance [68.56701216210617]
  In-principleでは、モデルが命令の微調整後にユーザコンテキストに適応することを期待する。 インストラクションチューニング中、知識の衝突によるコンテキスト依存は、当初期待通りに増大するが、徐々に減少する。
  論文  参考訳（メタデータ） (2024-10-14T17:57:09Z)
• Instruction Following without Instruction Tuning [87.72635104686275]
  命令チューニングに比較して不十分な2種類の適応(チューニング)があるが、それでも命令に従うことができる。 我々は、事前訓練されたモデルを用いて、エキスパート製品における指示に従うルールベースの言語モデルを手書きで支援する。
  論文  参考訳（メタデータ） (2024-09-21T22:36:22Z)
• Active Instruction Tuning: Improving Cross-Task Generalization by Training on Prompt Sensitive Tasks [101.40633115037983]
  インストラクションチューニング(IT)は,大規模言語モデル(LLM)を命令付き多種多様なタスクで訓練することにより,印象的なゼロショット一般化を実現する。 ITモデルの性能と一般化性を改善するために、新しいタスクをどのように選択するかは、未解決の問題である。 本稿では,情報的タスクを識別する新しいフレームワークである即時不確実性に基づくアクティブな指導チューニングを提案し,選択したタスク上でモデルをアクティブにチューニングする。
  論文  参考訳（メタデータ） (2023-11-01T04:40:05Z)
• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)
• Evaluating Correctness and Faithfulness of Instruction-Following Models for Question Answering [26.34649731975005]
  Retriever-augmented instruction-following modelは、質問応答のための微調整アプローチ(QA)の魅力的な代替品である モデル応答は自然で流動的である傾向にあるが、追加の冗長性により、モデルパフォーマンスを正確に定量化するために従来のQA評価指標は信頼できない。 1) ユーザの情報要求(正確性)をどの程度満足させるか,2) 提供された知識(忠実性)に基づいて応答を生成するか,という2つの次元に沿って,これらのモデルを評価するために,自動評価と人的評価の両方を用いる。
  論文  参考訳（メタデータ） (2023-07-31T17:41:00Z)
• Did You Read the Instructions? Rethinking the Effectiveness of Task Definitions in Instruction Learning [74.70157466822612]
  教科学習におけるタスク定義の役割を体系的に研究する。 タスク出力を記述する内容を削除すると,モデルの性能が大幅に低下することがわかった。 本稿では,モデルのタスク命令の活用を支援するための2つの戦略を提案する。
  論文  参考訳（メタデータ） (2023-06-01T21:11:24Z)
• Exposing and Addressing Cross-Task Inconsistency in Unified Vision-Language Models [80.23791222509644]
  一貫性のないAIモデルは、人間のユーザーによって不安定で信頼できないと見なされている。 最先端のビジョン言語モデルは、タスク間の驚くほど高い一貫性のない振る舞いに悩まされている。 本稿では,大規模で自動生成されるクロスタスクコントラスト集合上で計算されたランク相関に基づく補助訓練目標を提案する。
  論文  参考訳（メタデータ） (2023-03-28T16:57:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。