論文の概要: How LLMs Follow Instructions: Skillful Coordination, Not a Universal Mechanism

• arxiv url: http://arxiv.org/abs/2604.06015v1
• Date: Tue, 07 Apr 2026 16:12:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.918406
• Title: How LLMs Follow Instructions: Skillful Coordination, Not a Universal Mechanism
• Title（参考訳）: LLMが指示に従う方法: スキルの調整 - 普遍的なメカニズムではない
• Authors: Elisabetta Rocchetti, Alfio Ferrara,
• Abstract要約: 命令追従は普遍的なメカニズムや構成スキルの展開に依存するかを検討する。 すべてのタスクにわたって訓練された一般的なプローブは、限定的な表現共有を示す、タスク固有のスペシャリストを一貫して過小評価している。 時間的分析では、制約満足度は前世代計画ではなく、世代間動的監視として機能している。
• 参考スコア（独自算出の注目度）: 2.5997274006052544
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Instruction tuning is commonly assumed to endow language models with a domain-general ability to follow instructions, yet the underlying mechanism remains poorly understood. Does instruction-following rely on a universal mechanism or compositional skill deployment? We investigate this through diagnostic probing across nine diverse tasks in three instruction-tuned models. Our analysis provides converging evidence against a universal mechanism. First, general probes trained across all tasks consistently underperform task-specific specialists, indicating limited representational sharing. Second, cross-task transfer is weak and clustered by skill similarity. Third, causal ablation reveals sparse asymmetric dependencies rather than shared representations. Tasks also stratify by complexity across layers, with structural constraints emerging early and semantic tasks emerging late. Finally, temporal analysis shows constraint satisfaction operates as dynamic monitoring during generation rather than pre-generation planning. These findings indicate that instruction-following is better characterized as skillful coordination of diverse linguistic capabilities rather than deployment of a single abstract constraint-checking process.
• Abstract（参考訳）: インストラクションチューニングは、命令に従うドメインジェネリックな能力を持つ言語モデルを提供するのが一般的であるが、基礎となるメカニズムはよく理解されていない。 インストラクションフォローは普遍的なメカニズムや構成スキルの展開に依存していますか? そこで本研究では,9つの多様なタスクを3つの命令調整モデルで探索する手法を提案する。 我々の分析は普遍的なメカニズムに対する確固たる証拠を提供する。 まず、すべてのタスクでトレーニングされた一般的なプローブは、限定的な表現共有を示す、タスク固有のスペシャリストを一貫して過小評価している。 第二に、クロスタスク転送は弱く、スキルの類似性によってクラスタ化されている。 第3に、因果アブレーションは共有表現よりもスパース非対称な依存関係を明らかにする。 タスクはレイヤ間の複雑さによって階層化され、構造的な制約が早期に出現し、セマンティックなタスクが遅くなる。 最後に、時間的分析により、制約満足度は、前世代計画ではなく、世代間動的監視として機能することが示された。 これらの結果は,1つの抽象的制約チェックプロセスの展開よりも,多様な言語機能の巧妙な調整が特徴的であることを示唆している。

関連論文リスト

• The Observer-Situation Lattice: A Unified Formal Basis for Perspective-Aware Cognition [2.28438857884398]
  我々は、視点認識のための単一のコヒーレントなセマンティック空間を提供する統一数学的構造であるObserver-Situation Lattice(OSL)を紹介する。 OSL は有限完全格子であり、各要素はユニークなオブザーバ-選択対を表し、信念管理に対する原則的かつスケーラブルなアプローチを可能にする。 我々は,この格子上で動作する2つの重要なアルゴリズムを提案する: (i)相対的信念伝播, 新たな情報を効率的に伝播する漸進的更新アルゴリズム, (ii) 矛盾成分を識別・分離するグラフベースの最小コントラディション分解。
  論文  参考訳（メタデータ） (2026-03-02T03:15:36Z)
• Beyond the Prompt in Large Language Models: Comprehension, In-Context Learning, and Chain-of-Thought [15.598263332303612]
  大規模言語モデル(LLM)は、様々なタスクにまたがる卓越した習熟度を示した。 本研究は,3つの重要な疑問に対処することによって,これらの観測の基礎を掘り下げる。
  論文  参考訳（メタデータ） (2026-02-16T10:57:26Z)
• On the Paradoxical Interference between Instruction-Following and Task Solving [50.75960598434753]
  次の命令は、大規模言語モデル(LLM)を、タスクの実行方法に関する明示的な制約を指定することで、人間の意図と整合させることを目的としている。 我々は,LLMのタスク解決能力にパラドックス的に干渉する命令に従うという,直感に反する現象を明らかにした。 本稿では,タスク解決に追従する命令の干渉を定量化する指標として,SUSTAINSCOREを提案する。
  論文  参考訳（メタデータ） (2026-01-29T17:48:56Z)
• Provable Benefit of Curriculum in Transformer Tree-Reasoning Post-Training [76.12556589212666]
  学習後のカリキュラムは指数関数的複雑性のボトルネックを回避していることを示す。 結果のみの報酬信号の下では、強化学習の微調整は、サンプルの複雑さを高い精度で達成する。 カリキュラムを意識したクエリにより、報奨託書の呼び出しとサンプリングコストの両方を指数関数的に削減するテストタイムスケーリングの保証を確立する。
  論文  参考訳（メタデータ） (2025-11-10T18:29:54Z)
• Disentangling Representations through Multi-task Learning [0.0]
  分類タスクを最適に解決するエージェントにおいて,不整合表現の出現を保証する実験および理論的結果を提供する。 マルチタスクに訓練されたRNNにおいて、これらの予測を実験的に検証し、連続的な誘引子の形で非絡み合った表現を学習する。 私たちは、トランスフォーマーが特に、そのユニークな世界理解能力を説明するような、無関係な表現に向いていることに気付きました。
  論文  参考訳（メタデータ） (2024-07-15T21:32:58Z)
• The Right Time Matters: Data Arrangement Affects Zero-Shot Generalization in Instruction Tuning [86.19804569376333]
  インストラクションチューニングにおいてゼロショットの一般化は非常に早い段階で起こることを示す。 より基礎的なトレーニングデータアレンジメントフレームワークであるテスト中心型マルチターンアレンジメントを提案する。
  論文  参考訳（メタデータ） (2024-06-17T16:40:21Z)
• Hierarchical Decomposition of Prompt-Based Continual Learning: Rethinking Obscured Sub-optimality [55.88910947643436]
  大量のラベルのないデータを実際に扱うためには、自己教師付き事前トレーニングが不可欠である。 HiDe-Promptは、タスク固有のプロンプトと統計のアンサンブルで階層的なコンポーネントを明示的に最適化する革新的なアプローチである。 実験では,HiDe-Promptの優れた性能と,継続学習における事前学習パラダイムへの頑健さを実証した。
  論文  参考訳（メタデータ） (2023-10-11T06:51:46Z)
• Coarse-to-Fine: Hierarchical Multi-task Learning for Natural Language Understanding [51.31622274823167]
  本稿では,各タスクの下位レベルを全タスクに共有し,中間レベルを異なるグループに分割し,上位レベルを各タスクに割り当てる,粗大なパラダイムを持つ階層型フレームワークを提案する。 これにより、すべてのタスクから基本言語特性を学習し、関連するタスクのパフォーマンスを高め、無関係なタスクから負の影響を減らすことができる。
  論文  参考訳（メタデータ） (2022-08-19T02:46:20Z)
• Fast Inference and Transfer of Compositional Task Structures for Few-shot Task Generalization [101.72755769194677]
  本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。 我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。 提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
  論文  参考訳（メタデータ） (2022-05-25T10:44:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。