論文の概要: IFHierBench: Hierarchical Instruction Following for Large Language Models

• arxiv url: http://arxiv.org/abs/2607.27912v1
• Date: Thu, 30 Jul 2026 09:26:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 21:37:00.485846
• Title: IFHierBench: Hierarchical Instruction Following for Large Language Models
• Title（参考訳）: IFHierBench: 大規模言語モデルの階層的インストラクション
• Abstract要約: IFHierBenchは、4つの制約木深さと35の異なる制約にまたがる600のプロンプトの階層的命令追従ベンチマークである。 最強モデルでさえ50%以上のプロンプトレベルの精度しか得られず、制約深度が大きくなるにつれて精度は急激に低下することがわかった。
• 参考スコア（独自算出の注目度）: 9.572252219147096
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Instruction-following ability is critical for deploying large language models in real-world applications, where downstream components depend on the output satisfying specific constraints. Modern deployments increasingly handle the full task in a single LLM call, with one prompt specifying a layered output whose overall artifact, structural sections, and nested fields must each satisfy concrete constraints. Existing instruction-following benchmarks treat the constraint set as a flat list applied uniformly to the response, so they cannot scope a check to a particular section of the output. We introduce IFHierBench, a hierarchical instruction-following benchmark of 600 prompts stratified across four constraint-tree depths and 35 distinct constraints, each prompt paired with a deterministic checker that verifies satisfaction at every scope. Evaluating seven leading proprietary and open-weight models, we find that even the strongest model only marginally exceeds 50% prompt-level accuracy and that accuracy degrades sharply as constraint depth grows. Reliably following nested constraints remains a substantial gap for current LLMs, motivating future training methods that consider constraint adherence at finer granularity to achieve better instruction-following ability.
• Abstract（参考訳）: ダウンストリームコンポーネントは特定の制約を満たす出力に依存するため、実世界のアプリケーションに大規模な言語モデルをデプロイするには、命令追従能力が不可欠である。 現代のデプロイメントは、単一のLLMコールでタスク全体を処理し、全体的なアーティファクト、構造的セクション、ネストされたフィールドがそれぞれ具体的な制約を満たす必要がある階層化されたアウトプットをプロンプトで指定する。 既存の命令追従ベンチマークは、制約セットを応答に一様に適用されるフラットリストとして扱うため、出力の特定の部分にチェックを適用できない。 IFHierBenchは、4つの制約木深さと35の異なる制約にまたがって成層された600個のプロンプトの階層的な命令追従ベンチマークであり、各プロンプトは各スコープにおける満足度を検証する決定論的チェッカーとペアリングする。 7つの主要なプロプライエタリモデルとオープンウェイトモデルを評価すると、最強モデルでさえ50%以上のプロンプトレベルの精度しか得られず、制約深度が大きくなるにつれて精度は急激に低下することがわかった。 ネスト制約を確実に追従することは、現在のLLMにとって大きなギャップであり、よりきめ細かい粒度での制約順守を考慮し、より良い命令追従能力を達成するための将来の訓練手法を動機付けている。

関連論文リスト

• RepoReasoner: Evaluating Repository-Level Code Reasoning Ability of Long-Context Language Models [54.53236295237077]
  リポジトリレベルのコード推論を評価するベンチマークであるRepoReasonerを紹介します。 出力予測は、ファイル間でのきめ細かいステートフルな実行推論を計測します。 Call Chain Predictionは、ノイズの多いコンテキスト下での高レベルのアーキテクチャ依存性の理解を評価する。
  論文  参考訳（メタデータ） (2026-07-28T17:12:41Z)
• HCRE: LLM-based Hierarchical Classification for Cross-Document Relation Extraction with a Prediction-then-Verification Strategy [54.91468501159335]
  文書間関係抽出 (RE) は, 異なる文書に存在する頭部尾部エンティティ間の関係を識別することを目的としている。 本稿では,各レベルでの多視点検証により信頼性を向上させる推論戦略を提案する。
  論文  参考訳（メタデータ） (2026-04-09T07:55:27Z)
• CCTU: A Benchmark for Tool Use under Complex Constraints [66.87622847854337]
  複雑な制約下での大規模言語モデル(LLM)を評価するためのベンチマークであるCCTUを紹介する。 ベンチマークは、さまざまなツール使用シナリオに対して、慎重にキュレートされ、挑戦的なテストケースが200から成っている。 ステップレベルの検証を行い、コンプライアンスを強制する実行可能な制約検証モジュールを開発する。
  論文  参考訳（メタデータ） (2026-03-16T14:05:13Z)
• RIFT: Reordered Instruction Following Testbed To Evaluate Instruction Following in Singular Multistep Prompt Structures [7.812349915277743]
  コンテンツから構造を引き離すことにより, RIFT (Reordered Instruction following Testbed) を導入する。 6つの最先端のオープンソースLLMにまたがる1万を超える評価では、ジャンプ条件下では精度が最大72%低下した。 その結果、現在のアーキテクチャの基本的限界として構造感度が明らかとなった。
  論文  参考訳（メタデータ） (2026-01-26T19:52:42Z)
• A Hierarchical and Evolvable Benchmark for Fine-Grained Code Instruction Following with Multi-Turn Feedback [30.446511584123492]
  大規模言語モデル(LLM)はコード生成において著しく進歩しているが、階層化され多様な制約を持つ複雑なプログラミング命令に従う能力はいまだ探索されていない。 複数次元にわたるコード生成における命令追従の評価を目的とした総合ベンチマークであるMultiCodeIFを紹介する。 我々は14のプログラミング言語から得られた2,021のコードタスクを合成し、進化させ、フィードバック駆動型タスク変種によるマルチターン評価をサポートする。
  論文  参考訳（メタデータ） (2025-07-01T11:51:40Z)
• A Multi-Dimensional Constraint Framework for Evaluating and Improving Instruction Following in Large Language Models [48.361839372110246]
  本研究では,制約拡張,競合検出,命令書き換えを行う自動命令生成パイプラインを開発する。 我々は、19の大規模言語モデルを評価し、制約形式間の性能のかなりの変動を明らかにする。 詳細な分析では、これらの利得は主にモデルのアテンションモジュールパラメータの変更に起因していることを示している。
  論文  参考訳（メタデータ） (2025-05-12T14:16:55Z)
• From Instructions to Constraints: Language Model Alignment with Automatic Constraint Verification [70.08146540745877]
  NLPタスクの共通制約を調査し、それらの引数の型に基づいて、それらを3つのクラスに分類する。 本稿では,ACT(ConsTraintsのアラインメント)という統合フレームワークを提案し,制約に適応したユーザアライメントのための監視信号を自動的に生成する。
  論文  参考訳（メタデータ） (2024-03-10T22:14:54Z)
• FollowBench: A Multi-level Fine-grained Constraints Following Benchmark for Large Language Models [79.62191017182518]
  FollowBenchは、大規模言語モデルのベンチマークに続くきめ細かい制約のベンチマークである。 本稿では,初期命令に段階的に1つの制約を付加するマルチレベル機構を提案する。 FollowBench上での13のLLMの評価により,LLMの弱さと今後の研究への道のりを示す。
  論文  参考訳（メタデータ） (2023-10-31T12:32:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。