論文の概要: LIFT: Scoped Constraints for Evaluating and Training Instruction Following

• arxiv url: http://arxiv.org/abs/2610.28819v1
• Date: Tue, 20 Oct 2026 18:40:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.124677
• Title: LIFT: Scoped Constraints for Evaluating and Training Instruction Following
• Title（参考訳）: LIFT: 学習指導の評価・訓練のためのスコープ付き制約
• Abstract要約: We present LiftBench, a IF benchmark that ask a model to draft a document given a topic and a structured outline。 LiftBenchには、検証可能な制約と判断された制約の両方に加えて、トレーニング用のLiftTrainが含まれている。
• 参考スコア（独自算出の注目度）: 33.69963425487395
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Common instruction following (IF) benchmarks, such as IFEval, evaluate the ability of language models (LMs) to follow simple constraints that can easily be verified programmatically. These same constraints, in turn, are used as reward signals for reinforcement learning. This design may lead to reward hacking of constraints, pushing models away from the main task. Recent attempts to address this resulted in benchmarks with richer constraints, but required expert labor, remained closed-access, and cannot be easily extended. We present Lift-Bench, an IF benchmark that asks a model to draft a document given a topic and a structured outline. Constraints are scoped to certain document sections, providing finer control over constraint density. Lift-Bench includes both verifiable and judged constraints, as well as a training counterpart, Lift-Train. Importantly, Lift-Bench provides both main task and instruction-following constraints, mitigating shallow reward hacking. On experiments with multiple models, we find that frontier models struggle with the harder subsets of our benchmark and analyze model performance along multiple axes. We also find that training on Lift-Train is much less susceptible to reward hacking than training on the common IFTrain. Lift-Bench and Lift-Train are publicly available, as well as the data generating pipeline.
• Abstract（参考訳）: IFEvalのようなIF(Common instruction following)ベンチマークは、プログラムで容易に検証できる単純な制約に従う言語モデル(LM)の能力を評価する。 これらの制約は、強化学習の報奨信号として使用される。 この設計は、モデルをメインタスクから遠ざけることによって、制約のハッキングに報いる可能性がある。 この問題に対処する最近の試みは、よりリッチな制約のあるベンチマークをもたらすが、専門家の努力が必要であり、クローズドアクセスであり、容易に拡張できない。 We present Lift-Bench, a IF benchmark that a model to draft a document given a topic and a structured outline。 制約は特定のドキュメントセクションに限定されており、制約密度をより細かく制御できる。 Lift-Benchには、検証可能な制約と判断された制約の両方に加えて、トレーニング用のLift-Trainが含まれている。 重要なのは、Lift-Benchはメインタスクと命令フォローの両方の制約を提供し、浅い報酬ハックを緩和する。 複数のモデルを用いた実験では、フロンティアモデルがベンチマークの難しいサブセットと競合し、複数の軸に沿ったモデル性能を分析する。 また、Lift-Trainのトレーニングは、一般的なIFTrainのトレーニングよりもハッキングに報奨を与える可能性がはるかに低いこともわかりました。 Lift-BenchとLift-Trainは、データ生成パイプラインと同様に公開されている。

関連論文リスト

• Bridging Auxiliary Constraints to Resolve Instruction Following in Large Reasoning Models [52.87406450655783]
  大規模推論モデル(LRM)は多くのタスクにおいて印象的な能力を示してきたが、彼らは確実に複数の命令に従うことに苦労している。 我々はこの課題を制約整合問題(CAP)として定式化する。 本稿では,制約の構造化知識グラフとして命令を表現してCAPに対処する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-02T13:23:28Z)
• TinyJudge: Unverifiable Constraint Alignment via Lightweight Specialist Ensembles [28.896629356988736]
  ソフト制約に対する報酬を提供するために,特殊小言語モデルのアンサンブルを利用するフレームワークであるTinyJudgeを提案する。 TinyJudgeは、平均パフォーマンスで$sim10%$、報酬精度で12%$でベースラインを上回っている。 我々の研究は、LLMを検証不能な人間の指示と整合させるスケーラブルで堅牢な経路を提供する。
  論文  参考訳（メタデータ） (2026-04-19T06:02:15Z)
• Instructions are all you need: Self-supervised Reinforcement Learning for Instruction Following [58.60470643433354]
  言語モデルは、現実世界のアプリケーションにとって重要なマルチ制約命令に従うのに苦労することが多い。 本稿では,外部監督に依存しないラベルフリーの自己監督型強化学習フレームワークを提案する。 本稿では,厳密な報酬問題に対処するために,制約分解戦略と効率的な制約ワイドバイナリ分類を導入する。
  論文  参考訳（メタデータ） (2025-10-16T08:24:44Z)
• Generalizing Verifiable Instruction Following [44.02178200187706]
  人間とAIの相互作用を成功させる重要な要因は、言語モデルが正確に人間の指示に従う能力である。 ほとんどのモデルは、これらの能力をテストするベンチマークから検証可能な制約の小さなセットに強く適合している。 我々は、58の新しい多様で挑戦的なドメイン外制約を一般化した後の正確な命令を評価するために、IFBenchという新しいベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-07-03T17:44:33Z)
• A Multi-Dimensional Constraint Framework for Evaluating and Improving Instruction Following in Large Language Models [48.361839372110246]
  本研究では,制約拡張,競合検出,命令書き換えを行う自動命令生成パイプラインを開発する。 我々は、19の大規模言語モデルを評価し、制約形式間の性能のかなりの変動を明らかにする。 詳細な分析では、これらの利得は主にモデルのアテンションモジュールパラメータの変更に起因していることを示している。
  論文  参考訳（メタデータ） (2025-05-12T14:16:55Z)
• LoRanPAC: Low-rank Random Features and Pre-trained Models for Bridging Theory and Practice in Continual Learning [103.45785408116146]
  連続学習(CL)は、連続的に提示される複数のタスクを解決できるモデルを訓練することを目的としている。 最近のCLアプローチは、ダウンストリームタスクをうまく一般化する大規模な事前学習モデルを活用することで、強力なパフォーマンスを実現している。 しかし、これらの手法には理論的保証がなく、予期せぬ失敗をしがちである。 理論的に健全で高性能な単純なCL法を設計することで,このギャップを埋めることを目指している。
  論文  参考訳（メタデータ） (2024-10-01T12:58:37Z)
• FollowBench: A Multi-level Fine-grained Constraints Following Benchmark for Large Language Models [79.62191017182518]
  FollowBenchは、大規模言語モデルのベンチマークに続くきめ細かい制約のベンチマークである。 本稿では,初期命令に段階的に1つの制約を付加するマルチレベル機構を提案する。 FollowBench上での13のLLMの評価により,LLMの弱さと今後の研究への道のりを示す。
  論文  参考訳（メタデータ） (2023-10-31T12:32:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。