Fugu-MT 論文翻訳(概要): HIPO: Instruction Hierarchy via Constrained Reinforcement Learning

論文の概要: HIPO: Instruction Hierarchy via Constrained Reinforcement Learning

arxiv url: http://arxiv.org/abs/2603.16152v1
Date: Tue, 17 Mar 2026 06:12:41 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-18 17:42:07.123361
Title: HIPO: Instruction Hierarchy via Constrained Reinforcement Learning
Title（参考訳）: HIPO:制約付き強化学習による指導階層
Abstract要約: textscHIPOは、制約付きマルコフ決定プロセスとしてHIFを定式化する新しいアライメントフレームワークである。 textscHIPOはシステムプロンプトを単に入力コンテキストから厳密なアルゴリズム境界まで高める。
参考スコア（独自算出の注目度）: 57.40686733111483
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Hierarchical Instruction Following (HIF) refers to the problem of prompting large language models with a priority-ordered stack of instructions. Standard methods like RLHF and DPO typically fail in this problem since they mainly optimize for a single objective, failing to explicitly enforce system prompt compliance. Meanwhile, supervised fine-tuning relies on mimicking filtered, compliant data, which fails to establish the priority asymmetry at the algorithmic level. In this paper, we introduce \textsc{HIPO}, a novel alignment framework that formulates HIF as a Constrained Markov Decision Process. \textsc{HIPO} elevates system prompts from mere input context to strict algorithmic boundaries. Using a primal-dual safe reinforcement learning approach, the algorithm dynamically enforces system prompt compliance as an explicit constraint, maximizing user utility strictly within this feasible region. Extensive evaluations across diverse model architectures (e.g., Qwen, Phi, Llama) demonstrate that \textsc{HIPO} significantly improves both system compliance and user utility. Furthermore, mechanistic analysis reveals that this constrained optimization autonomously drives the model to shift its attention toward long-range system tokens, providing a principled foundation for reliable LLM deployment in complex workflows.
Abstract（参考訳）: 階層的命令追従 (hierarchical Instruction following, HIF) とは、命令の優先順位付けされたスタックで大規模言語モデルを誘導する問題を指す。 RLHFやDPOのような標準メソッドは、主に単一の目的のために最適化されるため、システムプロンプトコンプライアンスを明示的に強制することができないため、この問題で失敗するのが一般的である。一方、教師付き微調整は、アルゴリズムレベルで優先的な非対称性を確立するのに失敗する、フィルタリングされた、準拠したデータの模倣に依存している。本稿では,HIF を制約付きマルコフ決定過程として定式化する新しいアライメントフレームワークである \textsc{HIPO} を紹介する。システムプロンプトを単に入力コンテキストから厳密なアルゴリズム境界まで高める。このアルゴリズムは, システムプロンプトコンプライアンスを明示的な制約として動的に実施し, この実現可能な領域内でのユーザの有用性を厳格に最大化する。多様なモデルアーキテクチャ(例えば、Qwen、Phi、Llama)にわたる広範な評価は、 \textsc{HIPO}がシステムコンプライアンスとユーザユーティリティの両方を大幅に改善することを示している。さらに、機械的解析により、この制約付き最適化がモデルを自律的に長距離システムトークンにシフトさせ、複雑なワークフローにおける信頼性LLMデプロイメントの原則的基盤を提供することを明らかにした。

関連論文リスト

Think2Go: Generative Next POI Recommendation with LLM Reasoning [57.37706163990998]
Next Point-of-Interest (POI)レコメンデーションタスクは、ユーザの行動選好パターンを過去のチェックインからマイニングすることに焦点を当て、次の目的地へのパーソナライズされた提案を提供する。既存の手法は、次のPOIを予測するために、浅いコンテキスト情報と手作りの特徴相互作用に依存している。本稿では,SID表現の理解を深め,テスト時間計算による多様な時空間パターンを探索する新しい次世代POIレコメンデーションフレームワークThink2Goを提案する。
論文参考訳（メタデータ） (2026-07-31T03:52:20Z)
Segment-Aligned Policy Optimization for Multi-Modal Reasoning [55.29606572822562]
本稿では、トークンや全シーケンスではなく、一貫性のある推論ステップをポリシー更新の基本単位として扱う新しい強化学習パラダイムを提案する。代表的な推論ベンチマークの実験は、SAPOがトークンレベルおよびシーケンスレベルポリシー最適化手法を一貫して上回っていることを示している。我々の研究は、強化学習の更新を推論の構造と整合させることの重要性を強調し、複雑な推論タスクにおけるより効率的でセマンティックに根ざした政策最適化の道を開く。
論文参考訳（メタデータ） (2026-05-02T08:47:45Z)
Hierarchical Alignment: Enforcing Hierarchical Instruction-Following in LLMs through Logical Consistency [21.166652815597782]
本稿では,階層的命令追従のためのニューラルネットワーク階層的アライメント(NSHA)を提案する。我々は,ルールフォロー,タスク実行,ツール使用,安全性に関するアプローチを評価し,単一ターンと複数ターンのインタラクションについて検討した。
論文参考訳（メタデータ） (2026-04-10T07:59:11Z)
Optimizing Entanglement Distribution Protocols: Maximizing Classical Information in Quantum Networks [5.621690515150937]
大規模量子ネットワークを実現する上で,効率的な絡み合い分布は基礎的な課題である。本稿では,4つの重要な展開を導入することで,絡み合い分布問題に対処する。まず、量子通信の第一の応用がプライベート情報の伝達であることを認識し、エンサンブル容量(EC)を導出する。
論文参考訳（メタデータ） (2026-03-26T12:08:13Z)
Principled RL for Diffusion LLMs Emerges from a Sequence-Level Perspective [85.06838178922791]
強化学習(RL)は自己回帰言語モデルに非常に効果的であることが証明されている。しかし、これらの手法を拡散大言語モデル(dLLM)に適応させることは、根本的な課題を提起する。本稿では,全シーケンス生成を単一アクションとして扱い,ELBOを抽出可能なシークエンスレベル確率プロキシとして利用する,原則的RLフレームワークを提案する。
論文参考訳（メタデータ） (2025-12-03T13:05:32Z)
TopoSizing: An LLM-aided Framework of Topology-based Understanding and Sizing for AMS Circuits [7.615431299673158]
従来のブラックボックス最適化はサンプリング効率を実現するが、回路理解に欠ける。提案するTopoSizeは、生のネットリストから直接、堅牢な回路理解を行うエンドツーエンドフレームワークである。
論文参考訳（メタデータ） (2025-09-17T16:52:46Z)
CSE-SFP: Enabling Unsupervised Sentence Representation Learning via a Single Forward Pass [3.0566617373924325]
プレトレーニング言語モデル(PLM)の最近の進歩は、この分野において顕著な進歩をもたらした。 CSE-SFPは,生成モデルの構造的特徴を利用する革新的な手法である。 CSE-SFPは高品質な埋め込みを実現するだけでなく、トレーニング時間とメモリ消費を著しく削減する。
論文参考訳（メタデータ） (2025-05-01T08:27:14Z)
End-to-End Learning Framework for Solving Non-Markovian Optimal Control [13.207458293652635]
本稿では、FOLTIシステムのための革新的なシステム識別方法制御戦略を提案する。また、最初のエンドツーエンドデータ駆動学習フレームワークであるFractional-Order Learning for Optimal Control(FOLOC)も開発しています。
論文参考訳（メタデータ） (2025-02-07T04:18:56Z)
Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
論文参考訳（メタデータ） (2024-02-09T07:45:26Z)
PARL: A Unified Framework for Policy Alignment in Reinforcement Learning from Human Feedback [106.63518036538163]
我々は、強化学習におけるポリシーアライメントの最近強調された重要な問題に対処するために、新しい統合された二段階最適化ベースのフレームワーク、textsfPARLを提案する。本フレームワークは, 上向きの目標(逆設計)の分布を, 下向きの最適変数で明示的にパラメータ化することにより, これらの問題に対処する。その結果,提案したtextsfPARL が RL のアライメントの懸念に対処できる可能性が示唆された。
論文参考訳（メタデータ） (2023-08-03T18:03:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。