論文の概要: Do Language Models Know Their Own Constraints?

• arxiv url: http://arxiv.org/abs/2609.22151v1
• Date: Wed, 26 Aug 2026 08:57:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.734643
• Title: Do Language Models Know Their Own Constraints?
• Title（参考訳）: 言語モデルは自身の制約を知っているか?
• Abstract要約: Llama 3.1 8BインストラクトのLoRA微調整により, 制限されたレシピ生成をテストベッドとして5つの禁止成分を施行した。 教師付き微調整(SFT)とグループ相対政策最適化(GRPO)を,4階層の制約認識ベンチマーク上の未訓練ベースラインと比較した。 どちらの手法も、トレーニングされていないモデルの下で明示的な制約レポートを減らしながら、行動コンプライアンスを4%から約90%に引き上げる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We ask whether behavioral constraints acquired through post training remain explicitly reportable. Using constrained recipe generation as a testbed, five banned ingredients enforced via LoRA fine tuning of Llama 3.1 8B Instruct we compare supervised fine tuning (SFT) and Group Relative Policy Optimization (GRPO) against an untrained baseline on a four tier Constraint Awareness Benchmark. Averaged over three seeds, both methods raise behavioral compliance from 4% to about 90% while reducing explicit constraint reporting below the untrained model (0.48/5 to 0.16/5 for SFT, 0.07/5 for GRPO) and eroding retained third person knowledge (93% to 36% for SFT, 14% for GRPO; p less than 0.01 between methods). Contrary to our initial hypothesis, the reward based signal is the more destructive of the two: a reward that penalizes banned ingredient tokens regardless of framing learns a context independent suppression rather than a self directed constraint. A context conditioned reward designed to teach the self to other distinction fails, collapsing toward inclusion in both framings. Probing prompt time hidden states recovers per ingredient avoidance at 83.8% (layer 24 MLP), but only 6.4 points above a per ingredient base rate predictor (77.4%), and the model's own verbal self report is more accurate still (87.8%). A positive control adding explicit self description examples does not restore reporting. The failure is therefore specific to enumerating constraints on request, not a general loss of access to them.
• Abstract（参考訳）: ポストトレーニングによって得られた行動制約が、明示的に報告可能かどうかを問う。 制限されたレシピ生成をテストベッドとして,Llama 3.1 8B の LoRA 微調整によって実施される5つの禁止材料を用いて,教師付き微調整 (SFT) とグループ相対政策最適化 (GRPO) を4層制約意識ベンチマーク上の未訓練ベースラインと比較する。 3種以上の種子を平均すると、行動コンプライアンスは4%から約90%に上昇し、訓練されていないモデル(SFTは0.48/5から0.16/5、GRPOは0.07/5、GRPOは0.7/5)以下の明示的な制約報告を減らし、保持されている第三者の知識(SFTは93%から36%、GRPOは14%、GRPOは0.01未満)を浸食させる。 最初の仮説とは対照的に、報酬に基づく信号はより破壊的であり、フレーミングによらず禁止された成分トークンを罰する報酬は、自己指示的な制約ではなく、文脈に依存しない抑圧を学ぶ。 他の区別に自己を教えるために設計された文脈条件付報酬は失敗し、両方のフレーミングに含められるように崩壊する。 即時隠蔽状態は83.8%(レイヤ24 MLP)で回復するが、成分ベースレート予測器(77.4%)よりも6.4ポイントしか高くない。 明示的な自己記述例を追加する肯定的な制御は、レポートを復元しない。 したがって、障害は要求に対する制約を列挙することに特化している。

関連論文リスト

• ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
  大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。 SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。 モデル自身の失敗から両方を得るReDraftを紹介します。
  論文  参考訳（メタデータ） (2026-09-15T04:59:03Z)
• Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk [0.0]
  クレジットスコアリングは、決定ロジックをパラメータから読み取ることができないモデルに依存している。 共通する提案は、言語モデルとのギャップを埋める: 特徴属性を計算し、それらを LLM に渡し、合理的に記述させる。 このようなシステムをエンド・ツー・エンドに構築し、約束の後半が成立するかどうかをテストします。
  論文  参考訳（メタデータ） (2026-08-08T13:22:14Z)
• Scaffold splits hide structural-frontier failures in ADMET models [25.408600489964726]
  我々は,最も広く,最も物理化学的に遠隔的な足場群を予約するラベルフリーな構造フロンティアスプリットを導入する。 ADMETタスクを6つの公開実験またはキュレートしたADMETタスクで評価した。
  論文  参考訳（メタデータ） (2026-07-12T12:25:50Z)
• Reason, Reward, Refine: Step-Level Errors Corrections with Structured Feedback for Physics Reasoning in Small Language Models [32.7643564019866]
  我々は,最初の推論誤差を特定し,対象とする構造化されたフィードバックを生成し,KL正則化によるポリシー勾配による解の修正を行うステップレベルの報酬フレームワークを提案する。 5つの物理ベンチマークで、我々のフレームワークはCoTのプロンプトよりも17-20%、最強のベースラインより10-16%の精度向上を実現し、計算誤差を56.9%から23.5%に削減し、最良のケースでは22.3%から12.0%に低減した。
  論文  参考訳（メタデータ） (2026-07-06T15:16:10Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• Models Recall What They Violate: Constraint Adherence in Multi-Turn LLM Ideation [0.0]
  DriftBenchは、科学的思考における制約の順守を評価するためのベンチマークである。 繰り返し圧力は構造的複雑さを確実に増加させ、しばしば元の制約への固執を減少させる。 オープンベンチマークとして、すべてのブリーフ、プロンプト、ルックス、書き起こし、スコアをリリースします。
  論文  参考訳（メタデータ） (2026-04-30T15:46:33Z)
• One Token Away from Collapse: The Fragility of Instruction-Tuned Helpfulness [12.183451602438753]
  単純な語彙制約(句読解文字または共通単語の禁止)により、命令調整されたLLMが応答を崩壊させることを示す。 ベースモデルでは,同じ制約の下で,小さな,騒々しい,双方向的な効果を伴って,体系的な崩壊を示さないことを示す。
  論文  参考訳（メタデータ） (2026-04-14T17:40:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。