論文の概要: Length Penalties Make Chain-of-Thought Less Monitorable

• arxiv url: http://arxiv.org/abs/2607.09786v1
• Date: Wed, 08 Jul 2026 14:18:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 15:40:48.193265
• Title: Length Penalties Make Chain-of-Thought Less Monitorable
• Title（参考訳）: 長寿の罰則は、チェーン・オブ・サードをモニターしにくくする
• Abstract要約: 長いペナルティのトレーニングは、ステアリングモデルのヒントを誤解させるのを止めない。 ターゲット鎖長の異なるQwen3-4BとQwen3-14Bを訓練する。 MMLU-Pro-Rと4つの転送ベンチマークのバイアスヒント介入による評価を行った。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Length-penalized reinforcement learning can shorten chain-of-thought reasoning while hiding an influence that drives the model's answer. In our experiments, training with length penalties does not stop misleading hints from steering models, even though the models' chains of thought mention the hint much less often. A token-accuracy evaluation would count these runs as successful because they use fewer reasoning tokens with little accuracy loss; it would miss whether the remaining trace still shows what drove the answer. We train Qwen3-4B and Qwen3-14B variants with different target chain lengths, then evaluate them with biasing-hint interventions on held-out MMLU-Pro-R and four transfer benchmarks. Compression sharply cuts reasoning tokens, preserves most multiple-choice accuracy, and leaves hint influence near baseline. At the strongest target, lower-bound faithfulness falls to 63.1% of baseline for Qwen3-14B and 69.4% for Qwen3-4B; the raw rate at which a monitor catches hint use falls from 69% to 49% and from 60% to 48%. To separate length from content, we randomly delete sentences from uncompressed baseline chains until the remaining text matches the compressed length. Even after this length matching, compressed chains disclose the hint 7-35 percentage points less often than baseline chains that we shorten at random, for both Qwen3 sizes and all five evaluation distributions. Compression therefore does more than shorten reasoning, preferentially removing the cues a monitor needs to see what influenced the answer. Together, these results reveal a compression-monitorability frontier in which cheaper reasoning can preserve answers while making the influences behind them harder to detect.
• Abstract（参考訳）: 長大化強化学習は、モデルの回答を駆動する影響を隠蔽しながら、思考の連鎖推論を短縮することができる。 我々の実験では、長いペナルティのトレーニングは、モデルチェーンがヒントをあまり言及していないにもかかわらず、ステアリングモデルからの誤解を招くヒントを止めることはできない。 トークン精度の評価は、正確さを損なわない推論トークンが少ないため、これらの実行を成功とみなす。 目標鎖長が異なるQwen3-4BとQwen3-14Bの変種を訓練し、保持されたMMLU-Pro-Rおよび4つの転送ベンチマーク上でバイアスヒント介入を用いて評価する。 圧縮は、推論トークンを鋭くカットし、最も複数の選択の正確性を保ち、ベースライン付近で影響を示唆する。 最強の目標では、Qwen3-14Bのベースラインの63.1%、Qwen3-4Bの69.4%、モニターがヒントをキャッチする生率は69%から49%、60%から48%となっている。 コンテンツから長さを分離するために、圧縮されていないベースラインチェーンからテキストをランダムに削除し、残りのテキストは圧縮された長さにマッチする。 この長さマッチングの後でも、圧縮鎖は、Qwen3サイズと5つの評価分布の両方に対して、ランダムに短くするベースラインチェーンよりも、7-35パーセントのヒントを開示する。 したがって、圧縮は推論を短くするだけでなく、モニターが答えに影響を及ぼすかを確かめる必要があるキューを優先的に除去する。 これらの結果とともに、より安価な推論が答えを保存し、背後にある影響を検知しにくくする圧縮監視性フロンティアが明らかになった。

関連論文リスト

• Relevant but Incomplete: Referential Dangling as a Paradigm-Level Failure Mode in Hard Prompt Compression [18.435649248662944]
  保持されたテキストが応答を含む場合、削除されたテキストは、それを解釈するために必要なエンティティを定義し、結果参照ダングリングを呼び出します。 提案手法では, 省略文に対して, 保持テキストの解釈が必要か否かを判断し, アノテーションを推論時にサポートせずに上位候補を再試行する。
  論文  参考訳（メタデータ） (2026-08-05T07:58:53Z)
• Does Verbose Chain-of-Thought Really Help? In-Distribution Evidence that Content, Not Length, Matters [10.230437172157474]
  思考の連鎖はLSM推論を改善するが、ソースは競合する。 それぞれのモデルを同じ質問に繰り返しサンプリングし、同じ推論計画に従って、より長い自然世代とペアリングする。 余分なトークンは、独立に訓練されたすべての理性者に対して、本質的には変化しない。 同じ意味的内容を表す2つのトレースが、より冗長な場合に異なる結果をもたらすかどうかを問う。
  論文  参考訳（メタデータ） (2026-06-29T11:06:46Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• Uncovering the Representation Geometry of Minimal Cores in Overcomplete Reasoning Traces [56.497263592610295]
  言語モデルは、しばしば長いチェーン・オブ・ソート・トレースを生成するが、最終的な予測を維持するのに、この理由がどの程度必要かは定かではない。 オーバーコンプリート推論トレースのレンズを通してこれを研究する。 我々は最小のコアを最終回答または予測分布を保存するステップの最小サブセットとして定義する。
  論文  参考訳（メタデータ） (2026-05-14T04:35:45Z)
• The Last Word Often Wins: A Format Confound in Chain-of-Thought Corruption Studies [0.0]
  補正研究は、どのステップが計算上重要なのかを、ステップが破損した場合の精度損失から推定する。 ベンチマークチェーンが明確な終端応答ラインに終止符を打つと、これらのテストは中間計算を行う場所ではなく、主に空腹者の配置を計測する。
  論文  参考訳（メタデータ） (2026-05-11T16:26:50Z)
• Rethinking Dense Sequential Chains: Reasoning Language Models Can Extract Answers from Sparse, Order-Shuffling Chain-of-Thoughts [51.84894623128418]
  現代の推論言語モデルは、すべてのトークンが寄与し、ステップを順番に消費しなければならないと暗黙的に仮定して、シーケンシャルな連鎖トレースを生成する。 我々は、モデル生成推論連鎖に適用した、系統的な介入パイプライン、除去、マスキング、シャッフル、ノイズ注入により、両方の仮定に挑戦する。 解答抽出は, スパース, 秩序不感, 構造的に堅牢な情報基板上で行う。
  論文  参考訳（メタデータ） (2026-05-08T06:15:50Z)
• Stepwise Penalization for Length-Efficient Chain-of-Thought Reasoning [66.22060690012512]
  大規模な推論モデルは、より多くのテストタイム計算で改善されるが、しばしば過大評価され、正確さを向上することなくコストを上昇させる必要のない長い連鎖を生み出す。 本研究は,本質的な貢献に基づいて,ステップ間の長さ短縮を割り当てる,きめ細かいフレームワークであるSWAPを提案する。
  論文  参考訳（メタデータ） (2026-02-27T20:23:59Z)
• Reinforcement Learning for Chain of Thought Compression with One-Domain-to-All Generalization [27.13234369037689]
  大規模言語モデルにおけるチェーン・オブ・シント推論は、"過度な罠"を引き起こす可能性がある そこで本研究では,有能なサンプルレベルのソフト強化学習圧縮を提案する。 モデルがすでに問題を解決している場合にのみ、長時間のロールアウトをペナルティ化し、ロールアウトを短縮した。
  論文  参考訳（メタデータ） (2025-12-19T06:30:54Z)
• VeriThinker: Learning to Verify Makes Reasoning Model Efficient [52.74493506816969]
  大型推論モデルは、Chain-of-Thought (CoT)推論を用いて複雑なタスクで優れている。 過度に考える傾向は、必然的に長い推論連鎖に繋がる。 我々は,CoT圧縮の新しい手法であるVeriThinkerを紹介する。
  論文  参考訳（メタデータ） (2025-05-23T14:17:56Z)
• CoT-Valve: Length-Compressible Chain-of-Thought Tuning [50.196317781229496]
  我々はCoT-Valveと呼ばれる新しいチューニングと推論戦略を導入し、モデルが様々な長さの推論連鎖を生成できるようにする。 我々は,CoT-Valveがチェーンの制御性と圧縮性を実現し,プロンプトベース制御よりも優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2025-02-13T18:52:36Z)
• Faithful Chain-of-Thought Reasoning [51.21714389639417]
  CoT(Chain-of-Thought)は言語モデル(LM)のパフォーマンスを様々な推論タスクで向上させる。 翻訳と問題解決という2つの段階を含む推論フレームワークであるFithful CoTを提案する。 このことは、推論連鎖が最終回答の忠実な説明を提供することを保証している。
  論文  参考訳（メタデータ） (2023-01-31T03:04:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。