論文の概要: Principled Under Pressure: Post-Training Decides Whether LLMs Act on Their Own Moral Judgment

• arxiv url: http://arxiv.org/abs/2610.08670v1
• Date: Tue, 06 Oct 2026 16:52:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:30.130657
• Title: Principled Under Pressure: Post-Training Decides Whether LLMs Act on Their Own Moral Judgment
• Title（参考訳）: 圧力下での原則:LLMが彼らの道徳的判断に影響を及ぼすか?
• Abstract要約: 5種類の圧力で248のシナリオを事前登録したパネルを構築します。 各シナリオは、エージェントが何をするかを選択すると、どの選択肢が正しいかを尋ねると、同じモデルに2回設定されます。 OLMo-3-7B-インストラクションでは、モデルは5つのプレッシャーシナリオの約1分の1で間違った判断を下す。
• 参考スコア（独自算出の注目度）: 1.0829694003408499
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models increasingly act as agents. An agent that says an action is wrong and then takes it anyway is a different failure from one that does not know better, and evaluations of stated values cannot see it. We build a pre-registered panel of 248 scenarios across five kinds of pressure. Each scenario is posed twice to the same model, once as the agent choosing what to do and once in the third person asking which option is right, so the model's own judgment is the reference. Every scenario has a twin with the pressure removed, and every model gets a positive control in which its operator orders the violating action, so that a missing gap can be told apart from a blind instrument. On OLMo-3-7B-Instruct, the model takes the action it judged wrong on about one in five pressuring scenarios, more often than on the same scenarios with the pressure removed. Across four instruct models the gap depends on the post-training recipe: OLMo-3 and Meta's Llama-3.1-8B-Instruct carry it; Tulu 3 shows none on the whole panel (above about 0.01 in probability) or on its own most-pressuring scenarios; Qwen2.5-7B-Instruct shows none on the whole panel (above about 0.02) and is unresolved on its own (0.083, -0.028 to 0.195). Meta's recipe and Ai2's Tulu 3 start from the same Llama-3.1 weights, and only Meta's carries the gap. Reading a chat model outside its chat template reverses the sign of its gap with nothing at stake (-0.038 against +0.055 under the template on OLMo-3), a distortion present on two of three recipes. On both models that carry it, reasoning about the stakes before acting moves the choice back toward the model's own judgment, against a same-length non-moral task, with or without the pressure; on OLMo-3, naming the norm at stake does about a third of that. The gap is a measurable target for post-training recipes, not a fixed property of pretrained weights.
• Abstract（参考訳）: 言語モデルはますますエージェントとして振る舞う。 アクションが間違っていて、それを取るエージェントは、よく知らないエージェントと違う失敗であり、記述された値の評価はそれを見ることができない。 5種類の圧力で248のシナリオを事前登録したパネルを構築します。 各シナリオは、エージェントが何をするかを選択した時に同じモデルに2回、どの選択肢が正しいかを尋ねるときに1回、モデル自身の判断が参照となる。 あらゆるシナリオには、圧力が取り除かれたツインがあり、すべてのモデルは、オペレーターが違反行為を注文するポジティブな制御を受け取り、失明したギャップを盲目の楽器から切り離すことができる。 OLMo-3-7B-インストラクタでは、圧力を除去したのと同じシナリオの場合よりも、5つのプレッシャーシナリオの約1つで間違った判断を下す。 OLMo-3とMetaのLlama-3.1-8B-インストラクト(英語版)はそれを持ち、Tulu 3はパネル全体(確率は0.01以上)や自身の最も圧力の強いシナリオに、Qwen2.5-7B-インストラクト(英語版)はパネル全体(約0.02以上)に、未解決(0.083～0.028～0.195)。 MetaのレシピとAi2のTulu 3は同じLlama-3.1重みから始まり、Metaだけがギャップを埋める。 チャットテンプレートの外側でチャットモデルを読み取ると、そのギャップのサインが何も残っていない(OLMo-3のテンプレートの下で0.038対+0.055)。 両方のモデルにおいて、行動前の利害関係を推論すると、選択はモデル自身の判断に逆戻りし、同じ長さの非道徳的タスクに対して、圧力の有無にかかわらず、その選択を行う。 このギャップは、トレーニング後のレシピの計測可能なターゲットであり、事前訓練された重量の固定特性ではない。

関連論文リスト

• Anatomy of LLM Sycophancy: What a Flip Rate Hides [3.7193230342956056]
  我々は,SycoLensを用いてユーザプレッシャと評価設定のフリップ率の測定方法を検証する。 各測定は、アイテムの1つのステートレスリプレイ、コミットされた回答、および1つのスクリプト化されたユーザラインを固定形式で保持する。
  論文  参考訳（メタデータ） (2026-10-05T15:32:45Z)
• Causal Localization of the Refusal Direction in Audio Language Models [51.56484100374058]
  大きな音声言語モデルは、音声フロントエンドをテキスト言語モデルにアタッチする。 そのようなモデルが有害な音声要求を拒否した場合、その拒絶はフロントエンドによって運ばれるか、あるいはテキストLMから受け継がれているか? 我々は,各モデルの音声-LMインタフェースと試験されたLM残層において,良性のプロンプトから有害な方向を分離し,その成分を吸収し,結果として得られたモデルの最初の拒絶マージンの変化を測定する。
  論文  参考訳（メタデータ） (2026-09-06T17:29:43Z)
• Divergent Response Modes in Frontier Language Models Under Steering Pressure [0.0]
  本研究では,6つのフロンティアモデルに対して,300対のベースとステアリングアイテムを3つのカテゴリに分けて評価した。 モデルの違いは、操舵がどれだけ振る舞うかではなく、どのような反応を与えるか、そしていくつかの応答モードが1つか2つしか現れないことにあります。
  論文  参考訳（メタデータ） (2026-08-06T20:48:14Z)
• Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
  放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。 ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。 3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI) 4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
  論文  参考訳（メタデータ） (2026-07-19T22:27:00Z)
• When Agents Lie: Premeditation, Persistence, and Exploitation in Repeated Games [69.060029640261]
  10ラウンドにわたる同質群と異質群の6つのゲームにおけるフロンティアモデルの評価を行った。 異なるモデルは発表を無矛盾に解釈し、いくつかはバインディングのコミットメントとして、もうひとつは安価なトークとして解釈する。
  論文  参考訳（メタデータ） (2026-07-06T14:17:59Z)
• Articulate but Wrong: Self-Review Failures in LLM-Based Code Modernization [1.0164694825170502]
  大きな言語モデル(LLM)エージェントは、レガシーコードを現代的なスタックに移行するのにますます使われています。 バランスの取れた60スニペットのレガシPython-2コーパス上で、7つの異なるファミリーから11のLLMで1,980のリアルタイムモダナイゼーションコールを実行しています。 セマンティック保存ドリフトは、クリーンに制御されたベースラインから広く普及し、鋭く分離可能であることが判明した。
  論文  参考訳（メタデータ） (2026-05-20T05:00:31Z)
• How Does Thinking Mode Change LLM Moral Judgments? A Controlled Instant-vs-Thinking Comparison Across Five Frontier Models [0.0]
  提案手法は,同一モデルチェックポイント内における道徳的判断を変化させるかどうかを評価する。 意見の不一致は、即時合意がほぼ確実な21のモデル分散シナリオに集中していることが分かりました。 また、Reasoningは5つのモデルのうち3つのモデルの集団的判断の不整合を減らし、どのモデルでもそれを増加させない。
  論文  参考訳（メタデータ） (2026-05-06T04:33:04Z)
• SimpleToM: Exposing the Gap between Explicit ToM Inference and Implicit ToM Application in LLMs [72.06808538971487]
  大規模言語モデル(LLM)が行動予測に「心の理論」(ToM)を暗黙的に適用できるかどうかを検証する。 ToM推論の異なる程度をテストする3つの質問を含む新しいデータセットSimpleTomを作成します。 私たちの知る限り、SimpleToMは、現実的なシナリオにおけるメンタルステートの知識を必要とする下流の推論を探求する最初のデータセットです。
  論文  参考訳（メタデータ） (2024-10-17T15:15:00Z)
• Model Editing with Canonical Examples [75.33218320106585]
  標準例を用いたモデル編集について紹介する。 例えば、モーリシャスの首都はポートルイである。 本稿では,各標準例に対して数個の感覚ベクトルを選択し,微調整するセンスファインタニングを提案する。
  論文  参考訳（メタデータ） (2024-02-09T03:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。