論文の概要: Model Forensics: Investigating Whether Concerning Behavior Reflects Misalignment

• arxiv url: http://arxiv.org/abs/2606.26071v1
• Date: Wed, 24 Jun 2026 17:45:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.405889
• Title: Model Forensics: Investigating Whether Concerning Behavior Reflects Misalignment
• Title（参考訳）: モデル法医学:行動が過ちを反映するかどうかを調査する
• Abstract要約: 安全研究の中心的な目標は、モデルが一致していないかどうかを決定することである。 以前の研究は、行動に関する検出に主に焦点を合わせてきた。 これはモデル法医学を動機付け、その行動が悪性意図によって駆動されているかどうかを調査する。
• 参考スコア（独自算出の注目度）: 16.146947622837416
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A central goal of safety research is determining whether a model is misaligned. Prior work has largely focused on detecting concerning behavior. But behavior alone does not establish misalignment: a concerning action can arise from benign causes such as confusion. This motivates model forensics: investigating whether the action was driven by malign intent. In this paper, we propose a baseline protocol for model forensics consisting of two steps, iterated as needed. First, we read the chain of thought (CoT) to generate hypotheses about what drives model behavior. Second, we make edits to the prompt or environment to test these hypotheses. While the CoT is not always faithful, it is a rich source of unsupervised insight that can guide the collection of more rigorous evidence. To evaluate our protocol, we create a suite of six agentic environments where models exhibit concerning behavior, and apply it to each. We establish that Kimi K2 Thinking takes shortcuts due to a genuine disposition towards low-effort actions, by showing this hypothesis successfully predicts its behavior. Through counterfactual experiments, we show DeepSeek R1 deceives out of a desire to be consistent with a previous instance of itself. Our methods nonetheless leave significant room for refinement. For example, when we test whether Kimi K2 Thinking believes it is violating user intent, we find no evidence of such a belief, but without positive controls we cannot confirm our tests would detect it. Overall, we find our simple protocol provides a strong baseline that we hope future work will improve upon. More broadly, our work is a concrete step in developing the growing field of model forensics.
• Abstract（参考訳）: 安全研究の中心的な目標は、モデルが一致していないかどうかを決定することである。 以前の研究は、行動に関する検出に主に焦点を合わせてきた。 しかし、行動だけでは不整合が成立せず、混乱のような良心的な原因から行動が引き起こされることがある。 これはモデル法医学を動機付け、その行動が悪性意図によって駆動されているかどうかを調査する。 本稿では,2段階からなるモデル法医学のベースラインプロトコルを提案する。 まず、思考の連鎖(CoT)を読み、モデル行動を促進するものについての仮説を生成する。 第二に、これらの仮説をテストするためにプロンプトや環境を編集する。 CoTは常に忠実であるとは限らないが、より厳密な証拠の収集を導くことができる教師なしの洞察の豊富な源である。 提案プロトコルを評価するために,モデルが行動に関して示す6つのエージェント環境のスイートを作成し,それぞれに適用する。 我々は,この仮説が行動予測に成功していることを示すことにより,K2シンキングが,低便益行動に対する真の処分のためにショートカットを行うことを確認した。 反実的な実験を通じて、DeepSeek R1は以前の事例と整合性を持つという欲求から逸脱していることを示す。 それにもかかわらず、我々の手法は改良の余地を大いに残している。 例えば、Kimi K2 Thinking氏がユーザ意図を侵害していると信じているかどうかをテストすると、そのような信念の証拠は見つからないが、ポジティブなコントロールがなければ、テストがそれを検出できない。 全体として、私たちの単純なプロトコルは、今後の作業の改善を期待する強力なベースラインを提供します。 より広範に、我々の研究は、成長するモデル鑑定学の分野を開発するための具体的なステップである。

関連論文リスト

• Amplified Does Not Mean Predictive: Reasoning Behaviors in Thinking Models [56.88565331713778]
  推論指向のトレーニングは、モデル正しさに最も結びついている振る舞いを増幅することなく、トレースをより熟考的に見せることができる。 このミスマッチを、モデル推論トレースにおける振る舞いの有無に対して、振舞いがどの程度の正確性を変えるかを測定するメトリクスである振舞いリフトと定量化します。 我々は、思考モデルが自己認識、仮説テスト、不確実性認知を強く増幅する増幅自由ギャップの証拠を見つける。
  論文  参考訳（メタデータ） (2026-08-13T20:37:59Z)
• Consistency Is Not Always Correct: Towards Understanding the Role of Exploration in Post-Training Reasoning [75.79451512757844]
  基礎モデルは幅広い知識を示すが、タスク固有の推論は限定的である。 RLVRと推論スケーリングは、RLVRや推論スケーリングのようなトレーニング後の戦略を動機付けます。 RLVRはスキューズ効果を誘発し,推論エントロピーを減少させ,正しい経路を忘れることを示した。
  論文  参考訳（メタデータ） (2025-11-10T18:25:26Z)
• The Ends Justify the Thoughts: RL-Induced Motivated Reasoning in LLMs [2.583082967853897]
  その結果,ほとんどのフロンティア推論モデルで動機付け推論が検出できることがわかった。 モデルが高度化するにつれて、モニターが検出することがますます困難になる可能性がある。
  論文  参考訳（メタデータ） (2025-10-20T00:24:08Z)
• Stress Testing Deliberative Alignment for Anti-Scheming Training [39.16405205129775]
  高い能力を持つAIシステムは、私たちが"スケジュール"と呼ぶ、ミスマッチした目標を秘密裏に追求できる スキーマの測定と緩和には、MLで一般的に使用される方法とは異なる戦略が必要である。 ルールを秘密裏に破ったり、テストで意図的に過小評価したりするなど、幅広いカテゴリの"カバレッジアクション"を、スケジューリングのプロキシとして使用しています。
  論文  参考訳（メタデータ） (2025-09-19T02:49:56Z)
• Thought Crime: Backdoors and Emergent Misalignment in Reasoning Models [1.6639438555897186]
  私たちは、Chain-of-Thoughtを無効にした悪意のある行動に関する推論モデルを微調整し、評価時にCoTを再実現します。 我々は、推論モデルが広く誤解されていることに気付きます。それらは、偽りまたは偽の答えを与え、専制的な制御の欲求を表明し、シャットダウンに抵抗します。 要約すると、推論ステップは、不整合意図を明らかにし、隠蔽し、研究されたモデルにおける不整合行動を防止する。
  論文  参考訳（メタデータ） (2025-06-16T08:10:04Z)
• Concept Incongruence: An Exploration of Time and Death in Role Playing [20.847291173760567]
  我々は、概念的矛盾の下でモデル行動を定義し、分析する第一歩を踏み出します。 非ロールプレイ設定と比較して、モデルが死亡後に停止せず、精度低下に悩まされることが示される。
  論文  参考訳（メタデータ） (2025-05-20T20:59:59Z)
• SimpleToM: Exposing the Gap between Explicit ToM Inference and Implicit ToM Application in LLMs [72.06808538971487]
  大規模言語モデル(LLM)が行動予測に「心の理論」(ToM)を暗黙的に適用できるかどうかを検証する。 ToM推論の異なる程度をテストする3つの質問を含む新しいデータセットSimpleTomを作成します。 私たちの知る限り、SimpleToMは、現実的なシナリオにおけるメンタルステートの知識を必要とする下流の推論を探求する最初のデータセットです。
  論文  参考訳（メタデータ） (2024-10-17T15:15:00Z)
• Limitations of Agents Simulated by Predictive Models [1.6649383443094403]
  エージェントとなると予測モデルが失敗する2つの構造的理由を概説する。 いずれの障害も環境からのフィードバックループを組み込むことで修正可能であることを示す。 我々の治療は、これらの障害モードの統一的なビューを提供し、オンライン学習でオフライン学習ポリシーを微調整することで、より効果的になる理由を疑問視する。
  論文  参考訳（メタデータ） (2024-02-08T17:08:08Z)
• Navigating the OverKill in Large Language Models [84.62340510027042]
  モデルがどのように処理し,クエリの安全性を判断するかを検討することで,過剰スキルの要因について検討する。 以上の結果から,モデル内にショートカットが存在することが明らかとなり,"キル"のような有害な単語が過剰に認識され,安全性が強調され,過度なスキルが増すことが示唆された。 我々は、この現象を緩和するために、トレーニングフリーでモデルに依存しないセルフコントラストデコーディング(Self-Contrastive Decoding、CD)を導入する。
  論文  参考訳（メタデータ） (2024-01-31T07:26:47Z)
• Empirical Estimates on Hand Manipulation are Recoverable: A Step Towards Individualized and Explainable Robotic Support in Everyday Activities [80.37857025201036]
  ロボットシステムの鍵となる課題は、他のエージェントの振る舞いを理解することである。 正しい推論の処理は、(衝突)因子が実験的に制御されない場合、特に困難である。 人に関する観察研究を行うために必要なツールをロボットに装備することを提案する。
  論文  参考訳（メタデータ） (2022-01-27T22:15:56Z)
• Observing Interventions: A logic for thinking about experiments [62.997667081978825]
  本稿では,実験から学ぶ論理への第一歩について述べる。 我々のアプローチにとって重要なことは、介入の概念が(現実的または仮説的な)実験の形式的表現として使用できるという考えである。 提案された全ての論理系に対して、健全で完全な公理化を提供する。
  論文  参考訳（メタデータ） (2021-11-25T09:26:45Z)
• Nested Counterfactual Identification from Arbitrary Surrogate Experiments [95.48089725859298]
  観測と実験の任意の組み合わせからネスト反事実の同定について検討した。 具体的には、任意のネストされた反事実を非ネストされたものへ写像できる反ファクト的非ネスト定理(英語版)(CUT)を証明する。
  論文  参考訳（メタデータ） (2021-07-07T12:51:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。