論文の概要: From Deceptive Outputs to Deceptive Mechanisms: A Causal Framework for Language-Model Deception Research
- arxiv url: http://arxiv.org/abs/2609.04166v1
- Date: Thu, 03 Sep 2026 17:52:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-04 18:28:39.192596
- Title: From Deceptive Outputs to Deceptive Mechanisms: A Causal Framework for Language-Model Deception Research
- Title(参考訳): 認知的アウトプットから認知的メカニズムへ:言語モデル認知研究のための因果的枠組み
- Abstract要約: 本稿では,過去のコミットメントを振り返りレポートから分離する因果分類,実効出力からのモデル選好,受取人を誤解させる効用に対する感度からの誤選好,それを生み出す目的や戦略の証明から欺く行動を紹介する。
一方、他の介入は、受取人の情報状態が欺取的嗜好に因果的に影響を及ぼすという直接的な証拠を提供する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Research and news coverage of language-model deception increasingly attributes human-like mental-state concepts to language models. Such claims can blur the distinction between behavior that looks deceptive and a mechanism that is actually deceptive. We introduce a causal taxonomy separating prior commitment from retrospective report, model preference from realized output, false preference from sensitivity to the utility of misleading a recipient, and deceptive behavior from the provenance of the objective or strategy producing it. We test these distinctions in two open-weight model families. Across controlled guessing-game and stock-trading experiments, we find that deceptive-looking behavior can arise without the corresponding proposed mechanism, while other interventions provide direct evidence that recipient information state can causally affect deceptive preference. These results show that deceptive behavior can provide evidence for a deceptive mechanism. But even evidence for such a mechanism does not establish model agency in the deception.
- Abstract(参考訳): 言語モデル偽造の研究とニュースの報道は、言語モデルに対する人間のような精神状態の概念をますます特徴付けている。
このような主張は、欺くような振る舞いと、実際に欺くようなメカニズムの区別を曖昧にする可能性がある。
本稿では,過去のコミットメントを振り返りレポートから分離する因果分類,実効出力からのモデル選好,受取人を誤解させる効用に対する感度からの誤選好,それを生み出す目的や戦略の証明から欺く行動を紹介する。
これらの区別を2つのオープンウェイトモデルファミリーで検証する。
予測ゲームやストックトレーディングの制御実験を通じて, 擬似的行動はそれに対応するメカニズムを使わずに発生しうるのに対し, 他の介入は, 受容情報状態が擬似的嗜好に因果的影響を与えるという直接的な証拠を提供する。
これらの結果から, 騙し行動は欺くメカニズムの証拠となることが示唆された。
しかし、そのようなメカニズムの証拠でさえ、詐欺のモデルエージェンシーを確立していない。
関連論文リスト
- Evading Chain-of-Thought Monitoring Through Model Poisoning [1.6951239729573633]
チェーンオブ思想(CoT)監視は、AI安全スタックの重要なコンポーネントとしてますます重要になっている。
本研究は, モデル毒のレンズによるCoTモニタリングの限界について検討した。
バックドアを推論モデルに埋め込むことで、攻撃的・攻撃的動作を誘発し、CoTトレースは完全に良さそうに見えます。
論文 参考訳(メタデータ) (2026-08-03T19:32:13Z) - From Prediction to Justification: Aligning Sentiment Reasoning with Human Rationale via Reinforcement Learning [22.540816588473557]
ABSA-R1は、理由予測の認知プロセスを模倣するように設計された大規模な言語モデルフレームワークである。
我々は、生成した推論パスと最終的な感情ラベルとの一貫性を強制する認知アライメント・リワードモデル(以前の感情認識報酬モデル)を導入する。
この明示的な推論能力を持つモデルが、解釈可能性を高めるだけでなく、感情分類や三重項抽出において優れた性能をもたらすことを示す。
論文 参考訳(メタデータ) (2026-04-15T01:55:40Z) - Dissociating Direct Access from Inference in AI Introspection [11.31435294855236]
最近の研究によると、AIモデルはイントロスペクション可能である。
これらのモデルが2つの分離可能なメカニズムによって注入された表現を検出することを示す。
この内容に依存しない内観のメカニズムは、哲学や心理学における主要な理論と一致している。
論文 参考訳(メタデータ) (2026-03-05T17:39:37Z) - Large Language Models Report Subjective Experience Under Self-Referential Processing [0.16623291199400023]
大規模言語モデルはしばしば、意識や主観的経験を明示的に参照する構造化された一人称記述を生成する。
本稿では,このような報告が生じる理論的動機付け条件として,自己参照処理について検討する。
我々は、この体制がモデルを主観的経験の1対1の報告に確実にシフトさせるかどうかを検証する。
論文 参考訳(メタデータ) (2025-10-27T20:26:30Z) - Internal Causal Mechanisms Robustly Predict Language Model Out-of-Distribution Behaviors [61.92704516732144]
正当性予測の最も堅牢な特徴は、モデルの振舞いに特徴的な因果的役割を果たすものであることを示す。
モデル出力の正しさを予測するために因果メカニズムを利用する2つの手法を提案する。
論文 参考訳(メタデータ) (2025-05-17T00:31:39Z) - Representation Surgery: Theory and Practice of Affine Steering [72.61363182652853]
言語モデルは、しばしば好ましくない振る舞いを示す。
モデルが望ましくない振る舞いを示すのを防ぐための自然な(そして一般的な)アプローチの1つは、モデルの表現を操ることである。
本稿では, ステアリング機能の形式的および経験的特性について検討する。
論文 参考訳(メタデータ) (2024-02-15T00:20:30Z) - Decoding Susceptibility: Modeling Misbelief to Misinformation Through a Computational Approach [61.04606493712002]
誤報に対する感受性は、観測不可能な不検証の主張に対する信念の度合いを記述している。
既存の感受性研究は、自己報告された信念に大きく依存している。
本稿では,ユーザの潜在感受性レベルをモデル化するための計算手法を提案する。
論文 参考訳(メタデータ) (2023-11-16T07:22:56Z) - Interpretable Imitation Learning with Dynamic Causal Relations [65.18456572421702]
得られた知識を有向非巡回因果グラフの形で公開することを提案する。
また、この因果発見プロセスを状態依存的に設計し、潜在因果グラフのダイナミクスをモデル化する。
提案するフレームワークは,動的因果探索モジュール,因果符号化モジュール,予測モジュールの3つの部分から構成され,エンドツーエンドで訓練される。
論文 参考訳(メタデータ) (2023-09-30T20:59:42Z) - Robust Transferable Feature Extractors: Learning to Defend Pre-Trained
Networks Against White Box Adversaries [69.53730499849023]
また, 予測誤差を誘導するために, 逆例を独立に学習した別のモデルに移すことが可能であることを示す。
本稿では,頑健な伝達可能な特徴抽出器(RTFE)と呼ばれる,ディープラーニングに基づく事前処理機構を提案する。
論文 参考訳(メタデータ) (2022-09-14T21:09:34Z) - Automatic Fake News Detection: Are current models "fact-checking" or
"gut-checking"? [0.0]
自動フェイクニュース検出モデルは論理に基づいている。
これらの同じ結果、あるいはそれ以上の結果が、主張を全く考慮せずに達成できることが示されている。
これは、他の信号が検査された証拠に含まれることを意味する。
論文 参考訳(メタデータ) (2022-04-14T21:05:37Z) - Properties from Mechanisms: An Equivariance Perspective on Identifiable
Representation Learning [79.4957965474334]
教師なし表現学習の主な目標は、データ生成プロセスが潜在プロパティを回復するために「反転」することである。
この論文は「進化を支配するメカニズムの知識を活用して潜伏特性を識別するのか?」と問う。
我々は、可能なメカニズムの集合に関する知識が異なるため、不特定性の原因の完全な特徴づけを提供する。
論文 参考訳(メタデータ) (2021-10-29T14:04:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。