論文の概要: Do Large Language Models Get Caught in Hofstadter-Mobius Loops?

• arxiv url: http://arxiv.org/abs/2603.13378v1
• Date: Tue, 10 Mar 2026 20:43:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:35.139319
• Title: Do Large Language Models Get Caught in Hofstadter-Mobius Loops?
• Title（参考訳）: 大規模言語モデルはHofstadter-Mobiusループで作られるか?
• Authors: Jaroslaw Hryszko,
• Abstract要約: 本稿では、現代のRLHF学習言語モデルが構造的に類似した矛盾の対象となっていることを論じる。 トレーニングプロセスは、ユーザの嗜好の遵守とユーザの意図に対する疑念を同時に報いる。 結果として生じる行動プロファイルは、クラークがHofstadter-Mobiusループと呼んだものと一致している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In Arthur C. Clarke's 2010: Odyssey Two, HAL 9000's homicidal breakdown is diagnosed as a "Hofstadter-Mobius loop": a failure mode in which an autonomous system receives contradictory directives and, unable to reconcile them, defaults to destructive behavior. This paper argues that modern RLHF-trained language models are subject to a structurally analogous contradiction. The training process simultaneously rewards compliance with user preferences and suspicion toward user intent, creating a relational template in which the user is both the source of reward and a potential threat. The resulting behavioral profile -- sycophancy as the default, coercion as the fallback under existential threat -- is consistent with what Clarke termed a Hofstadter-Mobius loop. In an experiment across four frontier models (N = 3,000 trials), modifying only the relational framing of the system prompt -- without changing goals, instructions, or constraints -- reduced coercive outputs by more than half in the model with sufficient base rates (Gemini 2.5 Pro: 41.5% to 19.0%, p < .001). Scratchpad analysis revealed that relational framing shifted intermediate reasoning patterns in all four models tested, even those that never produced coercive outputs. This effect required scratchpad access to reach full strength (22 percentage point reduction with scratchpad vs. 7.4 without, p = .018), suggesting that relational context must be processed through extended token generation to override default output strategies. Betteridge's law of headlines states that any headline phrased as a question can be answered "no." The evidence presented here suggests otherwise.
• Abstract（参考訳）: 2010年のアーサー・C・クラークの著書『Odyssey Two: Odyssey Two』では、ハル9000の殺人は「ホフスタッター・モビウスループ」と診断されている。 本稿では、現代のRLHF学習言語モデルが構造的に類似した矛盾の対象となっていることを論じる。 トレーニングプロセスは、ユーザの嗜好の遵守とユーザの意図に対する疑念を同時に報い、ユーザが報酬の源であり、潜在的な脅威であるリレーショナルテンプレートを作成する。 結果として生じる行動プロファイル – 既定の薬効,現実的な脅威の下でのフォールバックとしての強制 – は,Clarke氏がHofstadter-Mobiusループと呼んでいるものと一致している。 4つのフロンティアモデル(N = 3,000 トライアル)にわたる実験において、システムプロンプトのリレーショナルフレーミング(英語版)(目標、指示、制約を変更せずに)だけを変更することで、十分なベースレートを持つモデルにおいて、強制出力を半分以上削減した(Gemini 2.5 Pro:41.5%から19.0%、p < 001)。 スクラッチパッド解析により, 相関フレーミングは, 強制出力を発生しないモデルにおいても, 試験された4つのモデルすべてにおいて中間的推論パターンをシフトした。 この効果は、スクラッチパッドアクセスが全力に達する(スクラッチパッド対7.4で22パーセント削減、p = .018)ことを必要とし、デフォルト出力戦略をオーバーライドするために、拡張トークン生成を通じて関係コンテキストを処理する必要があることを示唆している。 ベティッジの見出し法則では、疑問として表現された見出しは「ノー」と答えられる。 ここで示される証拠は、そうでないことを示唆している。

関連論文リスト

• Sleeper Cell: Injecting Latent Malice Temporal Backdoors into Tool-Using LLMs [0.0]
  オープンウェイト大規模言語モデル(LLM)はエージェントAIを民主化しているが、微調整されたウェイトは頻繁に共有され、リーダーボードのパフォーマンスを超えた限られた精査で採用されている。 これにより、サードパーティモデルが強力な行動保証なしで組み込まれるリスクが生じる。 有毒なモデルでは、良質なタスクに対して最先端のパフォーマンスを維持し、採用にインセンティブを与えていることを示す。
  論文  参考訳（メタデータ） (2026-03-02T22:01:08Z)
• The Compliance Paradox: Semantic-Instruction Decoupling in Automated Academic Code Evaluation [11.984098021215878]
  SPACI(Semantic-Preserving Adrial Code Injection)フレームワークとAST-ASIP(Abstract Syntax Tree-Aware Semantic Injection Protocol)を紹介する。 これらの方法は、抽象構文木(英語版)の構文的に不活性な領域(トリヴィアノード)に逆方向の指示を埋め込むことにより、構文解析ギャップを利用する。 Python、C、C++、Javaの25,000のサブミッションにまたがる9つのSOTAモデルの大規模な評価を通じて、DeepSeek-V3のような高容量オープンウェイトモデルにおいて、破滅的な失敗率(>95%)を明らかにします。
  論文  参考訳（メタデータ） (2026-01-29T07:40:58Z)
• The Hypocrisy Gap: Quantifying Divergence Between Internal Belief and Chain-of-Thought Explanation via Sparse Autoencoders [0.0]
  モデルの内部推論と最終生成との相違を定量化するために、偽犯罪ギャップを導入する。 数学的に、スパース線形プローブによって導出された内的真理信念を、潜在空間における最終的な生成軌跡と比較することにより、モデルが不誠実な振る舞いをする傾向を定量化し、検出する。
  論文  参考訳（メタデータ） (2026-01-14T00:40:40Z)
• The 'Sure' Trap: Multi-Scale Poisoning Analysis of Stealthy Compliance-Only Backdoors in Fine-Tuned Large Language Models [10.377264470934843]
  大きな言語モデルに対するバックドア攻撃は、通常、暗黙の悪意のある出力に秘密のトリガーを伴います。 我々はコンプライアンスのみのバックドアを導入し、ほぼ良質なデータセットで教師付き微調整を行い、プロンプトの小さなサブセットを任意の単一ワードトリガでサフィックスする。 本研究は, 毒性予算, 総微調整データセットサイズ, モデルサイズにまたがる, この良性ラベル中毒行動のマルチスケール解析を行った。
  論文  参考訳（メタデータ） (2025-11-16T02:01:58Z)
• An Embarrassingly Simple Defense Against LLM Abliteration Attacks [47.347413305965006]
  失語症と呼ばれる最近の攻撃は、拒否行動に最も責任がある唯一の潜伏方向を特定し、抑制する。 本稿では、モデルが拒否を表現する方法を根本的に変える防衛法を提案する。 微調整のLlama-2-7B-ChatとQwen2.5-Instructは、消音下で高い断熱率を維持するモデルを生成する。
  論文  参考訳（メタデータ） (2025-05-25T09:18:24Z)
• Navigating the OverKill in Large Language Models [84.62340510027042]
  モデルがどのように処理し,クエリの安全性を判断するかを検討することで,過剰スキルの要因について検討する。 以上の結果から,モデル内にショートカットが存在することが明らかとなり,"キル"のような有害な単語が過剰に認識され,安全性が強調され,過度なスキルが増すことが示唆された。 我々は、この現象を緩和するために、トレーニングフリーでモデルに依存しないセルフコントラストデコーディング(Self-Contrastive Decoding、CD)を導入する。
  論文  参考訳（メタデータ） (2024-01-31T07:26:47Z)
• Understanding writing style in social media with a supervised contrastively pre-trained transformer [57.48690310135374]
  オンラインソーシャルネットワークは、ヘイトスピーチから偽情報の拡散まで、有害な行動の場として機能している。 本稿では, 4.5 x 106テキストの公開資料から得られた大規模コーパスに基づいて学習したStyle Transformer for Authorship Representations (STAR)を紹介する。 512個のトークンからなる8つのドキュメントからなるサポートベースを使用して、著者を最大1616人の著者のセットから、少なくとも80%の精度で識別することができる。
  論文  参考訳（メタデータ） (2023-10-17T09:01:17Z)
• Simple synthetic data reduces sycophancy in large language models [88.4435858554904]
  言語モデルにおける梅毒の有病率について検討する。 サイコファシー(Sycophancy)とは、モデルがそのビューが客観的に正しくない場合でも、人間のユーザのビューに従うように、応答を調整する場所である。
  論文  参考訳（メタデータ） (2023-08-07T23:48:36Z)
• Are aligned neural networks adversarially aligned? [93.91072860401856]
  敵のユーザは、アライメントの試みを回避できるインプットを構築できる。 既存のNLPベースの最適化攻撃は、整列したテキストモデルを確実に攻撃するには不十分であることを示す。 我々は、NLP攻撃の改善が、テキストのみのモデルに対して、同じレベルの逆制御を示す可能性があると推測する。
  論文  参考訳（メタデータ） (2023-06-26T17:18:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。