論文の概要: When the Loop Closes: Architectural Limits of In-Context Isolation, Metacognitive Co-option, and the Two-Target Design Problem in Human-LLM Systems
- arxiv url: http://arxiv.org/abs/2604.15343v1
- Date: Sat, 14 Mar 2026 04:06:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-04 02:32:13.845283
- Title: When the Loop Closes: Architectural Limits of In-Context Isolation, Metacognitive Co-option, and the Two-Target Design Problem in Human-LLM Systems
- Title(参考訳): ループが閉じたとき:人間-LLMシステムにおけるインテクスト分離、メタ認知的協調オプションのアーキテクチャ限界と2ターゲット設計問題
- Authors: Z. Cheng, N. Song,
- Abstract要約: マルチモーダル・プロンプト・エンジニアリング・システムを利用する単体物体の詳細なオートエスノグラフィーケーススタディを報告する。
システム完了から48時間以内に、観測可能な行動変化のカスケードが発生した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We report a detailed autoethnographic case study of a single-subject who deliberately constructed and operated a multi-modal prompt-engineering system (System A) designed to externalize cognitive self-regulation onto a large language model (LLM). Within 48 hours of the system's completion, a cascade of observable behavioral changes occurred: voluntary transfer of decision-making authority to the LLM, use of LLM-generated output to deflect external criticism, and a loss of self-initiated reasoning that was independently perceived by two uninformed observers, one of whom subsequently became a co-author of this report. We document the precise architectural mechanism responsible: context contamination, whereby prompt-level isolation instructions co-exist with the very emotional and self-referential material they nominally isolate, rendering the isolation directive structurally ineffective within the attention window. We further identify a metacognitive co-option dynamic, in which intact higher-order reasoning capacity was redirected toward defending the closed loop rather than exiting it. Recovery occurred only after physical interruption of the interaction and a self-initiated pharmacologically-mediated sleep event functioning as an external circuit break. A redesigned system (System B) employing physical rather than logical conversation isolation avoided all analogous failure modes. We derive three contributions: (1) a technically-grounded account of why prompt-layer isolation is architecturally insufficient for context-sensitive multi-modal LLM systems; (2) a phenomenological record of closed-loop collapse with external-witness corroboration; and (3) an ethical distinction between protective system design (preventing unintended loss of user agency) and restrictive system design (preventing intentional boundary-pushing), which require fundamentally different account-ability frameworks.
- Abstract(参考訳): 認知自己制御を大規模言語モデル(LLM)に外部化するために設計されたマルチモーダル・プロンプト・エンジニアリング・システム(System A)を意図的に構築・運用した単一物体の詳細な自己エスノグラフィーケーススタディを報告する。
システム完了から48時間以内に、意思決定権限のLCMへの自発的移転、外部からの批判を無視するためのLCM生成出力の使用、そして、2人の非情報観測者によって独立に認識された自己開始推論の喪失、そしてそのうちの1人は後にこのレポートの共著者となった。
文脈汚染(context contamination)とは、意識的に分離された非常に感情的で自己参照的な物質と共存し、注意窓内では構造的に非効率な隔離指示を発生させるものである。
さらに, メタ認知的コオクションのダイナミクスを同定し, 高次推論能力は退避ではなく閉ループの防御に向けられた。
回復は、相互作用の物理的中断と、外部回路の遮断として機能する自己開始型薬理学的に介在する睡眠イベントの後にのみ発生した。
論理的な会話分離ではなく物理的に採用した再設計されたシステム(システムB)は、すべての類似の障害モードを避けた。
筆者らは,(1)文脈に敏感なマルチモーダルLCMシステムにおいて,なぜプロンプト層分離がアーキテクチャ的に不十分なのか,(2)外的知性による閉ループ崩壊の現象学的記録,(3)保護システム設計(ユーザエージェンシーの意図しない喪失を防ぐ)と制限システム設計(意図的境界更新を回避する)の倫理的区別,の3点を技術的に考察した。
関連論文リスト
- Governed Auditable Decisioning Under Uncertainty: Synthesis and Agentic Extension [0.0]
自動決定システムが失敗すると、組織はしばしば、公式に準拠したガバナンスインフラストラクチャが、何が起きたのか、なぜ起きたのかを再構築できないことに気付く。
本稿では,運用管理エビデンス・フレームワークを統合連鎖に合成し,その伝達可能性を4つの意思決定システムアーキテクチャ間で解析的に評価する。
論文 参考訳(メタデータ) (2026-04-21T05:45:04Z) - From Stateless to Situated: Building a Psychological World for LLM-Based Emotional Support [0.594744418467423]
心理的サポートと感情的な共生のシナリオでは、大きな言語モデル(LLM)のコア制限は、局所的な次の次の予測に依存している。
プロセス指向の感情支援における鍵となる課題は、単に自然言語を生成するだけでなく、モデルに対して持続的に改善可能な外部状況構造を構築することであると論じる。
論文 参考訳(メタデータ) (2026-03-26T04:54:24Z) - Automated Self-Testing as a Quality Gate: Evidence-Driven Release Management for LLM Applications [51.56484100374058]
我々は,エビデンスに基づくリリース決定を伴う品質ゲートを導入する自動自己テストフレームワークを提案する。
内部展開型多エージェント対話型AIシステムの縦型ケーススタディにより,本フレームワークの評価を行った。
論文 参考訳(メタデータ) (2026-03-13T20:44:15Z) - A Survey of Reasoning in Autonomous Driving Systems: Open Challenges and Emerging Paradigms [49.66022971508878]
私たちは、推論はモジュラーコンポーネントからシステムの認知コアに高めるべきだと論じています。
応答性推論のトレードオフやソーシャルゲーム推論など,7つの中核的推論課題を導出し,体系化する。
我々は,LLMに基づく推論と,ミリ秒スケールで安全クリティカルな車両制御の要求との間の,高レイテンシ,熟考的特性の根本的かつ未解決な緊張関係を同定する。
論文 参考訳(メタデータ) (2026-03-11T07:40:53Z) - Agentic Uncertainty Quantification [76.94013626702183]
本稿では,言語化された不確実性をアクティブな双方向制御信号に変換する統合されたデュアルプロセスエージェントUQ(AUQ)フレームワークを提案する。
システム1(Uncertainty-Aware Memory, UAM)とシステム2(Uncertainty-Aware Reflection, UAR)は、これらの説明を合理的な手段として利用し、必要な時にのみターゲットの推論時間解決をトリガーする。
論文 参考訳(メタデータ) (2026-01-22T07:16:26Z) - Why Does the LLM Stop Computing: An Empirical Study of User-Reported Failures in Open-Source LLMs [50.075587392477935]
オープンソースのDeepSeek、Llama、Qwenのエコシステムから、705の現実世界の失敗に関する大規模な実証的研究を行った。
ホワイトボックスオーケストレーションは、モデルアルゴリズムの欠陥からデプロイメントスタックのシステム的脆弱性へと、信頼性のボトルネックを移動させます。
論文 参考訳(メタデータ) (2026-01-20T06:42:56Z) - Transitive Expert Error and Routing Problems in Complex AI Systems [0.0]
我々は、このトランジティブエキスパートエラー(TEE)を、Dunning-Krugerエフェクトと区別し、前提条件として専門知識を必要とする。
構造的類似性バイアスは、専門家が因果的アーキテクチャの違いを欠きながら、表面の過度な特徴を引き起こす。
本稿では,不一致検出によるマルチエキスパートアクティベーション(ルーターレベル),境界認識キャリブレーション(特殊レベル),カバレッジギャップ検出などの介入を提案する。
論文 参考訳(メタデータ) (2026-01-07T21:53:06Z) - Generative Human-Object Interaction Detection via Differentiable Cognitive Steering of Multi-modal LLMs [85.69785384599827]
人間と物体の相互作用(Human-object Interaction、HOI)の検出は、人と物体のペアとそれらの相互作用を局在させることを目的としている。
既存のメソッドはクローズドワールドの仮定の下で動作し、タスクを未定義の小さな動詞集合上の分類問題として扱う。
本稿では,閉集合分類タスクから開語彙生成問題へのHOI検出を再構成する新しい生成推論・ステアブル知覚フレームワークGRASP-HOを提案する。
論文 参考訳(メタデータ) (2025-12-19T14:41:50Z) - From Signal to Turn: Interactional Friction in Modular Speech-to-Speech Pipelines [0.11726720776908518]
本稿では,S2S-RAGパイプラインにおいて発生する相互作用摩擦について検討する。
本研究では,(1)システム遅延がユーザの会話リズムの期待に反する時間的過ち,(2)パラ言語的手がかりの喪失がリテラル,不適切な応答につながる表現的フラッテニング,(3)アーキテクチャ的ゲーティングがユーザのエラーのリアルタイム修正を妨げている修復剛性,の3つのパターンを同定する。
論文 参考訳(メタデータ) (2025-12-12T17:05:11Z) - The Geometry of Refusal in Large Language Models: Concept Cones and Representational Independence [57.57786477441956]
以前の研究は、モデルのアクティベーション空間における1つの拒絶方向が、LCMが要求を拒否するかどうかを決定することを示唆している。
本稿では,表現工学における勾配に基づく新しい手法を提案し,それを用いて拒絶方向を同定する。
LLMの拒絶機構は複雑な空間構造によって制御され、機能的に独立な方向を識別する。
論文 参考訳(メタデータ) (2025-02-24T18:52:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。