論文の概要: Bi-Predictability: A Real-Time Signal for Monitoring LLM Interaction Integrity
- arxiv url: http://arxiv.org/abs/2604.13061v1
- Date: Wed, 18 Mar 2026 18:10:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-19 19:09:11.648061
- Title: Bi-Predictability: A Real-Time Signal for Monitoring LLM Interaction Integrity
- Title(参考訳): 予測可能性:LLM干渉積分のリアルタイム信号
- Authors: Wael Hafez, Amir Nazeri,
- Abstract要約: 両予測可能性(P)を用いて,マルチターンインタラクションの整合性を継続的に監視できることが示される。
Information Digital Twin (IDT) は、コンテキスト、応答、次のプロンプトループを二次推論や埋め込みなしでPを推定する軽量アーキテクチャである。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) are increasingly deployed in high-stakes autonomous and interactive workflows, where reliability demands continuous, multi-turn coherence. However, current evaluation methods either rely on post-hoc semantic judges, measure unidirectional token confidence (e.g., perplexity), or require compute-intensive repeated sampling (e.g., semantic entropy). Because these techniques focus exclusively on the model's output distribution, they cannot monitor whether the underlying interaction remains structurally coupled in real time, leaving systems vulnerable to gradual, undetected degradation. Here we show that multi-turn interaction integrity can be continuously monitored using bi-predictability (P), a fundamental information theoretic measure computed directly from raw token frequency statistics. We introduce the Information Digital Twin (IDT), a lightweight architecture that estimates P across the context, response, next prompt loop without secondary inference or embeddings. Across 4,500 conversational turns between a student model and three frontier teacher models, the IDT detected injected disruptions with 100% sensitivity. Crucially, we demonstrate that structural coupling and semantic quality are empirically and practically separable: P aligned with structural consistency in 85% of conditions, but with semantic judge scores in only 44%. This reveals a critical regime of "silent uncoupling" where LLMs produce high-scoring outputs despite degrading conversational context. By decoupling structural monitoring from semantic evaluation, the IDT provides a scalable, computationally efficient mechanism for real-time AI assurance and closed-loop regulation
- Abstract(参考訳): 大規模言語モデル(LLM)は、信頼性が継続的なマルチターンコヒーレンスを必要とする、自律的でインタラクティブなワークフローに、ますます多くデプロイされている。
しかし、現在の評価手法は、ポストホックな意味判断に依存するか、一方向のトークン信頼度(例えば、パープレキシティ)を測定するか、あるいは計算集約的な反復サンプリング(例えば、セマンティックエントロピー)を必要とする。
これらの技術はモデルの出力分布にのみ焦点を絞っているため、基礎となる相互作用がリアルタイムに構造的に結合されているかどうかを監視できず、システムは徐々に、検出されていない劣化に弱いままである。
ここでは、生トークン周波数統計から直接計算される基本情報理論測度であるbi-predictability (P)を用いて、マルチターン相互作用の整合性を継続的に監視できることを示す。
Information Digital Twin (IDT) は、コンテキスト、応答、次のプロンプトループを二次推論や埋め込みなしでPを推定する軽量アーキテクチャである。
学生モデルと3つのフロンティア教師モデルの間の4500回にわたる会話のターンにおいて、IDTは100%感度でインジェクトされたディスラプションを検出した。
重要なことは,構造的結合と意味的品質は経験的かつ実用的に分離可能であることを示し,Pは85%の条件で構造的整合性に整合するが,意味的判断のスコアは44%に過ぎなかった。
このことは、LLMが会話の文脈を劣化させながらもハイスコア出力を生成する「サイレント・アンカップリング」の臨界状態を明らかにしている。
構造的モニタリングをセマンティック評価から切り離すことで、IDTはリアルタイムAI保証とクローズドループ制御のためのスケーラブルで効率的なメカニズムを提供する。
関連論文リスト
- T-QPM: Enabling Temporal Out-Of-Distribution Detection and Domain Generalization for Vision-Language Models in Open-World [0.0]
アウト・オブ・ディストリビューション(OOD)検出は、オープンワールド学習において依然として重要な課題である。
動的環境下でのOOD検出を強化するための新しい2段階フレームワークを提案する。
論文 参考訳(メタデータ) (2026-03-19T04:35:38Z) - Cascading multi-agent anomaly detection in surveillance systems via vision-language models and embedding-based classification [0.0]
この研究は、補完パラダイムをコヒーレントで解釈可能なアーキテクチャに統一するカスケーディングマルチエージェントフレームワークを導入している。
初期モジュールは再構成ゲートフィルタリングとオブジェクトレベルの評価を行い、高レベルの推論エージェントは、意味的に曖昧な事象を解釈するために選択的に呼び出される。
このフレームワークは、早期出力効率、適応型マルチエージェント推論、説明可能な異常属性を組み合わせることで、従来の検出パイプラインを超えて進歩し、スケーラブルなインテリジェントなビジュアル監視のための再現可能でエネルギー効率の良い基盤を確立する。
論文 参考訳(メタデータ) (2026-01-08T11:31:47Z) - DeLeaker: Dynamic Inference-Time Reweighting For Semantic Leakage Mitigation in Text-to-Image Models [55.30555646945055]
テキスト・ツー・イメージ(T2I)モデルはセマンティック・リークに対して脆弱である。
DeLeakerは、モデルのアテンションマップに直接介入することで、漏洩を緩和する軽量なアプローチである。
SLIMはセマンティックリークに特化した最初のデータセットである。
論文 参考訳(メタデータ) (2025-10-16T17:39:21Z) - Drift No More? Context Equilibria in Multi-Turn LLM Interactions [58.69551510148673]
コンテキストドリフト(Contexts drift)とは、ターン間のゴール一貫性のある振る舞いからモデルが出力する出力の段階的なばらつきである。
シングルターンエラーとは異なり、ドリフトは時間的に展開し、静的な評価指標では捉えにくい。
マルチターンドリフトは、避けられない崩壊というよりも、制御可能な平衡現象として理解できることを示す。
論文 参考訳(メタデータ) (2025-10-09T04:48:49Z) - A theoretical framework for self-supervised contrastive learning for continuous dependent data [79.62732169706054]
自己教師付き学習(SSL)は、特にコンピュータビジョンの分野で、表現を学習するための強力なアプローチとして登場した。
本稿では,サンプル間のアンフェマティック独立に適した対照的なSSLの理論的枠組みを提案する。
具体的には、標準のUEAベンチマークとUCRベンチマークでTS2Vecを上回り、それぞれ4.17$%と2.08$%の精度で改善した。
論文 参考訳(メタデータ) (2025-06-11T14:23:47Z) - Bridging the Reality Gap in Digital Twins with Context-Aware, Physics-Guided Deep Learning [3.0996501197166975]
デジタルツイン(DT)は強力な予測分析を可能にするが、シミュレーションと実際のシステムの相違 - 現実のギャップとして知られ、信頼性を損なう。
本稿では,新しいセンサデータを連続的に統合し,誤りを検知し,クエリ応答フレームワークを介してDTを再検討する,DTのためのReal Gap Analysis(RGA)モジュールを提案する。
提案手法は,コンテキスト推論の改善と物理的整合性維持のために,ドメイン・アドバイサル深層学習と低次シミュレータ誘導を融合する。
論文 参考訳(メタデータ) (2025-05-17T05:18:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。