論文の概要: Chatsparent: An Interactive System for Detecting and Mitigating Cognitive Fatigue in LLMs
- arxiv url: http://arxiv.org/abs/2601.11526v1
- Date: Fri, 14 Nov 2025 05:08:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-25 16:54:51.732283
- Title: Chatsparent: An Interactive System for Detecting and Mitigating Cognitive Fatigue in LLMs
- Title(参考訳): Chatsparent: LLMにおける認知疲労の検出と緩和のためのインタラクティブシステム
- Authors: Riju Marwah, Vishal Pallagani, Ritvik Garimella, Amit Sheth,
- Abstract要約: 認知疲労を表面化し緩和するインタラクティブなデモを紹介する。
当社のシステムはChatsparent, リアルタイム, トークンレベルの疲労信号, 注目とプロンプトの崩壊, 埋め込みドリフト, エントロピー崩壊を計測する。
インタフェースにより、ユーザーは注意リセット、エントロピー規則化された復号化、自己回帰チェックポイントなどの軽量な介入を起動することができる。
- 参考スコア(独自算出の注目度): 0.7102211739675806
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLMs are increasingly being deployed as chatbots, but today's interfaces offer little to no friction: users interact through seamless conversations that conceal when the model is drifting, hallucinating or failing. This lack of transparency fosters blind trust, even as models produce unstable or repetitive outputs. We introduce an interactive demo that surfaces and mitigates cognitive fatigue, a failure mode where LLMs gradually lose coherence during auto-regressive generation. Our system, Chatsparent, instruments real-time, token-level signals of fatigue, including attention-to-prompt decay, embedding drift, and entropy collapse, and visualizes them as a unified fatigue index. When fatigue thresholds are crossed, the interface allows users to activate lightweight interventions such as attention resets, entropy-regularized decoding, and self-reflection checkpoints. The demo streams live text and fatigue signals, allowing users to observe when fatigue arises, how it affects output quality, and how interventions restore stability. By turning passive chatbot interaction into an interactive diagnostic experience, our system empowers users to better understand LLM behavior while improving reliability at inference time.
- Abstract(参考訳): LLMはチャットボットとしてますますデプロイされていますが、今日のインターフェースでは、モデルのドリフトや幻覚、失敗を隠蔽するシームレスな会話を通じて対話する、ほとんど、あるいはまったくの摩擦はありません。
この透明性の欠如は、モデルが不安定あるいは反復的なアウトプットを生成するとしても、盲目の信頼を促進する。
本稿では,LLMが自己回帰生成におけるコヒーレンスを徐々に失う障害モードである認知疲労を表面化し緩和するインタラクティブなデモを紹介する。
当社のシステムであるChatsparentは、注目とプロンプトの崩壊、埋め込みドリフト、エントロピー崩壊など、リアルタイムなトークンレベルの疲労信号を計測し、それらを統一疲労指標として可視化する。
疲労閾値を超えると、ユーザーは注意リセット、エントロピー規則化された復号化、自己回帰チェックポイントなどの軽量な介入を起動することができる。
デモでは、ライブテキストと疲労信号がストリームされ、疲労発生時の観察、出力品質への影響、介入による安定性の回復などが行われている。
受動的チャットボットのインタラクションをインタラクティブな診断体験にすることで,LLMの動作をよりよく理解し,推論時の信頼性を向上する。
関連論文リスト
- FaithSCAN: Model-Driven Single-Pass Hallucination Detection for Faithful Visual Question Answering [14.550872089352943]
FaithSCANは視覚言語モデルの豊富な内部信号を利用して幻覚を検出する軽量ネットワークである。
本稿では,LLM-as-a-JudgeパラダイムをVQA幻覚に拡張し,モデル依存型監視信号の自動生成のための低コスト戦略を提案する。
深い分析により、幻覚は視覚知覚、相互モーダル推論、言語復号における系統的な内部状態の変化から生じることが示された。
論文 参考訳(メタデータ) (2026-01-01T09:19:39Z) - Do You Feel Comfortable? Detecting Hidden Conversational Escalation in AI Chatbots [0.4779196219827507]
隠れ会話エスカレーションをリアルタイムに検出するための軽量フレームワークであるGAUGEを提案する。
GAUGEは、LLMの出力が対話の感情状態を確率的にシフトする方法を測定する。
論文 参考訳(メタデータ) (2025-12-05T22:28:04Z) - Neural Transparency: Mechanistic Interpretability Interfaces for Anticipating Model Behaviors for Personalized AI [9.383958408772694]
チャットボットの設計中に言語モデルの内部を露出することで、神経透過性を実現するインターフェースを導入する。
本手法は, 対立する動作を誘発する対照的なシステムプロンプト間のニューラルアクティベーションの差を計算することで, 行動特性ベクトルを抽出する。
この研究は、非技術ユーザに対して解釈可能性をどのように運用するかの道を提供し、より安全でより整合した人間とAIのインタラクションのための基盤を確立する。
論文 参考訳(メタデータ) (2025-10-31T20:03:52Z) - Consistently Simulating Human Personas with Multi-Turn Reinforcement Learning [52.07170679746533]
大規模言語モデル(LLM)は、セラピー、教育、社会的役割プレイといったインタラクティブな環境において、人間のユーザをシミュレートするためにますます使われています。
LLM生成対話におけるペルソナの一貫性の評価と改善のための統一的なフレームワークを提案する。
我々は3つの自動メトリクス、即行一貫性、行間一貫性、Q&A一貫性を定義し、異なるタイプのペルソナドリフトをキャプチャし、それぞれが人間のアノテーションに対して検証する。
論文 参考訳(メタデータ) (2025-10-31T19:40:41Z) - Modality Bias in LVLMs: Analyzing and Mitigating Object Hallucination via Attention Lens [0.0]
大規模視覚言語モデル (LVLM) は、顕著なマルチモーダル理解と推論能力を示した。
LVLMはテキストのプロンプトと大きな言語モデルの内部知識に過度に依存し、視覚的手がかりと矛盾する記述を生成する傾向がある。
物体幻覚を緩和するためのトレーニング不要な手法を提案する。
論文 参考訳(メタデータ) (2025-08-04T13:40:59Z) - Mitigating Hallucination in VideoLLMs via Temporal-Aware Activation Engineering [83.63437999696954]
大規模言語モデル(MLLM)における幻覚は、ビデオ領域において重要かつ未適応な課題として持続する。
本稿では,幻覚に敏感なモジュールを適応的に識別し,操作するビデオLLMのための時間認識型アクティベーションエンジニアリングフレームワークを提案する。
論文 参考訳(メタデータ) (2025-05-19T08:12:06Z) - Combating Multimodal LLM Hallucination via Bottom-Up Holistic Reasoning [151.4060202671114]
マルチモーダル大規模言語モデル(MLLM)は、視覚言語タスクを前進させる前例のない能力を示した。
本稿では,MLLMにおける幻覚に対処するためのボトムアップ推論フレームワークを提案する。
本フレームワークは、認識レベル情報と認知レベルコモンセンス知識を検証・統合することにより、視覚とテキストの両方の入力における潜在的な問題に体系的に対処する。
論文 参考訳(メタデータ) (2024-12-15T09:10:46Z) - Mitigating Object Hallucination via Concentric Causal Attention [71.27325347912823]
物体の幻覚は回転位置と密接に結びついていることを示す。
RoPEは、広く採用されている位置依存モデリング設計である。
簡易かつ効果的な位置アライメント戦略であるConcentric Causal Attention (CCA)を提案する。
論文 参考訳(メタデータ) (2024-10-21T11:54:53Z) - Beyond the Turn-Based Game: Enabling Real-Time Conversations with Duplex Models [66.24055500785657]
従来のターンベースのチャットシステムは、ユーザが応答を生成している間に、システムが言葉で対話することを防ぐ。
これらの制限を克服するため,既存のLCMをユーザを聴きながら出力を生成し,ユーザに対して即時フィードバックを提供する。
クエリとレスポンスの時間スライスを交互に行うデータセットを構築し、インスタントインタラクションにおける典型的なフィードバックタイプをカバーする。
論文 参考訳(メタデータ) (2024-06-22T03:20:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。