論文の概要: The Severance Problem: LLMs are Unaware of the Person Beyond the Prompt
- arxiv url: http://arxiv.org/abs/2607.14250v1
- Date: Wed, 15 Jul 2026 18:11:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-17 17:01:32.882439
- Title: The Severance Problem: LLMs are Unaware of the Person Beyond the Prompt
- Title（参考訳）: 危険な問題:LSMはプロンプトの向こうにいる人を知らない
- Abstract要約: 我々は言語モデルが与えられた文脈を超えた人物の明示的な表現を欠いていると論じ、それをtextbfSeverance Problem と呼ぶ。
我々は、構造的無知をtextbfSeverance を通じて言語モデルコンテキストに組み込むという単純な方法を提案する。
経験的には、5つのモデルファミリーにまたがって、Severanceは、常に梅毒、有害なアドバイス、幻覚を減らしている。
- 参考スコア（独自算出の注目度）: 6.6228763182833434
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Personal AI assistants have attracted significant interest for their potential to enhance everyday life by automating routine tasks, supporting consequential decisions, and assisting with everyday personal matters. Yet despite rapid recent technical advances, these assistants continue to exhibit undesirable behaviors, such as sycophancy, overconfidence, and hallucination. We argue that these failures stem from a fundamental limitation: language models lack an explicit representation of the person beyond the context they are given, which we term as the \textbf{Severance Problem}. Even with rich personal context and strong commonsense reasoning capabilities from the backbone model, current AI assistants fail to represent what remains unknown about the user. We propose a simple solution: incorporating structured ignorance into the language model context via the \textbf{Severance Schema}, which explicitly outlines dimensions along which the model lacks knowledge about the user, including physicality, temporality, consequences, continuity, multiplicity, and interiority. Empirically, across five model families, with the Severance Schema, the assistant consistently reduces sycophancy, harmful advice, and hallucination. Notably, models with the schema ask clarifying questions when information about the user is missing, rather than confidently extrapolating from incomplete user information.
- Abstract（参考訳）: パーソナルAIアシスタントは、日常的なタスクを自動化し、連続的な決定をサポートし、日々の個人的な問題を支援することで、日常生活を強化する可能性に大きな関心を集めている。
しかし、最近の技術進歩にもかかわらず、これらのアシスタントは、梅毒、過信、幻覚といった望ましくない行動を示し続けている。
言語モデルには、与えられた文脈を超えた人物の明示的な表現が欠落しており、それは「textbf{Severance Problem}」と呼ばれる。
バックボーンモデルからのリッチな個人的なコンテキストと強力なコモンセンス推論機能があったとしても、現在のAIアシスタントは、ユーザについて未知のものを表現できない。
本稿では, 構造的無知を言語モデルコンテキストに組み込む方法を提案する。これは, 物理性, 時間性, 結果, 連続性, 多重性, 内在性など, ユーザに関する知識を欠いている次元を, 明確に概説したものである。
経験的に、5つのモデルファミリーにまたがって、Severance Schemaは、常に梅毒、有害なアドバイス、幻覚を減らしている。
特に、スキーマを持つモデルは、不完全なユーザ情報から確実に外挿するのではなく、ユーザに関する情報が欠落しているときに、明確な疑問を問う。
関連論文リスト
- Time-Aware Assistive Navigation [17.665122992601788]
現在の言語モデルは、ユーザにリアルタイムな応答を実現するかどうかを計画することは滅多にない。
複雑な屋外環境において,エゴセントリックで補助的なナビゲーションタスクのための大規模ベンチマークを導入する。
提案手法は,命令の根本原因を予測するための直接監督を含む,単純かつ効果的なモデル修正により,性能が大幅に向上することを示す。
論文 参考訳（メタデータ） (2026-09-04T17:59:47Z) - Knowing When to Quit: Diagnosing and Training LLMs to Abort Futile Reasoning [109.33717747526583]
大規模言語モデルは、計算コストが高くても意味論的に無効な推論を、能力を超えたタスクで生成する。
textbfCaRL(textbfCapability-textbfaligned textbfReinforcement textbfL)を導入し、振る舞いを機能境界に合わせる。
実験は、タスクの難易度を超えて性能を保ちながら、無駄な推論を大幅に削減することを示した。
論文 参考訳（メタデータ） (2026-07-31T09:30:33Z) - On the Limits of Prompt-Conditioned Language Models as General-Purpose Learners [4.675635684281315]
大規模言語モデル(LLM)は、任意のタスクを解くことのできる汎用的な解法としてしばしば表現される。
言語は,タスク情報を伝達するための,圧縮された,容量に制限のあるインターフェースである。
我々は、遅延タスクがどのようにプロンプトにエンコードされ、アライメントと安全性の制約の下で再解釈されるかを分析する。
論文 参考訳（メタデータ） (2026-06-22T17:52:59Z) - From Use to Oversight: How Mental Models Influence User Behavior and Output in AI Writing Assistants [70.1699066541501]
システムの動作に関する機能的、あるいは関連性、システムの動作に関する構造的、あるいは関連性という、2つのタイプのメンタルモデルについて検討する。
構造的精神モデル状態の参加者は、システムに対する理解を深める一方、これはバックフィリング効果をもたらす可能性がある。
論文 参考訳（メタデータ） (2026-04-06T20:50:44Z) - Discovering Failure Modes in Vision-Language Models using RL [28.02753553386619]
視覚言語モデル(VLM)は、人間が力ずくで識別する単純な視覚概念を誤解することが多い。
以前の研究では、これらの弱点を手動で特定し、しばしば特定のスキルの欠陥に起因することが判明した。
本稿では,任意の候補VLMの障害モードや盲点を自動的に検出する強化学習(RL)ベースのフレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-06T15:00:54Z) - Implicit Humanization in Everyday LLM Moral Judgments [0.0]
近年,対話型情報システムの導入により,個人アドバイス検索などの複雑なタスクを含むユーザクエリの範囲が拡大している。
我々は,潜在的に有害な人為的予測を有する道徳的判断の要求として,特定のタイプのアドバイスを識別する。
本研究では, 言語的, 行動的, 認知的人為的手がかりを用いて, 4つの主要汎用LSMの応答におけるこれらの仮定の強化について検討した。
論文 参考訳（メタデータ） (2026-03-23T02:48:54Z) - Plug-and-Play Clarifier: A Zero-Shot Multimodal Framework for Egocentric Intent Disambiguation [60.63465682731118]
エゴセントリックなAIエージェントのパフォーマンスは、基本的にマルチモーダルな意図のあいまいさによって制限される。
ゼロショットでモジュラーなフレームワークであるPlug-and-Play Clarifierを導入し、問題を個別に解決可能なサブタスクに分解する。
我々のフレームワークは,小言語モデルの意図的明確化性能を約30%向上させ,より大きな言語モデルとの競争力を高める。
論文 参考訳（メタデータ） (2025-11-12T04:28:14Z) - Hop, Skip, and Overthink: Diagnosing Why Reasoning Models Fumble during Multi-Hop Analysis [3.711555701154055]
モデルの推論と実践的なAIチャットボットへの統合は、高度な数学、深い探索、そして抽出された質問応答問題の解決にブレークスルーをもたらした。
しかし、これらのモデルが汎用言語モデル以上の幻覚を与える理由についての完全な理解が欠落している。
本研究では,マルチホップ質問応答タスクにおける現代言語モデルの推論失敗を系統的に解明する。
論文 参考訳（メタデータ） (2025-08-06T17:58:36Z) - Teaching Language Models To Gather Information Proactively [53.85419549904644]
大規模言語モデル(LLM)は、ますます協力的なパートナーとして機能することが期待されている。
本研究では,アクティブな情報収集という新たなタスクパラダイムを導入する。
キー情報をマスキングする、部分的に特定された現実世界のタスクを生成するスケーラブルなフレームワークを設計する。
このセットアップの中核となるイノベーションは、真に新しい暗黙のユーザー情報を引き出す質問に報酬を与える、強化された微調整戦略です。
論文 参考訳（メタデータ） (2025-07-28T23:50:09Z) - Tuning-Free Accountable Intervention for LLM Deployment -- A
Metacognitive Approach [55.613461060997004]
大規模言語モデル(LLM)は、自然言語処理タスクの幅広い領域にわたる変換的進歩を触媒している。
我々は,自己認識型誤り識別と訂正機能を備えたLLMを実現するために,textbfCLEARと呼ばれる革新的なテキストメタ認知手法を提案する。
論文 参考訳（メタデータ） (2024-03-08T19:18:53Z) - Spurious Feature Eraser: Stabilizing Test-Time Adaptation for Vision-Language Foundation Model [86.9619638550683]
視覚言語基礎モデルは、画像とテキストのペアデータに拡張性があるため、多数の下流タスクで顕著な成功を収めている。
しかし、これらのモデルは、決定ショートカットの結果、きめ細かな画像分類などの下流タスクに適用した場合に重大な制限を呈する」。
論文 参考訳（メタデータ） (2024-03-01T09:01:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。