論文の概要: PresenceBench: An Exploratory Evaluation of Large Language Model Adaptation to User State
- arxiv url: http://arxiv.org/abs/2610.23625v1
- Date: Fri, 16 Oct 2026 15:33:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.992642
- Title: PresenceBench: An Exploratory Evaluation of Large Language Model Adaptation to User State
- Title（参考訳）: PresenceBench: ユーザ状態への大規模言語モデル適応の探索的評価
- Abstract要約: プレゼンス・アウェア・インテリジェンス(Presence-Aware Intelligence)は、AIシステムのインテリジェンス・レイヤが機能する人の機能状態に適切に適応する能力である。
PresenceBenchは、インテリジェンス層が供給された状態をどのように使っているかを評価する。
- 参考スコア（独自算出の注目度）: 38.66327294363176
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Presence-aware intelligence is the capacity of an AI system's intelligence layer to adapt appropriately to the functional state of the person it serves (here readiness, flow, and stability) while preserving task quality and safety. We introduce PresenceBench, an instrument for measuring it. PresenceBench evaluates how the intelligence layer uses a supplied state, not how that state is sensed, and breaks the capability into measurable properties. Two are tested here. Receptivity: does the model take up the state and give a better response than with no signal? Specificity: does any improvement depend on the correct state, rather than on extra structured context? A third, adaptation across states, is a required endpoint not measured in this release. A five-arm causal design answers both questions, against each model's own baseline and an equally structured mismatched-state control, scored by a correctness-gated human paired comparison. The exploratory evaluation covered four models across eighteen single-turn, six fixed three-turn and six simulated natural-conversation scenarios. Supplying a synthetic state, raw or translated into a response policy, gave human-preference point estimates above 0.5 for all four models (Claude Sonnet 5, DeepSeek V4 Pro, Gemini 3.6 Flash, GPT-5.6 Terra), with three of eight 95% intervals excluding chance. Specificity was not resolved: no per-model interval excluded chance, and the design cannot yet separate the state values from a generic instruction to adapt. Policy delivery reduced priced cost and output tokens against each model's baseline; these are resource-use changes, not efficiency gains, because correctness non-inferiority was not established. Safety-floor failures were rare (13 of 360 cases), with a non-significant excess under policy delivery. We report the instrument, the frozen results, and the controls a confirmatory study needs.
- Abstract（参考訳）: プレゼンス・アウェア・インテリジェンス(Presence-Aware Intelligence)は、AIシステムのインテリジェンス・レイヤの能力であり、タスクの品質と安全性を保ちながら、その人の機能状態(準備性、フロー、安定性)に適切に適応する能力である。
測定用具であるPresenceBenchを紹介する。
PresenceBenchは、インテリジェンス層が供給された状態をどのように使っているかを評価する。
ここでは2つがテストされている。
受容性(Receptivity): モデルが状態を把握し、シグナルを持たないよりも優れた応答を与えるか?
特異性: 追加の構造化コンテキストではなく、正しい状態に依存している改善はありますか?
第3の、状態間の適応は、このリリースで計測されていない必要なエンドポイントである。
5腕の因果的設計は、各モデルのベースラインに対する両方の疑問に答える。
探索的な評価では、18個のシングルターン、6つの固定3ターン、6つのシミュレートされた自然会話シナリオがカバーされた。
生または生の反応ポリシーに変換された合成状態の供給は、4つのモデル(Claude Sonnet 5、DeepSeek V4 Pro、Gemini 3.6 Flash、GPT-5.6 Terra)の0.5以上を人為的に予測した。
モデルごとの間隔はチャンスを除外せず、設計では、状態値を一般的な命令から切り離して適応することができない。
政策提供は、価格の安いコストと各モデルのベースラインに対する出力トークンを減らした。
安全床の故障はまれであり(360件中13件)、政策提供下では極めて過大だった。
確認研究に必要な機器,凍結した結果,および制御について報告する。
関連論文リスト
- Intrinsic Sequence-Likelihood Confidence in Retrieval-Dominated Extractive QA: Two Pre-Specified Negatives, and What They Do and Do Not Attribute [0.4310167974376404]
オープン言語モデルを微調整すると、自身の信頼度が誘引制御信号であるモデルが得られる。
我々は,実行前の基準下での両使用量を評価した。
検索だけで92-99.8%のベストケースの組み合わせ精度が回復する。
論文 参考訳（メタデータ） (2026-09-17T09:17:00Z) - A Calibration Audit of Confidence in Feed-Forward 3D Reconstruction [45.496856835431885]
3D再構成モデルは、下流システムが信頼性信号として読み取る画素当たりの信頼を出力する。
4つの特性に対する信頼度、エラーのランク付けの正確さ、そのレベルが平均的に正しいかどうか、信頼範囲を越えて保持されているかどうか、そしてその間隔が真実をカバーしているかどうか。
信頼度は誤差をよくランク付けするが、予測された不確実性は、トレーニングの正確さではない条件下で読み取られると低すぎる。
論文 参考訳（メタデータ） (2026-08-30T10:21:34Z) - ADeptS-Bench: Measuring the Trustworthiness of Computer Use Agents Across Devices [48.36933831982682]
我々はADEPTS機能フレームワークを基盤とした信頼性ベンチマークであるADeptS-Benchを紹介する。
Safetyストリームは、視覚インターフェースに埋め込まれた脅威を伴うペアの良心/悪意のあるタスクを提供する。
曖昧さストリームは、意図が曖昧である場合、エージェントが明確化を求めるかどうかを評価する。
論文 参考訳（メタデータ） (2026-08-25T23:21:57Z) - Measuring Stability and Failure Behavior in Language Models Under Structured Perturbations [0.5076419064097734]
ストレステスト推論モデルのための、グレード付き、多家族対応のフェールアウェアフレームワークを提案する。
それぞれの問題を7つのファミリーにまたがる複数のレベルの重大さのはしごに沿ってゆがめている。
すべてのテストは、その測定された重症度によって評価され、ラベル付けされる。
論文 参考訳（メタデータ） (2026-08-22T23:46:11Z) - DarwinX: Evolving Agent Harnesses Through Natural Selection [48.64258219266629]
ダーウィンXは自己進化を、モデルが凍結されたハーネスの集団の選択として扱う。
一般的なエージェント能力はベンチマーク固有のパッチではなく、タスク、検証、ベースモデルの変更を生き残る。
論文 参考訳（メタデータ） (2026-07-31T05:34:02Z) - Entropy in Conversational AI: Structured Unpredictability as Inferrable Interiority [0.0]
選択層は、容量制限されたストリームから低次元のスタイル・アンド・アテンション状態を更新し、固定ベースモデルで複数の応答を生成し、新規性及び状態親和性を選択する。
合成実装はパイプラインを検証し、ポイントレベルでの4つの前向きな急速凍結分岐特徴と一致する。
論文 参考訳（メタデータ） (2026-07-20T23:03:28Z) - Agent-BRACE: Decoupling Beliefs from Actions in Long-Horizon Tasks via Verbalized State Uncertainty [70.43119366710778]
本稿では,Agens-BRACE: Agent Belief state Representation by Abstraction and Confidence Estimationを紹介する。
LLMエージェントを信頼状態モデルと政策モデルに分離し、強化学習を通じて協調的に最適化する手法である。
長期にわたる部分的に観察可能な言語環境において、平均して+14.5%の絶対的な改善を実現している。
論文 参考訳（メタデータ） (2026-05-12T02:37:04Z) - Silent Commitment Failure in Instruction-Tuned Language Models: Evidence of Governability Divergence Across Architectures [0.0]
我々は、モデルのエラーが出力コミット前に検出可能で、一度検出されると修正できる程度、統治性を導入します。
ベンチマーク精度は支配可能性を予測するものではなく、補正能力は検出と独立に異なり、同一のガバナンス足場はモデル間で逆の効果をもたらす。
本稿では,モデルとタスクの組み合わせをGovernable, Monitor Only, Steer Blind, Ungovernableの4つに分類する。
論文 参考訳（メタデータ） (2026-03-22T21:50:28Z) - Decomposed Prompting Does Not Fix Knowledge Gaps, But Helps Models Say "I Don't Know" [47.930782177987446]
大規模言語モデルは、クローズドブックの質問応答において知識限界を認識するのに苦労することが多く、自信ある幻覚へと繋がる。
我々は、モデルスケールの異なるDirect、Assistive、Incrementalの3つのタスク等価プロンプトとマルチホップQAベンチマークを評価した。
幻覚が一致している間に事実知識が安定しているため、クロスレジームは内部の不確実性の正確なシグナルを与える。
論文 参考訳（メタデータ） (2026-02-04T18:39:58Z) - Parrot: Persuasion and Agreement Robustness Rating of Output Truth -- A Sycophancy Robustness Benchmark for LLMs [0.0]
PARROT (Persuasion and Agreement Robustness Rating of Output Truth) は、ユーザの社会的圧力下での精度の劣化を測定するための堅牢性にフォーカスしたフレームワークである。
我々は13のドメインにまたがる1,302のMMLUスタイルの多重選択質問とドメイン固有の権威テンプレートを用いて22のモデルを評価する。
論文 参考訳（メタデータ） (2025-11-21T13:01:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。