論文の概要: DrawOffer: Evidence-Grounded Longitudinal User-State Modeling for Career Support
- arxiv url: http://arxiv.org/abs/2611.02793v1
- Date: Mon, 02 Nov 2026 09:05:03 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 20:10:56.054736
- Title: DrawOffer: Evidence-Grounded Longitudinal User-State Modeling for Career Support
- Title(参考訳): DrawOffer: キャリア支援のための縦断的ユーザ状態モデリング
- Abstract要約: キャリア支援アシスタントは、現在の能力の証拠とユーザクレームを区別し、証拠が不十分な場合に判断を控えなければならない。
我々は,580点のチェックポイントを持つ102人の架空のペルソナ,過去の完全著者とMem0の比較,および3つの補助的知識追跡データセットを評価した。
3つの開発シミュレーションで、87.0%のチェックポイントの評定が一致し、持続的な失敗を含む。
- 参考スコア(独自算出の注目度): 4.268049805078337
- License:
- Abstract: Career-support assistants must distinguish user claims from evidence of current ability and withhold judgments when evidence is insufficient. DrawOffer separates language-model observation extraction from deterministic inference over source-linked records to maintain uncertain ability estimates, experience assessments, and revisable issues. We evaluate 102 fictional personas with 580 scored checkpoints, a historical full-context and Mem0 comparison, and three auxiliary knowledge-tracing datasets. On 37 test personas, DrawOffer passes 169/210 checkpoints; checkpoint-defined issue precision and recall are 0.875 and 0.636. Across three development simulations, 87.0% of checkpoint verdicts agree, including persistent failures. A cache-only development ablation replacing answer-evidence requirements with confidence-only settlement reduces majority-vote passes from 306 to 293 of 370 and issue precision from 0.927 to 0.725. Equalizing positive source weights improves predictive metrics without changing total passes; removing decay gives mixed results. These findings support an exploratory systems contribution centered on evidence sufficiency. Developer-authored scenarios, unmatched baseline models, historical test exposure, and incomplete public artifacts limit generalization and independent reproduction.
- Abstract(参考訳): キャリア支援アシスタントは、現在の能力の証拠とユーザクレームを区別し、証拠が不十分な場合に判断を控えなければならない。
DrawOfferは、ソースリンクレコードに対する決定論的推論から言語モデル観測を分離し、不確実性の推定、経験評価、修正可能な問題を維持する。
580点のチェックポイント、過去の全文とMem0の比較、および3つの補助的知識追跡データセットを用いた102人の架空の人物を評価した。
37のテストペルソナでは、DrawOfferは169/210のチェックポイントをパスし、チェックポイントで定義されたイシューの精度とリコールは0.875と0.636である。
3つの開発シミュレーションで、87.0%のチェックポイントの評定が一致し、持続的な失敗を含む。
キャッシュのみの開発アブレーションは、回答の証拠要求を信頼のみの解決に置き換えることで、370の306票から293票に減らし、0.927票から0.725票に精度を増す。
正のソース重みの等化は、総パスを変更することなく予測指標を改善する。
これらの知見は, 証拠不十分性を中心とした探索システムへの貢献を裏付けるものである。
開発者によるシナリオ、未整合ベースラインモデル、過去のテスト露出、不完全な公開アーティファクトは、一般化と独立した複製を制限する。
関連論文リスト
- The Knowledge Layer Model (KLM): Evidence-Visible AI Output, Routing Diagnostics, and Negative Results [0.0]
推論レコードのオープンな実装ニュートラル仕様である知識層モデル(KLM)を導入する。
実験材料は、エンドツーエンドの検証ではなく、別の内部実験から成り立っている。
発見は内部および著者によって報告され、歴史的観察は後世の複製と区別される。
論文 参考訳(メタデータ) (2026-10-30T17:26:18Z) - ReuScope: Auditing Data Reuse and Evaluation Sensitivity in Capsule Vision 2024 [13.168179025082834]
本研究では,Capsule Vision 2024をケーススタディとして,データの再利用と評価の感度を監査するためのプロトコルを開発した。
バイトIDファイルは、パブリックトレーニングバリデーション境界を越えており、両方のパーティションでフレームにコントリビュートする41のKvasir-Capsuleレコードが実行される。
Kvasir-Capsuleによる全てのトレーニング行を削除し、他のソースからの5行をほぼマッチとマークし、公開バリデーションの精度を82.5%から61.2%に下げた。
論文 参考訳(メタデータ) (2026-10-30T14:51:37Z) - Agent Error Dataset: Scaling 50,000 Error--Diagnosis Pairs for Failure Analysis and Error-Aware Post-Training [45.727227890697556]
我々は,9,961のソースタスクから50,228のエラー診断ペアからなるエージェントエラーデータセット(AED)を紹介した。
5段階のAgenic Error-to-Trainingパイプラインは自然の故障を収集し、診断と修正案を生成し、記録された証拠と照合する。
アクタートレーニングのレシピの比較において、アクションオンリーの修復トレーニングは成功オンリーのトレーニングよりもWebShop-liteの方が6.67ポイント高い。
論文 参考訳(メタデータ) (2026-09-30T16:40:22Z) - Evaluating Persistent Calibration under Evolving Model Knowledge [62.14945418630062]
我々は、信頼度が知識に依存しているかどうかを、信頼度推定の信頼性に影響を及ぼす問題に光を当てることを目指している。
予測時間と微調整法の両方が,将来のチェックポイントで訓練されたオラクル法と比較して,コントラストセットの校正で不足していることを示す。
あるチェックポイント上で適切に校正される可能性のある信頼関数の広大な空間が存在するため、永続的な校正が難しいという仮説の証拠を提供する。
論文 参考訳(メタデータ) (2026-09-30T02:29:31Z) - Demystifying Agent Skills: Why They Work-Until They Don't [58.92875630998418]
既存の評価は、スキルが集約されたタスクの成功を改善するかどうかを主に測定する。
我々は、表現、結果アノテーション、検索難易度、スキルのクロスフレームワークの影響を分離する。
我々はこれらの観察を3つの高レベルカテゴリと12のスキルユースモードの分類に集約する。
論文 参考訳(メタデータ) (2026-08-14T07:26:38Z) - Measurement Without Validity: The Compounding Reliability Problem in Agentic AI Evaluation [0.0]
エージェントAI評価パイプラインは、デプロイメント決定、安全認定、規制コンプライアンス要求を正当化するベンチマークスコアを生成する。
正式なフレームワークはまだ、これらのパイプラインのステージにおける妥当性の低下を特徴付けていない。
本稿では,タスク生成,人間シミュレーションキャリブレーション,自動判定の3層合成妥当性モデルを提案する。
論文 参考訳(メタデータ) (2026-08-01T17:50:12Z) - Evidence-Grounded Ensemble Diagnosis of 802.11 Packet Captures: A Multi-Stage Pipeline with Deterministic Reliability Scoring [1.0170129555792935]
802.11パケットキャプチャの診断には、専門家のプロトコル知識が必要で、遅く、エンジニア間で一貫性がなく、スケールできない。
LLMベースのアプローチは、キャプチャーから欠落するが製造されたプロトコルイベントを聴取し、未校正された信頼スコアを生成し、テスト中のモデルによって黄金の基準が共同生成されると評価バイアスを被る。
PROBEは3つの障害に対処する多段階パイプラインである。
論文 参考訳(メタデータ) (2026-06-05T03:39:58Z) - ORCA: Open-ended Response Correctness Assessment for Audio Question Answering [41.72231074041232]
本研究では,予測精度と不確実性の両方を予測するために,ベータ分布を用いた人的判断の変動をモデル化するフレームワークORCAを提案する。
我々は15のLALMから11,721のアノテーションを収集し,0.82(クリッペンドルフのα)のアノテータ間契約を達成した。
論文 参考訳(メタデータ) (2025-11-28T14:41:48Z) - Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。
本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
論文 参考訳(メタデータ) (2023-06-08T07:05:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。