論文の概要: Interactive Task Alignment as a POMDP

• arxiv url: http://arxiv.org/abs/2607.16412v1
• Date: Fri, 17 Jul 2026 18:04:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.146183
• Title: Interactive Task Alignment as a POMDP
• Title（参考訳）: POMDPとしての対話型タスクアライメント
• Abstract要約: 本稿では,特定のタスクを不特定なインタラクションに変換するための一般的なフレームワークを紹介する。 ユーザシミュレータを人的ユーザスタディで検証した。 教師付き微調整と強化学習によるポストトレーニングではタスクアライメントが改善されるが,インタラクションによる不確実性の解消には,モデルが人間に遅れている。
• 参考スコア（独自算出の注目度）: 17.743513722485876
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current benchmarks for language models primarily evaluate execution on fully specified tasks. However, real user tasks are often ambiguous. Users arrive with incomplete, exploratory, or even inconsistent goals, requiring the assistant to first determine the intended task before carrying it out. We study this problem as task alignment: the ability to align with a user on their intended task. We introduce a general framework for converting specified tasks into underspecified interactions, formalized as a POMDP in which the model must infer a latent task from partial and evolving user intent. We validate our user simulator post hoc with a human user study. Across shopping, coding, and professional work settings, we find that while models often perform well once the task is specified, models still struggle with task alignment: current models act prematurely, interact ineffectively, and fail to resolve ambiguous requests. Models on average recover the user's intended task only 22-32% of the time under ambiguity. In a human study in the same setting, humans reach 48%, outperforming all evaluated models. We show that post-training with supervised fine-tuning and reinforcement learning improves task alignment, but models still lag behind humans in resolving uncertainty through interaction. Together, our results suggest that current models still lack key interaction abilities required for reliable agency.
• Abstract（参考訳）: 言語モデルの現在のベンチマークは、主に完全に指定されたタスクの実行を評価する。 しかし、実際のユーザタスクは曖昧であることが多い。 ユーザは不完全、探索的、あるいは一貫性のない目標を持って到着する。 我々は,この問題をタスクアライメント(タスクアライメント)として研究する。 特定タスクを不特定インタラクションに変換するための一般的なフレームワークを導入し,POMDPとして形式化されたモデルでは,ユーザ意図の部分的および進化的意図から潜在タスクを推論しなければならない。 ユーザシミュレータを人的ユーザスタディで検証した。 ショッピング、コーディング、プロフェッショナルな作業設定全体で、タスクが指定されるとモデルがよく機能するが、モデルはまだタスクアライメントに苦慮している。 平均的なモデルでは、ユーザの意図したタスクはあいまいさの下で22～32%しか回復しない。 同じ環境での人間の研究では、人間は48%に達し、評価されたすべてのモデルより優れています。 教師付き微調整と強化学習によるポストトレーニングではタスクアライメントが改善されるが,インタラクションによる不確実性の解消には,モデルが人間に遅れている。 この結果から,既存のモデルには信頼性の高いエージェントに必要な重要な相互作用能力がないことが示唆された。

関連論文リスト

• xDailyBench: Benchmarking LLMs on Professional Consultation for Real-Life Problems [57.62172039072062]
  xDailyBenchは、個人生活、ホワイトカラーワーク、学習と研究、ドメイン横断アクティビティなど、51のシナリオにまたがる248の慎重にキュレートされたタスクのベンチマークである。 これらのタスクは、ユーザがAIで実際に完了した、あるいは真に達成することを意図した要求に基づいており、明示的な要件と暗黙的な要件の両方をカバーする、きめ細かいバイナリルーブリックで評価される。 最高のモデルではタスクレベルのスコアが75.6%に達し、すべてのモデルは明示的な要件よりも暗黙的にパフォーマンスが悪く、ギャップは9ポイント以下である。
  論文  参考訳（メタデータ） (2026-09-07T17:30:58Z)
• VitaBench 2.0: Evaluating Personalized and Proactive Agents in Long-Term User Interactions [63.13827503828231]
  我々は、長期ユーザーインタラクションにおけるパーソナライズされたプロアクティブなエージェント動作を評価するためのベンチマークであるVitaBench 2.0を紹介する。 結果は、最先端のモデルでさえ、現実世界のパーソナライゼーションは非常に困難であることを示している。
  論文  参考訳（メタデータ） (2026-05-26T15:07:38Z)
• Modeling Distinct Human Interaction in Web Agents [59.600507469754575]
  我々は、協調的なWebタスク実行を支援するために、人間の介入をモデル化するタスクを紹介する。 エージェントとのユーザインタラクションの4つのパターンを特定します。 我々は、これらの介入認識モデルをライブWebナビゲーションエージェントにデプロイし、ユーザスタディで評価し、ユーザ評価エージェントの有用性が26.5%向上した。
  論文  参考訳（メタデータ） (2026-02-19T18:11:28Z)
• BRIDGE: Predicting Human Task Completion Time From Model Performance [36.36759710005444]
  ヒューマンタスクの完了時間アノテーションに依存する既存のアプローチは、コストが高く、ノイズがあり、ベンチマークをまたいでスケールすることが難しい。 本稿では、モデル応答から潜伏困難尺度を学習し、それを人間のタスク完了時間に固定する統合心理測定フレームワークBRIDGEを提案する。
  論文  参考訳（メタデータ） (2026-02-06T23:36:11Z)
• SureMap: Simultaneous Mean Estimation for Single-Task and Multi-Task Disaggregated Evaluation [75.56845750400116]
  分散評価(disaggregated evaluation) -- 異なるサブポピュレーション上での機械学習モデルのパフォーマンスの推定 - は、AIシステムのパフォーマンスとグループフェアネスを評価する上で、中核的なタスクである。 ブラックボックスモデルの評価において,マルチタスクとシングルタスクの双方に対して高い推定精度を持つSureMapを開発した。 提案手法は, ウェル・チョーゼンを用いた最大後部推定と, スタインの非バイアスリスク推定(SURE)によるクロスバリデーションフリーチューニングを併用する。
  論文  参考訳（メタデータ） (2024-11-14T17:53:35Z)
• MUSCLE: A Model Update Strategy for Compatible LLM Evolution [29.032461144831053]
  大きな言語モデル(LLM)は定期的に更新され、パフォーマンスが向上する。 あるモデルバージョンから別のモデルバージョンへのパフォーマンスのインスタンスレベルの低下(インスタンス回帰)は、特定の言語モデルの能力に関するユーザのメンタルモデルに干渉する可能性がある。 モデル更新におけるインスタンス回帰の程度を最小化するためのトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2024-07-12T17:12:48Z)
• Diagnosis, Feedback, Adaptation: A Human-in-the-Loop Framework for Test-Time Policy Adaptation [20.266695694005943]
  ポリシーは新しい環境にポリシーがデプロイされたときに発生する状態と報酬の変化によって、しばしば失敗する。 データ拡張は、エージェントの観察におけるタスク非関連の変化にモデルを不変にすることで、ロバスト性を高めることができる。 本稿では,ユーザからのフィードバックを直接活用して,タスク関連概念をパーソナライズする対話型フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-12T17:55:08Z)
• Exposing and Addressing Cross-Task Inconsistency in Unified Vision-Language Models [80.23791222509644]
  一貫性のないAIモデルは、人間のユーザーによって不安定で信頼できないと見なされている。 最先端のビジョン言語モデルは、タスク間の驚くほど高い一貫性のない振る舞いに悩まされている。 本稿では,大規模で自動生成されるクロスタスクコントラスト集合上で計算されたランク相関に基づく補助訓練目標を提案する。
  論文  参考訳（メタデータ） (2023-03-28T16:57:12Z)
• Task Ambiguity in Humans and Language Models [7.033374427612259]
  本稿では,あいまいな分類タスクのベンチマークであるAmbiBenchを提案する。 AmbiBench上での人間とモデルの評価は、意図したタスクがどの程度うまく認識されているかを確認することで行う。 本研究では,大規模なフィードバックトレーニングを伴わずに学習した言語モデルの精度を劇的に向上させる方法について述べる。
  論文  参考訳（メタデータ） (2022-12-20T18:35:33Z)
• Uni-Perceiver v2: A Generalist Model for Large-Scale Vision and Vision-Language Tasks [86.66733026149892]
  大規模ビジョンと視覚非依存タスクを扱える最初のジェネラリストモデルであるUni-Perceiver v2を提案する。 具体的には、画像は一般領域の提案としてエンコードされ、テキストはTransformerベースの言語モデルを介してエンコードされる。 Uni-Perceiver v2は、幅広いビジョンとビジョン言語タスクで競争力を発揮する。
  論文  参考訳（メタデータ） (2022-11-17T18:59:52Z)
• Meta-Regularization by Enforcing Mutual-Exclusiveness [0.8057006406834467]
  本稿では,メタ学習時の情報フローをモデル設計者が制御できるように,メタ学習モデルの正規化手法を提案する。 提案した正規化関数は,Omniglotデータセット上で$sim$$36%の精度向上を示す。
  論文  参考訳（メタデータ） (2021-01-24T22:57:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。