論文の概要: PredAct-Bench: Benchmarking Tool-Augmented Dialogue under Controlled Tool Noise
- arxiv url: http://arxiv.org/abs/2608.02372v1
- Date: Mon, 03 Aug 2026 15:15:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 21:56:46.386982
- Title: PredAct-Bench: Benchmarking Tool-Augmented Dialogue under Controlled Tool Noise
- Title（参考訳）: PredAct-Bench: ツール騒音下でのベンチマークツール拡張対話
- Abstract要約: 統計的に不完全なツールと組み合わせた対話エージェントの評価のためのベンチマークであるPreDACTBENCHを紹介する。
AIがノイズの多い予測器を使ってユーザを誘導する、AI支援による人間の意思決定のためのベンチマークを構築します。
2つの教育データセットを用いて,13の最先端のクローズド・オープンソースLCMを評価した。
- 参考スコア（独自算出の注目度）: 11.530655589494868
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large Language Models (LLMs) are increasingly deployed in task-oriented dialogue systems that support multi-step decision-making in high-stakes domains such as education, healthcare, and finance. However, existing benchmarks typically assume perfectly accurate tool outputs, overlooking the reality that deployed systems must operate with noisy tools and human decision-makers whose trust in the agent is itself uncertain. Such conditions are common in practice, for example, a clinician using a diagnostic prediction tool or an advisor relying on a model that forecasts student outcomes from historical records. We introduce PREDACTBENCH, a benchmark for evaluating dialogue agents paired with statistically imperfect tools, using education as a measurable testbed where ground truth outcomes and clear intervention decisions are available. First, we build a benchmark for AI-assisted human decision-making, where the AI uses noisy predictors to help guide a user. Second, we introduce episode-level Relative AI-Reliance (RAIR) and Relative self-reliance (RSR) metrics, extending prior trust calibration framework to multi-turn dialogue. Third, we evaluate 13 state-of-the-art closed and open source LLMs on two educational datasets, OULAD (real assessment trajectories from the UK Open University) and PREDACT-CS (60 courses with real final grade outcomes and synthetically generated weekly score trajectories), alongside a human study with instructors and teaching assistants. We find that when tools are noisy, SOTA models are supposed to provide visibility to teachers so that they do not over-rely on wrong suggestions or hallucinations, but current models fail to do that. We offer PREDACTBENCH to help build better LLMs as AI decision support systems to help teachers.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、教育、医療、ファイナンスといった高度な領域において、多段階の意思決定をサポートするタスク指向の対話システムにますます導入されている。
しかし、既存のベンチマークでは、通常は完全に正確なツールアウトプットを前提としており、デプロイされたシステムはノイズの多いツールと、エージェントに対する信頼そのものが不確実な人間の意思決定者で動作しなければならない、という現実を見落としている。
このような状況は、例えば診断予測ツールを使用した臨床医や、歴史記録から学生の成果を予測するモデルに依存するアドバイザーなど、実際は一般的である。
本稿では,統計的に不完全なツールと組み合わせた対話エージェント評価のためのベンチマークであるPreDACTBENCHを紹介する。
まず、AIがノイズの多い予測器を使ってユーザーを誘導する、AI支援による人間の意思決定のためのベンチマークを構築します。
次に、エピソードレベルのRAIR(Relative AI-Reliance)とRSR(Relative Self-Reliance)のメトリクスを導入し、事前信頼度校正フレームワークをマルチターン対話に拡張する。
第3に,OULADとPreDACT-CS(60コース,実際の最終成績,週毎のスコアトラジェクトリ)と,インストラクターや指導助手による人間による研究の2つの教育データセットを用いて,最先端のクローズド・オープンソースLLM13を評価した。
ツールがうるさい場合には、SOTAモデルは教師に可視性を提供して、間違った提案や幻覚を過度に受け取らないようにするが、現在のモデルではそうはならない。
私たちは、教師を支援するAI意思決定支援システムとして、より良いLLMを構築するためにPreDACTBENCHを提供しています。
関連論文リスト
- Evaluating LLMs for Answering Student Questions in Introductory Programming Courses [0.0]
本研究では,CS1プログラミングコースにおける学生の質問に答える上で,大規模言語モデルの安全かつ効果的に支援する能力について検討する。
従来のテキストマッチングメトリクスは、オープンエンドの教育応答を評価するには不十分であるため、独自のLCM-as-a-Judgeメトリックを開発し、検証した。
以上の結果から,ジェミニ3フラッシュなどのモデルが典型的な教育者応答の品質基準を超越し,専門家の教育基準と高い整合性が得られることが示唆された。
論文 参考訳（メタデータ） (2026-03-30T11:22:58Z) - RecThinker: An Agentic Framework for Tool-Augmented Reasoning in Recommendation [63.74915464611075]
RecThinkerはツール拡張推論を推奨するエージェントフレームワークである。
我々はRecThinker専用のツール群を開発し、モデルがユーザアイテム側および協調的な情報を取得することを可能にする。
論文 参考訳（メタデータ） (2026-03-10T16:07:17Z) - One Model to Critique Them All: Rewarding Agentic Tool-Use via Efficient Reasoning [54.580646706013965]
リワードモデル(RM)は、大きな言語モデルと人間の嗜好の整合において重要な役割を果たす。
一般的なツール使用シナリオに適した軽量な生成型RMのファミリーであるToolRMを紹介する。
これらのモデルを構築するために,ルールベースのスコアリングと多次元サンプリングを用いたペアワイズ選好データを構築するパイプラインを提案する。
論文 参考訳（メタデータ） (2025-10-30T06:08:27Z) - How can we assess human-agent interactions? Case studies in software agent design [52.953425368394306]
我々は,人間とエージェントの相互作用の厳密な評価に向けて,二つの大きな一歩を踏み出した。
エージェント設計のより効率的な人間中心評価のためのフレームワークであるPULSEを提案する。
私たちは、オープンソースのソフトウェアエージェントOpenHandsを中心に構築された大規模なWebプラットフォームにフレームワークをデプロイします。
論文 参考訳（メタデータ） (2025-10-10T19:04:28Z) - How Can Input Reformulation Improve Tool Usage Accuracy in a Complex Dynamic Environment? A Study on $τ$-bench [58.114899897566964]
マルチターンの会話環境では、大きな言語モデル(LLM)は、一貫性のある推論とドメイン固有のポリシーへの固執にしばしば苦労する。
本稿では,関連するドメインルールを付加したユーザクエリを自動的に再構成するIRMA(Input-Reformulation Multi-Agent)フレームワークを提案する。
IRMAはReAct、Function Calling、Self-Reflectionをそれぞれ16.1%、12.7%、19.1%で大きく上回っている。
論文 参考訳（メタデータ） (2025-08-28T15:57:33Z) - Maximizing Signal in Human-Model Preference Alignment [0.0]
本稿では、エンドユーザーがMLモデルによる決定に同意する必要がある場合、モデルが好みを表すデータに基づいて訓練され、評価されるべきである、と論じる。
評価手法のベストプラクティスに固執することで,ラベル付け不一致のノイズを最小限に抑えることができることを示す。
論文 参考訳（メタデータ） (2025-03-06T19:10:57Z) - Towards Efficient Educational Chatbots: Benchmarking RAG Frameworks [2.362412515574206]
大規模言語モデル(LLM)は、大量の文献に基づく情報を収集することで、教育において非常に有益であることが証明されている。
本稿では,LLMを活用してGATEソリューションを説明し,学生の試験準備を支援するAIを活用した質問応答フレームワークを提案する。
論文 参考訳（メタデータ） (2025-03-02T08:11:07Z) - Adaptive Tool Use in Large Language Models with Meta-Cognition Trigger [49.81945268343162]
我々は,外部ツール利用のための適応型意思決定戦略であるMeCoを提案する。
MeCoは、表現空間内の高レベル認知信号をキャプチャすることで、メタ認知スコアを定量化する。
MeCoは微調整不要で、最小限のコストがかかる。
論文 参考訳（メタデータ） (2025-02-18T15:45:01Z) - Learning to Ask: When LLM Agents Meet Unclear Instruction [55.65312637965779]
大きな言語モデル(LLM)は、言語スキルだけでは達成不可能なタスクに対処するための外部ツールを活用することができる。
我々は、不完全な命令下でのLLMツールの使用性能を評価し、エラーパターンを分析し、Noisy ToolBenchと呼ばれる挑戦的なツール使用ベンチマークを構築した。
Ask-when-Needed (AwN) という新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-08-31T23:06:12Z) - Bring Your Own Data! Self-Supervised Evaluation for Large Language
Models [52.15056231665816]
大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。
閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。
自己監督評価と人監督評価との間には強い相関関係が認められた。
論文 参考訳（メタデータ） (2023-06-23T17:59:09Z) - Supporting Human-AI Collaboration in Auditing LLMs with LLMs [33.56822240549913]
大きな言語モデルは偏見があり、無責任に振る舞うことが示されている。
これらの言語モデルを厳格に監査することは重要である。
既存の監査ツールは、人間とAIの両方を活用して失敗を見つける。
論文 参考訳（メタデータ） (2023-04-19T21:59:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。