論文の概要: HoosierHelp: Benchmarking LLM Agents for Social Service Navigation
- arxiv url: http://arxiv.org/abs/2608.09946v1
- Date: Fri, 03 Jul 2026 00:39:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.183033
- Title: HoosierHelp: Benchmarking LLM Agents for Social Service Navigation
- Title（参考訳）: HoosierHelp: ソーシャルサービスナビゲーションのためのLLMエージェントのベンチマーク
- Abstract要約: HoosierHelpはインディアナ州3,971の公共ソーシャルサービスリソースをベースとしたインタラクティブなベンチマークだ。
エージェントはシミュレーションされたユーザと対話し、構造化されたリソース検索コールを発行し、非理想的なインタラクションを処理し、ツールによって返される最終リソースを選択する。
- 参考スコア（独自算出の注目度）: 25.01361611100649
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Social service navigation requires connecting help-seeking individuals to resources that satisfy their needs and specific constraints. Although LLM agents offer a promising interface for conversational resource navigation, existing benchmarks do not capture the interaction complexity and constraint-grounding demands of this setting. We introduce HoosierHelp, an interactive benchmark grounded in 3,971 Indiana public social service resources. Agents interact with simulated users, issue structured resource-search calls, handle non-ideal interactions, and select the final resources returned by the tool. HoosierHelp enhances the realism of simulated users by varying their need structure, constraint satisfiability, and behavior patterns, including impatience, rambling, unsupported requests, and self-contradiction. Experiments on 240 samples across seven LLMs show that current LLM agents remain substantially unreliable for social service navigation. Performance drops sharply on fallback-required and self-contradictory conversations, highlighting the need for agents that are more robust to complex and non-ideal user interactions.
- Abstract（参考訳）: ソーシャルサービスナビゲーションには、助けを求める個人と、ニーズと特定の制約を満たすリソースを結びつける必要がある。
LLMエージェントは対話型リソースナビゲーションのための有望なインターフェースを提供するが、既存のベンチマークでは、この設定の相互作用の複雑さと制約グラウンドの要求を捉えていない。
HoosierHelpはインディアナ州3,971の公共ソーシャルサービスリソースをベースとしたインタラクティブなベンチマークだ。
エージェントはシミュレーションされたユーザと対話し、構造化されたリソース検索コールを発行し、非理想的なインタラクションを処理し、ツールによって返される最終リソースを選択する。
HoosierHelpは、ニーズ構造、制約満足度、不忍性、乱闘、サポート要求、セルフコントラディションといった行動パターンを変化させることで、シミュレートされたユーザのリアリズムを強化する。
7つのLSMにまたがる240のサンプル実験では、現在のLSMエージェントは社会サービスナビゲーションには信頼性が低いことが示されている。
フォールバック要求と自己矛盾の会話ではパフォーマンスが大幅に低下し、複雑で非理想的なユーザインタラクションに対してより堅牢なエージェントの必要性が強調される。
関連論文リスト
- From Profiling to Synthesis: Benchmarking Implicit Behavioral Alignment in Personalized LLM Agents [56.187590188698955]
大規模言語モデルは、ますます有能な自律エージェントを可能にしてきたが、そのようなエージェントを実用的に有効にするためには、パーソナライズが不可欠である。
最近のベンチマークではエージェントのパーソナライゼーションの評価が始まっているが、それらは主に静的な選好スナップショット、固定されたインタラクションログ、あるいは事前に定義されたユーザプロファイルに対する質問応答に依存している。
縦断的相互作用履歴から構築した暗黙的行動アライメントのベンチマークであるIBA-Benchを紹介する。
IBA-Agentは、広範囲な検索と軌道レベルのアライメントを通じて競合する優先順位を調整するエージェントフレームワークである。
論文 参考訳（メタデータ） (2026-08-03T12:52:04Z) - Speculative Interaction Agents: Building Real-Time Agents with Asynchronous I/O and Speculative Tool Calling [64.40340291543971]
我々は,小さなエッジスケールモデルとのリアルタイムインタラクションを実現するための投機的インタラクションエージェントを提案する。
また、ストリーミング入力と非同期応答を処理するためにモデルを適応させるクロックベースのトレーニング手法を提案する。
このアプローチは、Qwen2.5-3B-InstructとLlama-3.2-3B-Instructモデルを複数のツール呼び出しベンチマークで1.6-2.2$times$ Speedupを提供する。
論文 参考訳（メタデータ） (2026-05-13T11:20:52Z) - ComPASS: Towards Personalized Agentic Social Support via Tool-Augmented Companionship [55.402028219661986]
エージェントに外部ツールを付与し、多様なアクションを実行するためのツールを開発する。
われわれはまず、さまざまなマルチメディアアプリケーションをシミュレートするユーザ中心のツールを多数設計し、様々な種類のソーシャルサポート行動をカバーする。
ComPASS-Benchに基づいて,Qwen3-8Bモデルを微調整するためのツール使用記録をさらに合成し,タスク固有のComPASS-Qwenを生成する。
論文 参考訳（メタデータ） (2026-04-20T14:49:16Z) - Beyond Monolithic Architectures: A Multi-Agent Search and Knowledge Optimization Framework for Agentic Search [56.78490647843876]
エージェント検索は、大規模言語モデル(LLM)が推論とツールの使用をインターリーブできるようにすることによって、複雑な情報を探すための有望なパラダイムとして登場した。
本稿では,bfM-ASKを提案する。bfM-ASK,bfM-ASK,bfM-ASK,bfM-ASK,bfM-ASK,bfM-ASK,bfM-ASK,bfM-ASK。
論文 参考訳（メタデータ） (2026-01-08T08:13:27Z) - QAgent: A modular Search Agent with Interactive Query Understanding [25.147900132089777]
大規模言語モデルは自然言語処理に優れるが、静的パラメトリック知識によって制限される。
本稿では,適応検索に検索エージェントを用いる統一エージェントRAGフレームワークを提案する。
実験ではQAでQAgentが優れていることを示し、実世界のデプロイのためのプラグイン・アンド・プレイモジュールとして機能する。
論文 参考訳（メタデータ） (2025-10-09T16:08:05Z) - SRSA: A Cost-Efficient Strategy-Router Search Agent for Real-world Human-Machine Interactions [3.5725872564627785]
現実の状況では、ユーザーはしばしばコンテキストと高度にパーソナライズされたクエリをチャットボットに入力する。
これまでの研究は、人間と機械の対話のシナリオに特に焦点を絞ってはいなかった。
これらのギャップに対処するために、戦略ベース検索エージェント(SRSA)を提案する。
SRSAは、異なるクエリを適切な検索戦略にルーティングし、よりきめ細かいシリアル検索により、比較的低コストで高品質な結果を得ることができる。
論文 参考訳（メタデータ） (2024-11-21T20:41:55Z) - AgentBench: Evaluating LLMs as Agents [99.12825098528212]
エージェントとしてのLarge Language Model (LLM)は近年広く認知されている。
我々は,LLM-as-Agentの推論と意思決定能力を評価するために,8つの異なる環境からなるベンチマークであるAgentBenchを提案する。
論文 参考訳（メタデータ） (2023-08-07T16:08:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。