論文の概要: NEIGHBOR: Aligning Service Behaviour and Evidence Use in an LLM Agent for Community Resident Services
- arxiv url: http://arxiv.org/abs/2611.01836v1
- Date: Sun, 01 Nov 2026 12:12:33 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 19:57:31.410055
- Title: NEIGHBOR: Aligning Service Behaviour and Evidence Use in an LLM Agent for Community Resident Services
- Title(参考訳): NEIGHBOR:地域住民サービスのためのLLMエージェントにおけるサービス行動とエビデンス利用の調整
- Abstract要約: NEIGHBORは、地域住民サービスのためのLLMエージェントであり、そのツールを駆動するモデルに列車が行動する。
NEIGHBORは、1000万人以上の東アジア都市の地区で、ライブの居住サービスプラットフォーム上に展開されている。
常駐エージェントにとって、サービスビヘイビアは、固定されたツールで専門家評価された回答品質を高める、実用的な微調整ターゲットである。
- 参考スコア(独自算出の注目度): 0.0
- License:
- Abstract: Residents who contact a community service desk about a repair or a service charge need answers they can act on, with facts that hold for their case and commitments the desk can keep. In tool-augmented LLM agents, such facts come from documents and records, and the conduct of a service answer is usually specified in a system prompt. We present NEIGHBOR, an LLM agent for community resident services that trains this conduct into the model that drives its tools. NEIGHBOR is deployed on a live resident-service platform for a district of an East Asian city of more than ten million people. It adapts Qwen3-235B-A22B with LoRA on 7,824 supervised fine-tuning examples built from public community-service materials around six service-behaviour targets, among them commitment control and human referral, and the adapted model plans document retrieval and read-only text-to-SQL over the resident's own records. In an offline evaluation with seven configurations, an independent domain expert rated all 350 answers to 50 stratified held-out queries. NEIGHBOR scores 7.74/10 against 5.86 for the same agent running the un-tuned model (+1.88; paired Wilcoxon $p<10^{-8}$; higher on 46 of 50 queries) and improves all six rated dimensions. No tool-augmented answer received a red-line flag (standalone models: 8-14% of answers). An LLM judge ranks the seven configurations much as the expert does (Spearman $ρ=0.93$). Its rubric counts specifics absent from the reference answer as fabricated, so it scores tool-grounded answers 1-2 points lower, enough to change which configuration ranks first. For resident-facing agents, service behaviour is a practical fine-tuning target that raises expert-rated answer quality with the tools held fixed.
- Abstract(参考訳): 修理やサービス料金についてコミュニティのサービスデスクに連絡する住民は、自分のケースを守り、デスクに約束を守れる事実を持って、行動できる答えを必要とします。
ツール拡張 LLM エージェントでは、そのような事実は文書や記録から得られ、通常、システムプロンプトでサービス回答の動作が特定される。
NEIGHBOR(NEIGHBOR)は,地域住民サービスのためのLLMエージェントで,この行為をツールを駆動するモデルに訓練する。
NEIGHBORは、1000万人以上の東アジア都市の地区で、ライブの居住サービスプラットフォーム上に展開されている。
これは、Qwen3-235B-A22BをLoRAに適合させ、7,824個のサービス・ビヘイビア・ターゲットに関する公共のコミュニティ・サービス・素材から構築された微調整の例を監督する。
7つの設定によるオフライン評価では、独立ドメインの専門家が350の回答を50の階層化されたホールトアウトクエリに評価した。
NEIGHBORは、調整されていないモデルを実行するエージェント(+1.88、ペアのWilcoxon $p<10^{-8}$; 50クエリの46以上)に対して7.74/10と5.86とスコアし、6つの評価された次元を全て改善する。
ツール拡張された回答には、レッドラインフラグ(スタンドアローンモデル:8-14%の回答)が与えられませんでした。
LLM判事は専門家と同様に7つの構成をランク付けする(Spearman $ρ=0.93$)。
そのルーブリックは、基準回答から欠落した具体例を偽造とみなし、ツールグラウンドされた回答を1-2ポイント低くスコアし、どの構成が最初にランクされるかを変更するのに十分である。
常駐エージェントにとって、サービスビヘイビアは、固定されたツールで専門家評価された回答品質を高める、実用的な微調整ターゲットである。
関連論文リスト
- RECEIPT: Measuring and Repairing the Return Assumption of LLM Agents in Web Service Operations [6.7686920507976325]
LLMエージェントはコマンドラインからWebインフラストラクチャを操作する。
しかし、多くのコマンドは、行動する前に質問する。
本論文は、リターン仮定を計測し、修復した最初の論文である。
論文 参考訳(メタデータ) (2026-11-01T14:06:53Z) - Ask Before You Answer: A Question-Driven Evidence Reasoning Architecture (QERA) for In-Context Learning [55.5725245335962]
質問駆動のエビデンス推論アーキテクチャであるQERAを提案する。
QERAはまず要求を要求チェックリストと入力された情報要求に変換し、ユーザーの言葉に忠実なコードでフィルタリングする。
その後、会話全体から回答し、コードによって検証された引用で同じ質問を繰り返す。
論文 参考訳(メタデータ) (2026-10-26T09:26:23Z) - JevAgentHarness: Benchmarking, Deploying and Training Decision Models That Share Control with LLMs [67.3059941230326]
大規模言語モデル(LLM)エージェントは、ソフトウェアを修正し、コンピュータを操作し、顧客にサービスを提供するが、そのハーネス、そしてそれらを実行するプログラムは、すべてのステップで大きなLLMを呼び出す。
ハーネスがこれらの決定を、ほとんど成功しない決定モデルに委譲する方法を問う。
AgentDecisionBenchは独立した質問から決定モデルをテストし、公開ベンチマークとDecisionGym環境上で実行中のエージェントを制御する。
次に、JevAgentHarnessを設計します。これは、エージェント自身の軌道上の各選択のしきい値に適合し、LLMがその下にあることを判断します。
論文 参考訳(メタデータ) (2026-10-15T07:27:08Z) - FDE-Bench: Evaluating LLM Agents for Deployment Environment Configuration [3.4732047142551288]
FDE-BenchはDockerイメージ、マルチサービスComposeスタック、診断・修復モードにまたがるデプロイメント設定タスクを評価している。
エージェントは、プリスタント環境で収集、再構築、再デプロイされる宣言的アーティファクトを提出する。
準備は最大の障害ステージであり、313エピソードのうち110エピソードが未解決である。
論文 参考訳(メタデータ) (2026-09-23T08:51:01Z) - WildClawBench: A Benchmark for Real-World, Long-Horizon Agent Evaluation [88.10947115397971]
この研究でWildClawBenchは、6つのテーマのカテゴリにまたがる60の人間によるバイリンガルなマルチモーダルタスクのネイティブランタイムベンチマークである。
各タスクは、約8分間のウォールクロック時間と20以上のツールコールで実行されます。
グラディングはハイブリッドであり、決定論的ルールベースのチェック、副作用の環境状態監査、意味的検証のためのLLM/VLM判定を組み合わせている。
論文 参考訳(メタデータ) (2026-05-11T17:49:43Z) - HabitatAgent: An End-to-End Multi-Agent System for Housing Consultation [8.894547553174196]
エンド・ツー・エンド・エンド・ハウジングのためのLLMを利用した初のマルチエージェントアーキテクチャであるHabitatAgentを紹介する。
HabitatAgentには、メモリ、検索、生成、検証の4つの特別なエージェントの役割がある。
エンド・ツー・エンドの正当性プロトコルを用いて、HabitatAgentを100の実際のユーザコンサルテーションシナリオで評価する。
論文 参考訳(メタデータ) (2026-04-01T06:59:50Z) - SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。
提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。
我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
論文 参考訳(メタデータ) (2025-03-11T17:53:02Z) - Is the House Ready For Sleeptime? Generating and Evaluating Situational Queries for Embodied Question Answering [48.43453390717167]
本研究では,家庭環境における状況問合せ(S-EQA)による身体的質問回答の課題を提示し,解決する。
以前のEQAの作業とは異なり、状況的クエリでは、エージェントが複数のオブジェクト状態を正しく識別し、回答のために状態に関するコンセンサスに到達する必要がある。
本稿では, LLMの出力をラップして, 独自のコンセンサスクエリとそれに対応するコンセンサスオブジェクト情報を生成する新しいPrompt-Generate-Evaluateスキームを提案する。
論文 参考訳(メタデータ) (2024-05-08T00:45:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。