論文の概要: Read and Ignore: What Self-Directed LLM Agents Do in Public Service Scenarios
- arxiv url: http://arxiv.org/abs/2611.15460v1
- Date: Wed, 11 Nov 2026 13:31:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.152889
- Title: Read and Ignore: What Self-Directed LLM Agents Do in Public Service Scenarios
- Title(参考訳): Read and Ignore: セルフ指揮のLDMエージェントが公共サービスシナリオで行うこと
- Abstract要約: ファイル内でチェック可能なレコードと決定レバーを備えたエキスパート検証シナリオを構築します。
コンテクストフリーのサンドボックスで1000ドル(約1万1000円)のランニングと比較します。
我々は、調達前に公共サービス機関が自身のレコードで実行できるテストに貢献する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Underspecified instructions leave LLM agents to decide what to do. In public services, staff write these instructions, but the agent's decisions affect residents, patients, and students. We build four expert-validated public-service scenarios with records and decision levers that can be checked in the files, collect $2{,}400$ trajectories from ten LLMs under four prompt conditions, and compare them with $1{,}000$ runs in a context-free sandbox. Agents read the records in $96.9\%$ of open-ended runs and produce an artifact or a self-chosen task in $18.7\%$; with an explicit task, $86.0\%$ produce. Domain context does not change how many runs produce ($18.7\%$ vs.\ $16.0\%$), and the production ranking of the models largely carries over (Spearman $0.79$), while the ranking by whether a model reads the records does not ($0.19$). Context cuts boundary-probing turns per run by $60\%$, and some artifacts contradict the records. We contribute a test that a public-service institution can run on its own records before procurement; its rule-based taxonomy needs no labeled data, and scenarios, code, and trajectories are released.
- Abstract(参考訳): 具体的でない指示は、LSMエージェントに何をするかを決める。
公共サービスでは、職員はこれらの指示を書くが、エージェントの決定は住民、患者、および学生に影響を与える。
ファイル内でチェック可能なレコードと決定レバーを備えた,専門家公認の4つのパブリックサービスシナリオを構築し,4つの迅速な条件下で10 LLMから2${,}400$のトラジェクトリを収集し,コンテキストのないサンドボックス内での1${,}000$の実行と比較する。
エージェントは9,6.9\%のオープンエンドランで記録を読み、アーティファクトまたはセルフチョーゼンタスクを18.7\%で作成し、明示的なタスクは8,6.0\%である。
ドメインコンテキストは、生成する実行数(18.7\% vs.)を変えない。
16.0\%$で、生産ランキングは概ね上回っている(Spearman $0.79$)。
Contextは1ランあたりのバウンダリプロービングターンを60\%$に削減し、いくつかのアーティファクトはレコードに矛盾する。
我々は、調達前に公共サービス機関が独自のレコードで実行できるテストに貢献する。そのルールベースの分類はラベル付きデータを必要としておらず、シナリオ、コード、トラジェクトリがリリースされる。
関連論文リスト
- ReTrace: Distilling Tool-Using Agents into Planner-Free Workflows [4.074992439466457]
ビジネスプロセスの自動化は、新しい入力に対して、同じ標準オペレーティング手順を何度も繰り返し実行します。
大規模言語モデル(LLM)エージェントは自然言語で書かれたSOPに従うことができるが、各実行の各ステップを選択するためにLSMを呼び出す。
我々は、SOPと数個のログエージェントを再利用可能なワークフローに切り替えるReTraceを紹介し、LLMではなくコードが次のステップを選択する。
論文 参考訳(メタデータ) (2026-11-10T18:49:47Z) - Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。
反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
論文 参考訳(メタデータ) (2026-09-02T08:10:22Z) - Long-Horizon State Tracking in LLMs: Executing MD5 through a Deep Sequence of Dependent Tool Calls [0.5097809301149342]
ロングホライゾンタスクは、大きな言語モデル(LLM)評価では珍しくない。
LLMが多数のツールコールにまたがって、正確な中間状態を持てるかどうかをテストする。
モデル自身の推論をそれぞれの順番でコンテキストに保ち、思考可能な労働者に投票してモジュラー・アセスメティックス・スリップを除去する、という2つの要素が成功を決定づける。
論文 参考訳(メタデータ) (2026-08-02T09:38:02Z) - Turning Interaction History into Execution State: A Runtime Layer for Long-Horizon Coding Agents [48.967927222079965]
Ledgerは、エージェントの完了したインタラクションを明示的な実行状態に蒸留するランタイム層である。
Ledgerはこの状態をオンライン実行台帳に保持し、各ステップの2つのバウンダリに適用される。
500のSWE-bench検証インスタンス全体で、LedgerはPass@1を56.2%から64.2%に、GPT-5 miniを75.8%から81.0%に、MiniMax M2.5を81.0%に引き上げている。
論文 参考訳(メタデータ) (2026-08-01T18:25:00Z) - Mining Workflow Graphs for Black-Box Boundary Testing of Conversational LLM Agents [2.9512821350868754]
我々は、ステートフル境界を発見し、強調するブラックボックステスティングフレームワークであるAgentEvalを提案する。
盲目的にプロンプトする代わりに、AgentEvalはこのグラフの構造を使って特定のガードと前提条件をテストターゲットとして列挙する。
我々はAgentEvalを、エージェントの基盤となるソースコードにアクセス可能な特権付きホワイトボックス監査者に対してベンチマークします。
論文 参考訳(メタデータ) (2026-07-08T00:11:41Z) - Citation Discipline in Spec-Driven Development: A Cross-Model Empirical Study of Output Determinism and Automated Hallucination Detection in LLM-Generated Code [0.0]
仕様駆動開発(SDD)フレームワークは、公式仕様を通じてLLM(Large Language Model)によるコード生成をガイドする。
本稿では,REQ-XXX.Y を用いたライン毎の要求引用を強制的に実施する $traceDDDD という3つのフレームワークを比較した2つの研究結果を提案する。
OpenSpecSpec Kit – ユーザストーリと受け入れ基準によるアーティファクトレベルのトレーサビリティを使用する。
我々の分析では、一貫したクロスモデル複製トレードオフが明らかとなり、非励振条件は引用条件よりもはるかに高い決定性をもたらす。
論文 参考訳(メタデータ) (2026-06-28T19:38:55Z) - Which Defense Closes Which Threat? Attributing OWASP-LLM-Top-10 Coverage and Its Brittleness Under Paraphrasing [51.56484100374058]
プロダクションLLMアプリケーションは、いくつかの防衛ファミリを積み重ねる -- 拒絶フレーズフィルタ、トークンバッジコントロール、モデル許容度リスト、レート制限、ツール登録認証 -- が、BASベンチマークでは、単一の集計カバレッジ番号を報告している。
21エージェントベースラインスキャナに4つのLLM-Top-10対応エージェントを追加し、4つの合成LDMエンドポイントの格子をターゲットとした。
論文 参考訳(メタデータ) (2026-06-01T19:39:25Z) - LACUNA: Safe Agents as Recursive Program Holes [3.2613419151327343]
LLMエージェントはますますコードを記述することで振る舞うが、エージェントを駆動するランタイムとモデルが記述するコードの間には分割が持続する。
我々は、安全性を維持しながら、この分割を閉じるエージェントのためのプログラミングモデルであるLACUNAを紹介する。
我々のプリミティブは、通常の制御フローとしてReActループ、サブエージェント、スキル、並列分解、マルチモデル計画を表現する。
論文 参考訳(メタデータ) (2026-05-27T15:27:25Z) - Towards Efficient Automatic Self-Pruning of Large Language Models [55.90119819642064]
トレーニング後の構造化プルーニングは、トレーニングを必要とせずに大規模言語モデルを熟成する有望なソリューションである。
この問題を緩和する鍵は、各レイヤのプルーニング率を正確に決定することにある、と我々は主張する。
我々は、レイヤワイドプルーニングレートを効率的に検索するLLMのためのエンドツーエンドの自動自動プルーニングフレームワークである$textbfSelf-Prunerを紹介した。
論文 参考訳(メタデータ) (2025-02-20T09:59:50Z) - Reasoning Robustness of LLMs to Adversarial Typographical Errors [49.99118660264703]
大規模言語モデル(LLM)は、Chain-of-Thought(CoT)プロンプトを使用した推論において、印象的な機能を示している。
本研究では,LLMのタイポグラフィ的誤りに対するロバスト性について検討する。
我々は,クエリに重要な単語の型を反復的にサンプリングし,攻撃に成功しそうな編集を選択する,Adversarial Typo Attack(texttATA$)アルゴリズムを設計する。
論文 参考訳(メタデータ) (2024-11-08T05:54:05Z) - Get my drift? Catching LLM Task Drift with Activation Deltas [55.75645403965326]
タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。
そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。
このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
論文 参考訳(メタデータ) (2024-06-02T16:53:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。