論文の概要: Signals and Queries: Token-Efficient Agentic Context Discovery
- arxiv url: http://arxiv.org/abs/2610.29326v1
- Date: Wed, 21 Oct 2026 07:25:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 00:40:06.271667
- Title: Signals and Queries: Token-Efficient Agentic Context Discovery
- Title(参考訳): 信号とクエリ:トークン効率の良いエージェントコンテキスト発見
- Abstract要約: Signals and Queries (S&Q) は、Parlant 4.0向けに開発された軽量なファーストステージレバレンスフィルタである。
S&Qは、高いリコールを維持しながら、下流の評価の前に、少なくとも30%の候補ポリシーを削除します。
9,144 LLM関連ラベルが254ドル(約2,300円)の会話プレフィックスと36の航空政策をカバーしている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: User-facing LLM agents must identify which behavioral policies apply at each turn, but evaluating every policy with an LLM is costly. We introduce Signals and Queries (S&Q), a lightweight first-stage relevance filter developed for Parlant 4.0 that removes at least 30% of candidate policies before downstream evaluation while preserving high recall. For each policy, an LLM generates activating examples and hard negatives offline. An independent logistic classifier trained on their embeddings then predicts relevance using embeddings and vector dot products, with no per-turn LLM calls. This shifts expensive relevance evaluation to a smaller candidate set, while allowing each policy's classifier to be updated independently. Evaluated against 9,144 LLM-judge relevance labels covering 254 $τ^2$-bench conversation prefixes and 36 airline policies, S&Q achieves higher precision than top-K and cosine-threshold retrieval at every evaluated recall level, with consistent results across two embedding providers. These findings support inexpensive, per-policy classification as a practical first stage for reducing downstream evaluation workload in customer-facing agents.
- Abstract(参考訳): ユーザ対応のLLMエージェントは各ターンでどの行動ポリシーを適用するかを特定する必要があるが、LLMですべてのポリシーを評価するのはコストがかかる。
本稿ではParlant 4.0用に開発された軽量な第1段レバレンスフィルタであるSignals and Queries(S&Q)を紹介する。
各ポリシーに対して、LCMはアクティブな例とハードネガティブをオフラインで生成する。
埋め込みで訓練された独立ロジスティック分類器は、埋め込みとベクトルドット生成物を用いて関連性を予測する。
これは、それぞれのポリシーの分類器を独立して更新することを可能にしながら、高価な関連性評価をより小さな候補セットにシフトさせる。
254$τ^2$-benchの会話プレフィックスと36の航空会社ポリシーを含む9,144 LLM-judge関連ラベルに対して、S&Qは上位Kよりも精度が高く、評価されたリコールレベル毎にコサイン閾値検索を行い、2つの埋め込みプロバイダ間で一貫した結果を得る。
これらの知見は、顧客対応エージェントの下流評価作業量を削減するための実用的な第1段階として、安価な、サービスごとの分類を支援する。
関連論文リスト
- Beyond Ranking Accuracy: Evaluating LLM-Cited Feature Rationales for Next Basket Repurchase Recommendation [8.448769976533981]
大型言語モデル(LLM)は、特徴に基づく人間可読理性を通じて、そのような証拠を提示する潜在的方法を提供する。
我々は,リズム,頻度,傾向,ユーザ行動,アイテムの人気にまたがる再購入機能を構築した。
クロスモデル特徴マスキングプロトコルを用いて, LLM に係わる特徴とモデル固有属性法を比較した。
論文 参考訳(メタデータ) (2026-08-31T06:48:32Z) - Improving LLM-Based Go Code Review through Issue-List Generation and Context Augmentation [20.19657859180513]
本稿では,LSMが最重要事項のみを報告するのではなく,潜在的な問題をすべて列挙する課題リストレビューパラダイムを提案する。
次に、隣人、LSPベースのセマンティクス、IRベースの同様のコチェンジコンテキストの3つのタイプのコードコンテキスト拡張を比較します。
提案手法は,非コンテキストおよび文脈拡張世代から候補を統合してレビューカバレッジを向上させるとともに,改良誘導プルーニングを導入し,候補リストを実用的規模に維持する。
論文 参考訳(メタデータ) (2026-06-01T08:11:34Z) - Reflective Prompted Policy Optimization: Trajectory-Grounded Revision and Salience Bias [0.0]
本稿では,コンパクトなポリシークラスに対するポリシー探索のための2段階LLMフレームワークを提案する。
Critic-LLMは、結果のロールアウトを検査し、観察された状態、行動、報奨に基づくターゲットリビジョンを提案する。
R2POは10の環境で最高の報酬を得る。
論文 参考訳(メタデータ) (2026-05-08T14:26:40Z) - Cooperation and Exploitation in LLM Policy Synthesis for Sequential Social Dilemmas [6.599344783327054]
大規模言語モデルを用いて,マルチエージェント環境に対するエージェントポリシーを反復的に生成する。
強化学習を通じて神経政策を訓練する代わりに、我々のフレームワークはLLMにPythonポリシー関数を生成するよう促す。
疎度フィードバック(スカラー報酬のみ)と密度フィードバック(リワード+社会的指標:効率、平等、持続可能性、平和)を比較します。
論文 参考訳(メタデータ) (2026-03-19T20:27:48Z) - Value Compass Benchmarks: A Platform for Fundamental and Validated Evaluation of LLMs Values [76.70893269183684]
大きな言語モデル(LLM)は驚くべきブレークスルーを達成する。
価値を人間に合わせることは 責任ある開発に欠かせないものになっています
3つの望ましい目標を達成するLLMの評価はいまだに欠けている。
論文 参考訳(メタデータ) (2025-01-13T05:53:56Z) - Self-Calibrated Listwise Reranking with Large Language Models [137.6557607279876]
大規模言語モデル (LLM) はシーケンシャル・ツー・シーケンス・アプローチによってタスクのランク付けに使用されている。
この階調のパラダイムは、より大きな候補集合を反復的に扱うためにスライディングウインドウ戦略を必要とする。
そこで本稿では,LLMを用いた自己校正リストのランク付け手法を提案する。
論文 参考訳(メタデータ) (2024-11-07T10:31:31Z) - RepEval: Effective Text Evaluation with LLM Representation [55.26340302485898]
RepEvalは、評価のためにLarge Language Models(LLM)表現の投影を利用するメトリクスである。
我々の研究は、LLM表現に埋め込まれたテキスト品質に関する情報の豊かさを強調し、新しいメトリクスの開発のための洞察を提供する。
論文 参考訳(メタデータ) (2024-04-30T13:50:55Z) - Offline RL with No OOD Actions: In-Sample Learning via Implicit Value
Regularization [90.9780151608281]
インサンプルラーニング(IQL)は、データサンプルのみを使用して、定量的回帰によってポリシーを改善する。
サンプル内学習のパラダイムがtextitImplicit Value Regularization (IVR) フレームワークの下で生まれることを確認する。
Sparse $Q$-learning (EQL)とExponential $Q$-learning (EQL)の2つの実用的なアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-03-28T08:30:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。