論文の概要: AdaT$^2$: Adaptive Test Transformations for Black-Box Boundary Testing of Conversational Agents
- arxiv url: http://arxiv.org/abs/2610.10141v1
- Date: Wed, 07 Oct 2026 14:19:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:22.957051
- Title: AdaT$^2$: Adaptive Test Transformations for Black-Box Boundary Testing of Conversational Agents
- Title（参考訳）: AdaT$^2$: 会話エージェントのブラックボックス境界検定のための適応型テスト変換
- Abstract要約: AdaT$2$は、LLMがユーザとして振る舞う探索的な会話において、エージェントの応答からステートメントを抽出する。
ステートメントとテスト変換命令のペアによってガイドされた変換テストを記述する。
我々のベンチマークは、各境界の2つの側面を別々にカウントし、エージェントのプロンプト、ツールコード、知識ベースによって明確に定義された境界を区別します。
- 参考スコア（独自算出の注目度）: 3.1965114352088295
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conversational agents based on large language models (LLMs) must comply with policies. Each condition in a policy draws a boundary between user requests, and the agent must behave differently on its two sides. We present AdaT$^2$, which extracts statements from the agent's replies in exploratory conversations with an LLM acting as the user, and uses the statements to guide boundary test generation. Each statement describes one condition and the behavior expected when the condition holds. Besides plain tests guided by single statements, AdaT$^2$ writes transformed tests guided by pairs of a statement and a test transformation instruction, such as "omit one required input". The instruction of a pair can move a test to the other side of the statement's boundary or to another boundary. The statements and instructions form far more pairs than a run can try, and many pairs are not applicable. Adaptive pair selection therefore chooses the statement of each pair by novelty and the instruction with the bandit algorithm Bayes-UCB, which learns from whether earlier pairs yielded a test and whether the agent passed it according to an LLM judge. Our benchmark counts the two sides of each boundary separately and distinguishes boundaries explicitly defined by the agent's prompt, tool code, or knowledge base from boundaries that the agent's LLM infers from domain knowledge. On four domains of $τ^3$-bench, 62.7% to 83.3% of AdaT$^2$'s tests are valid boundary tests whose expected behavior is explicitly defined, higher in every domain than AgentEval's (47.7% to 68.1%). Transformed tests add 13 to 46 explicitly defined boundaries that plain tests miss. As regression tests, AdaT$^2$'s test suites detect all eight seeded policy faults in the airline domain and four of eight in the retail domain, and AgentEval's test suites, with fewer than a third as many tests, detect five and two, respectively.
- Abstract（参考訳）: 言語モデル(LLM)に基づく会話エージェントはポリシーに従う必要がある。
ポリシーの各条件は、ユーザリクエスト間のバウンダリを描画し、エージェントは、その両側で異なる振る舞いをしなければならない。
AdaT$^2$ は,ユーザとして行動する LLM との探索的な会話において,エージェントの応答から文を抽出し,その文を用いて境界テスト生成をガイドする。
各ステートメントは、条件が保持されたときに期待される1つの条件と振舞いを記述します。
AdaT$^2$は、単一のステートメントでガイドされるプレーンテストに加えて、ステートメントとテスト変換命令のペアによってガイドされる変換テストを記述する。
ペアの命令は、テストをステートメントの境界の反対側、あるいは別のバウンダリに移動させることができる。
文と命令は、実行が試せるものよりもはるかに多くのペアを形成し、多くのペアは適用できない。
したがって、適応的なペア選択は、各ペアのステートメントを新規性によって選択し、バンディットアルゴリズムであるBayes-UCBで命令する。
我々のベンチマークでは、各境界の両側を別々にカウントし、エージェントのプロンプト、ツールコード、知識ベースによって明確に定義された境界を、エージェントのLCMがドメイン知識から推論する境界から区別する。
τ^3$-benchの4つのドメインでは、AdaT$^2$のテストの62.7%から83.3%は、期待される振る舞いが明示的に定義され、A AgentEvalの(47.7%から68.1%)よりも高いバウンダリテストである。
変換されたテストは、プレーンテストが見逃す境界を13から46に明示的に定義する。
回帰テストとして、AdaT$^2$のテストスイートは、航空会社ドメイン内の8つのシードされたポリシー欠陥と、小売ドメイン内の8つのうち4つを検知し、AgenEvalのテストスイートは、それぞれ5つと2つを検知する。
関連論文リスト
- ExecCritic: Learn to Test, Test to Improve for Coding Agents [68.42713285082912]
実行時のフィードバックは、コーディングエージェントを正しいリポジトリの修復に導くことができますが、テストが問題によって要求された振る舞いをキャプチャした場合のみです。
ExecCriticを導入し、テスト-検証-修正足場と、その中のトレーニングエージェントのためのロール固有の強化学習レシピを組み合わせる。
テストエージェントが独立してリポジトリネイティブなテストを生成し、フェイルクローズされたハーネスがそれらを調整して凍結し、リカバリエージェントがテストを変更することなく、ソースコードを実行フィードバックから修正する。
論文 参考訳（メタデータ） (2026-09-08T17:53:37Z) - Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。
反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
論文 参考訳（メタデータ） (2026-09-02T08:10:22Z) - IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages [77.88427845181154]
我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。
セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
論文 参考訳（メタデータ） (2026-08-17T09:50:52Z) - Test-time reasoning effort and unauthorized tool use in language-model agents: a prespecified equivalence study [1.6787220460106658]
ツールコールを通じて実行される言語モデルエージェントは、各ロールが実行する操作を制限するアクセス制御ポリシーの下で動作します。
TRIO-20の14の確認シナリオにおいて, GPT-5.6内の推論の努力(低, 最大)が異なる。
840の軌道と2つのモデル層にまたがって、認可されていないツールコールは発生しなかった。
論文 参考訳（メタデータ） (2026-08-04T06:01:14Z) - Beyond Test Presence: Assessing the Quality and Robustness of Agent-Generated Tests in Open-Source Projects [2.9713899640333348]
AIによるコーディングエージェントを継続的インテグレーション/継続的デリバリパイプラインに統合することは、ソフトウェア検証の実施方法を根本的に変えた。
これらのエージェントは、テスト生成の自動化に成功したが、現在の評価ベンチマークは、生成されたテストの本質的な品質よりも、パスレートに重点を置いている。
AIDevデータセットから得られた24,941の人間が作成したファイルと179,732のエージェント生成ファイルからなる204,673個のテストアーティファクトを比較した。
論文 参考訳（メタデータ） (2026-07-13T18:40:24Z) - Mining Workflow Graphs for Black-Box Boundary Testing of Conversational LLM Agents [2.9512821350868754]
我々は、ステートフル境界を発見し、強調するブラックボックステスティングフレームワークであるAgentEvalを提案する。
盲目的にプロンプトする代わりに、AgentEvalはこのグラフの構造を使って特定のガードと前提条件をテストターゲットとして列挙する。
我々はAgentEvalを、エージェントの基盤となるソースコードにアクセス可能な特権付きホワイトボックス監査者に対してベンチマークします。
論文 参考訳（メタデータ） (2026-07-08T00:11:41Z) - TensorBench: Benchmarking Coding Agents on a Compiler-Based Tensor Framework [0.9012337166501982]
CohenBenchはオープンソースのコンパイラベースのフレームワーク上のタスクのベンチマークである。
エージェントのパッチを適用して、フレームワークのテストスイートを実行することで、各実行をグレードする。
3つのフロンティアモデルファミリーと1つのオープンウェイトモデルにまたがる7つの符号化エージェントを評価した。
論文 参考訳（メタデータ） (2026-06-04T01:42:40Z) - Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。
各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。
これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
論文 参考訳（メタデータ） (2026-04-20T13:25:40Z) - ClawArena: Benchmarking AI Agents in Evolving Information Environments [61.664633997138004]
ClawArenaは、進化する情報環境におけるAIエージェントの評価のためのベンチマークである。
それぞれのシナリオは、エージェントをノイズ、部分的、時には矛盾するトレースだけに露呈しながら、完全に隠された地上の真実を維持します。
評価は、マルチソースコンフリクト推論、動的信念修正、暗黙のパーソナライゼーションという3つの複合的な課題に基づいて構成される。
論文 参考訳（メタデータ） (2026-04-05T17:55:23Z) - Test-Driven AI Agent Definition (TDAD): Compiling Tool-Using Agents from Behavioral Specifications [0.0]
テスト駆動型AIエージェント定義(TDAD)は、エージェントプロンプトをコンパイルされたアーティファクトとして扱う方法論である。
SpecSuite-CoreのTDADは、ポリシーコンプライアンス、グラウンドド・アナリティクス、ランブックの遵守、決定論的強制にまたがる4つのエージェントのベンチマークである。
論文 参考訳（メタデータ） (2026-03-09T18:04:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。