論文の概要: Interaction Readiness: A Framework for Building and Evaluating AI Agents in Human Roles
- arxiv url: http://arxiv.org/abs/2608.12358v1
- Date: Sat, 04 Jul 2026 19:39:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.190826
- Title: Interaction Readiness: A Framework for Building and Evaluating AI Agents in Human Roles
- Title（参考訳）: インタラクションの準備:人間の役割におけるAIエージェントの構築と評価のためのフレームワーク
- Abstract要約: 本稿では、その欠落したパフォーマンス層を特定し評価するためのフレームワークとして、Interaction Readinessを紹介します。
このフレームワークは、エージェントが知っていることや言うことを管理するコンテンツ仕様と、エージェントがロールが支配する交換の中でどのように行動すべきかを定義するインタラクション仕様を分離する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Product and engineering teams building role-bearing AI agents face an evaluation gap: an agent can produce accurate, safe, and fluent content while still failing the behavioral requirements of its assigned role. This paper introduces Interaction Readiness as a framework for specifying and evaluating that missing layer of performance. The framework separates content specifications, which govern what an agent knows and says, from interaction specifications, which define how an agent should conduct itself in a role-governed exchange. Interaction specifications require teams to define role purpose, authority boundaries, recurring situations, boundary cases, repair behaviors, and audit criteria before deployment. We operationalize interaction readiness through four agent operations: understanding purpose, calibrating authority, managing tone, and repairing breakdowns. Using StudyChat, a public dataset of student interactions with an AI tutoring agent, we show that content accuracy and interaction quality are independent dimensions: an agent may be factually correct while failing as a tutor, or interactionally sound while technically wrong. The most persistent failure is authority miscalibration: the agent often knows how to answer, but not whether, when, or how the tutor role permits it to answer. The paper translates these findings into a specification template and audit procedures that product and engineering teams can apply before and after deployment
- Abstract（参考訳）: ロールを持つAIエージェントを構築するプロダクトとエンジニアリングチームは、評価のギャップに直面している。エージェントは、割り当てられたロールの振る舞い要件を落としながら、正確で、安全で、流動的なコンテンツを生成することができる。
本稿では、その欠落したパフォーマンス層を特定し評価するためのフレームワークとして、Interaction Readinessを紹介します。
このフレームワークは、エージェントが知っていることや言うことを管理するコンテンツ仕様と、エージェントがロールが支配する交換の中でどのように行動すべきかを定義するインタラクション仕様を分離する。
インタラクション仕様では、チームがロール目的、権限境界、繰り返し状況、境界ケース、修復行動、デプロイメント前の監査基準を定義する必要があります。
我々は、目的理解、権限の調整、トーンの管理、故障の修復という4つのエージェント操作を通じて、インタラクションの即応性を運用する。
学習者のAI学習エージェントとのインタラクションの公開データセットであるStudioChatを用いて、コンテンツ精度と相互作用品質が独立した次元であることを示す。
エージェントは答えの仕方をよく知っているが、いつ、いつ、どのようにチューターの役割が答えを許すかは知らない。
本論文は,これらの知見を,製品およびエンジニアリングチームがデプロイ前後に適用可能な仕様テンプレートと監査手順に変換する。
関連論文リスト
- EMERGE-Policy: A Robot Mind Emerges Beyond a Single Policy [48.898967774856466]
EMERGE-Policyは機能呼び出しと情報交換の両方をコーディネートする。
Main Agentはアクティブなコンテキストウィンドウ内でタスクレベルの状態を保持する。
ロール固有のサブエージェント プロセスの認識、実行監視、検証、メモリ統合。
論文 参考訳（メタデータ） (2026-08-30T16:46:06Z) - Agent Gym: A Framework for Continuous Evaluation and Evolution of LLM Agents Through Human-in-the-Loop Feedback [0.0]
大きな言語モデル(LLM)エージェントは、基本的な緊張に直面します。エージェントの動作は、デプロイ時に凍結されますが、処理するビジネスルールとエッジケースは、進化し続けます。
既存のアプローチではエージェント構築とワンタイム評価を行うが、継続的デプロイ後の動作補正のための構造的メカニズムは提供しない。
我々はAgent Gymを紹介した。Agent Gymはモジュール型のドメインに依存しないフレームワークで、既存のLLMベースのエージェントを連続的な評価と進化のループでラップする。
論文 参考訳（メタデータ） (2026-08-16T07:27:26Z) - Skill Use or Skill Theater? Evaluating the Reasoning Backroom in Skill-Augmented Language Agents [19.325317938976355]
我々は、スキル強化エージェントが、前述のスキル使用と介入測定の影響の体系的なギャップであるtextbfReasoning Backroom を提示するかどうかを問う。
BACKTRACE(BACKTRACE)は,各スキル条件の回答と一致した非スキルのカウンターファクトとをペアリングする評価フレームワークである。
BACKROOMBenchは、制御された論理と競合数学にまたがる検証ベッドである。
論文 参考訳（メタデータ） (2026-07-29T21:59:20Z) - AI Agents Do Not Fail Alone:The Context Fails First [0.0]
本稿では,エージェント信頼性の独立指標としてコンテキストエンジニアリングの品質を評価する。
我々は,AIエージェント評価のためのオープンソースのインフラストラクチャであるProofAgent-Harnessで測定を実装した。
文脈品質基準は, 常に対応する行動結果を予測する。
論文 参考訳（メタデータ） (2026-07-15T18:33:02Z) - From Question Answering to Task Completion: A Survey on Agent System and Harness Design [67.8241530947325]
本研究はモデルハーネスレンズを用いてLCMをベースとしたエージェントについて検討する。
まず, LLMをベースとしたエージェントを基礎モデルと実行ハーネスとして, エージェントの機能的定義と実装の視点を明らかにする。
次に、モデル中心のスケーリングの限界を分析し、エージェントエンジニアリングの4つのパラダイムをトレースし、実行ハーネスを6つの結合ランタイム責任に分解する。
論文 参考訳（メタデータ） (2026-06-14T05:40:16Z) - Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment [59.536125286960186]
セルフリフレクションと相互監査を可能にするために、専門的な役割を割り当てるマルチエージェントフレームワークがますます採用されている。
アクター・オブザーバ非対称性(Actor-Observer Asymmetric)と呼ばれる認知バイアスを同時に誘発する。
ReTASは、対立する視点を客観的なコンセンサスに合成するためにエージェントを誘導する。
論文 参考訳（メタデータ） (2026-04-21T15:05:58Z) - Talk, Evaluate, Diagnose: User-aware Agent Evaluation with Automated Error Analysis [3.3237915628874632]
効果的なエージェント評価は、会話の質、効率性、およびエージェントエラーの体系的診断を取り入れて、正確性のみに留まらないと論じる。
エージェントの旋回効率と中間進捗を両立させる新しい指標を提案する。
TEDフレームワークは、モデルとユーザの専門知識レベルをまたいだエージェントパフォーマンスに関する新たな洞察を明らかにします。
論文 参考訳（メタデータ） (2026-03-16T16:14:28Z) - The Why Behind the Action: Unveiling Internal Drivers via Agentic Attribution [63.61358761489141]
LLM(Large Language Model)ベースのエージェントは、カスタマーサービス、Webナビゲーション、ソフトウェアエンジニアリングといった現実世界のアプリケーションで広く使われている。
本稿では,タスク結果に関係なく,エージェントの動作を駆動する内部要因を識別する,テキスト汎用エージェント属性のための新しいフレームワークを提案する。
標準ツールの使用やメモリ誘起バイアスのような微妙な信頼性リスクなど、さまざまなエージェントシナリオでフレームワークを検証する。
論文 参考訳（メタデータ） (2026-01-21T15:22:21Z) - Toward a Theory of Agents as Tool-Use Decision-Makers [89.26889709510242]
真の自律性は、エージェントが、彼らが知っていること、必要なこと、そしてその知識を効率的に獲得する方法を統治する、一貫性のある疫学の枠組みに根ざす必要がある、と我々は主張する。
本研究では,内的推論と外的行動を等価な疫学ツールとして扱う統一理論を提案し,エージェントが内観と相互作用を体系的に調整することを可能にする。
この視点は、エージェントの設計を単なるアクションエグゼクタから知識駆動インテリジェンスシステムにシフトさせ、適応的で効率的でゴール指向の行動が可能な基礎エージェントを構築するための原則化された道筋を提供する。
論文 参考訳（メタデータ） (2025-06-01T07:52:16Z) - SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。
提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。
我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
論文 参考訳（メタデータ） (2025-03-11T17:53:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。