Efficient Test-Time Adaptation through Human-AI Interaction
Abstractの概要
本論文では、対話型AIエージェントが自由形式タスクにおいて個々の人間の専門知識に適応できるようにするフレームワークであるTAHI（Test-time Adaptation through Human-agent Interaction）を提案しています。TAHIは、メッセージ、計画の調整、成果物の直接編集、ルーブリックの調整を含むマルチターンの対話シグナルと、対話履歴を評価ルーブリックに変換する進化型検証モジュールを活用し、エージェントのコンテキスト（メモリやスキル）またはDirect Preference Optimizationを通じたモデルの重みを更新します。著者らは、論文のアブストラクト執筆およびデータ可視化に関する600タスクにおいて、30人の参加者を対象にエージェントを適応させることでフレームワークを評価しました。その結果、エージェントは共有されたドメイン標準を獲得しつつ、20回のタスクセッション以内で個々のユーザーの好みに効率的に適応することが示されました。
新規性
TAHIは、マルチチャネルかつセッション横断的な人間とエージェントの対話をストリーミング監視シグナルとして捉え、コンテキストとモデルの重みの双方にわたる効率的なテスト時適応を実現します。また、パーソナライゼーションと、ユーザーの対話履歴から評価ルーブリックを動的に抽出・洗練する進化型検証モジュールを統合しています。
成果
オンライン適応において、コンテキスト適応型および重み適応型エージェントは単独タスクの成功率をそれぞれ4.5〜12.9%、4.5〜20.9%向上させ、未適応のベースラインに対して統計的に有意な改善を示し、保留タスクにも汎化しました。進化したルーブリックは、不完全なエージェントの出力において、LLMや人間単独で生成されたルーブリックよりも16.0〜22.3%多くの失敗モードを捉えました。さらに、メッセージ以外のアクションを統合した手法はメッセージのみのフィードバックを上回り、重み適応はコンテキスト適応と比べて入力トークン数を62.6〜88.3%削減し、高い推論効率を達成しました。
論文の注目点
- TAHIは、アブストラクト執筆やデータ可視化タスクにおいてマルチチャネルの対話シグナルを用い、テスト時にエージェントを個々の人間の専門家に適応させます。
- 進化型ルーブリックモジュールは対話トレースから直接包括的な評価基準を導出し、静的なLLMや人間のルーブリックよりも大幅に多くの失敗モードを捉えます。
- コンテキスト適応と重み適応の双方が単独でのタスク性能を大幅に向上させ、特に重み適応は推論時において優れたトークン効率を実現します。