論文の概要: Interaction-as-a-Judge

• arxiv url: http://arxiv.org/abs/2610.17895v2
• Date: Wed, 14 Oct 2026 06:37:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.549773
• Title: Interaction-as-a-Judge
• Title（参考訳）: インタラクション・アズ・ア・ジャッジ
• Abstract要約: コンピュータ利用エージェント(CUA)がアプリケーションと直接対話する評価パラダイムであるInteraction-as-a-Judgeについて検討する。 標準的な非対話的アプローチとは対照的に、インタラクション・アズ・ア・ジャッジは人間の嗜好を予測することで評価を改善する。 優先順位調整と要件検証の両面から、高品質なインタラクションによってパフォーマンスが向上する、というスケーリングのメリットも観察しています。
• 参考スコア（独自算出の注目度）: 84.01557166157401
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Coding agents are tasked with producing sophisticated interactive applications such as websites, desktop applications, and games. While humans assess these applications interactively, current automated LLM evaluations primarily focus on code analysis and unit tests. This mismatch can cause LLM judges to miss failures that are immediately apparent to human users. We study Interaction-as-a-Judge, an evaluation paradigm where computer-use agents (CUAs) directly interact with an application. We demonstrate that Interaction-as-a-Judge can improve both evaluation and generation of interactive applications. To this end, we collect and release two complementary datasets: $6,858$ pairs of applications with human preferences and corresponding agent traces, and $222$ applications with human-verified requirement labels. Relative to standard non-interactive approaches, we find that Interaction-as-a-Judge improves evaluation in terms of predicting human preferences ($65.6\% \to 69.1\%$) and requirement verification ($77.0\% \to 81.6\%$). We also observe scaling benefits: across both preference alignment and requirement verification, higher-quality interactions improve performance. Finally, through both inference- and training-time experiments, we demonstrate that Interaction-as-a-Judge can also improve the quality of generated artifacts. At inference time, Interaction-as-a-Judge repairs $75.5\%$ of broken requirements within five attempts, compared to $55.4\%$ for code-only self-feedback. At training time, using Interaction-as-a-Judge as a reward signal improves win-rate over the base model by $6.7$pp while reducing both generated code length by $35.7\%$ and build failure rates by $7.2$pp compared to a code-only reward signal.
• Abstract（参考訳）: コーディングエージェントはウェブサイト、デスクトップアプリケーション、ゲームなどの高度なインタラクティブアプリケーションを作成することを任務としている。 人間はこれらのアプリケーションをインタラクティブに評価するが、現在の自動LLM評価は主にコード分析と単体テストに焦点を当てている。 このミスマッチにより、LSM判事は、すぐに人間のユーザーにとって明らかな失敗を見逃す可能性がある。 コンピュータ利用エージェント(CUA)がアプリケーションと直接対話する評価パラダイムであるInteraction-as-a-Judgeについて検討する。 インタラクション・アズ・ア・ジャッジ(Interaction-as-a-Judge)は対話型アプリケーションの評価と生成の両方を改善することができることを示す。 この目的のために、人間の好みと対応するエージェントトレースを持つアプリケーション対6,858ドルのアプリケーションと、人間認証された要件ラベルを持つ222ドルのアプリケーションという、2つの補完的なデータセットを収集し、リリースします。 通常の非対話的アプローチとは対照的に、インタラクション・アズ・ア・ジャッジは人間の嗜好を予測すること(65.6\% \to 69.1\%$)と要件検証(77.0\% \to 81.6\%$)で評価を改善する。 優先順位調整と要件検証の両面から、高品質なインタラクションによってパフォーマンスが向上する、というスケーリングのメリットも観察しています。 最後に、推論時間とトレーニング時間の両方の実験を通して、インタラクション・アズ・ア・ジャッジが生成したアーティファクトの品質を向上させることを実証する。 推論時において、Interaction-as-a-Judgeは5回の試行で破れた要求の75.5\%を修復するが、コードのみの自己フィードバックは55.4\%である。 トレーニング時には、Interaction-as-a-Judgeを報酬信号として使用することで、ベースモデルの勝利率を6.7$pp向上させ、生成したコード長を35.7$%、ビルド失敗率を7.2$pp削減する。

関連論文リスト

• Scaling Laws for Agent Harnesses via Effective Feedback Compute [53.68149869349268]
  emphEffective Feedback Compute (EFC)は、情報的、有効、非冗長な場合にのみフィードバックを信用し、その後の決定のために保持するトレースレベルのスケーリング座標である。 EFCベースの座標は、生の計算ベースラインよりも失敗率を常に予測する。
  論文  参考訳（メタデータ） (2026-05-28T09:45:47Z)
• Towards Human-Like Interactive Speech Recognition With Agentic Correction and Semantic Evaluation [53.844308305341166]
  単一パスのASRフロントエンドと意味的訂正,意図のルーティング,推論に基づく編集を組み合わせた閉ループフレームワークである textbfAgentic ASR を提案する。 複数言語、名前付き集中型、コードスイッチングベンチマークの実験は、反復的相互作用が意味的誤りを一貫して減少させることを示している。
  論文  参考訳（メタデータ） (2026-05-28T06:23:31Z)
• Beyond the Assistant Turn: User Turn Generation as a Probe of Interaction Awareness in Language Models [3.9351446512514947]
  ユーザ・ターン・ジェネレーションはLLMの振る舞いやインタラクション・アウェアネスの次元を捉えており、現在のアシスタント・オンリー・ベンチマークでは探索されていない。 この結果から,ユーザターン生成はLLMの振る舞いやインタラクションの認識の次元を捉えていることがわかった。
  論文  参考訳（メタデータ） (2026-04-02T17:57:29Z)
• A Rubric-Supervised Critic from Sparse Real-World Outcomes [87.11204512676193]
  現実のコーディングエージェントは、成功信号がノイズが多く、遅延し、スパースであるループで人間と動作します。 本稿では,RLに基づくトレーニングや推論時間スケーリングの報奨モデルとして,スパースとノイズの相互作用データから"批判的"モデルを学習するプロセスを提案する。
  論文  参考訳（メタデータ） (2026-03-04T07:23:54Z)
• Runaway is Ashamed, But Helpful: On the Early-Exit Behavior of Large Language Model-based Agents in Embodied Environments [54.67512489842682]
  大規模言語モデル(LLM)は、複雑な実施環境において、強力な計画と意思決定能力を示す。 LLMをベースとしたエージェントの早期退避行動を探究する第一歩を踏み出す。
  論文  参考訳（メタデータ） (2025-05-23T08:23:36Z)
• Mind the Gap! Static and Interactive Evaluations of Large Audio Models [55.87220295533817]
  大型オーディオモデル(LAM)は、音声ネイティブな体験をパワーアップするために設計されている。 本研究は,484名の参加者から,LAMを評価し,7,500名のLAMインタラクションを収集する対話的アプローチを提案する。
  論文  参考訳（メタデータ） (2025-02-21T20:29:02Z)
• Interact with me: Joint Egocentric Forecasting of Intent to Interact, Attitude and Social Actions [25.464036307823974]
  SocialEgoNetはグラフベースのフレームワークで、階層的な学習アプローチを通じてタスク依存を利用する。 SocialEgoNetは、高い推論速度のためにビデオ入力のわずか1秒から抽出されたボディスケルトン(顔、手、体からキーポイント)を使用する。 評価のために、新しいクラスラベルとバウンディングボックスアノテーションとの既存のエゴセントリックなヒューマンエージェントインタラクションを強化する。
  論文  参考訳（メタデータ） (2024-12-21T16:54:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。