論文の概要: PAYWORTHY: Can LLMs Predict Which Freelance Jobs an AI Agent Will Complete?

• arxiv url: http://arxiv.org/abs/2611.05759v1
• Date: Tue, 03 Nov 2026 23:59:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.905874
• Title: PAYWORTHY: Can LLMs Predict Which Freelance Jobs an AI Agent Will Complete?
• Title（参考訳）: PAYWORTHY:LLMはAIエージェントのフリーランス雇用を予測できるのか?
• Abstract要約: 我々は18のモデルに、エージェントが成功する確率を予測し、各モデルの予測が拒否されたジョブのランクをどれだけ高く評価するかを尋ねる。 エージェントがどのように説明されるかによって答えが変わる。エージェントができないこと、どのモデルもジョブをうまくランク付けする(AUC 0.66--0.86)。代わりに、ブラウザとコード実行を備えたジェネリックエージェントであり、同じモデルがランダムな順序付け(0.45--0.56)と同様に、同じジョブをランク付けする。
• 参考スコア（独自算出の注目度）: 3.5225086472550315
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Before an AI agent takes on a paid job, someone has to judge whether it is likely to succeed. We test whether frontier language models can make this call before any attempt. We propose PAYWORTHY which contains 1{,}494 real freelance job postings, sampled from 18.8M postings made between 2020 and 2026 on a freelancing platform. An agent attempts each job from the posting alone in a single run, and an LLM judge acting as the client decides whether to accept the work. We ask 18 models to forecast how likely the agent is to succeed and measure how well each model's forecasts rank the accepted jobs above the rejected ones (AUC, where 0.5 is a random ranking). The answer depends on how the agent is described. Told what the agent cannot do, every model ranks the jobs well (AUC 0.66--0.86). Told instead that it is a generic agent with a browser and code execution, the same models rank the same jobs about as well as a random ordering (0.45--0.56). These results hold under judges from four other model families (Claude, GLM, Kimi and Qwen), and the informed forecasts also rank the verdicts of two human raters. Code is available at https://github.com/upwork/Payworthy
• Abstract（参考訳）: AIエージェントが有給の仕事に入る前に、誰かがそれが成功するかどうかを判断しなければならない。 試行する前に、フロンティア言語モデルでこの呼び出しができるかどうかをテストする。 本研究では,2020年から2026年にかけての188万件の投稿から採取した1{,}494件の実際のフリーランス求職情報を含むPAYWORTHYを提案する。 エージェントは、単一のランで投稿から各ジョブを試み、クライアントとして行動するLCM判事は、その作業を受け入れるかどうかを判断する。 我々は18のモデルに対して、エージェントが成功する確率を予測し、各モデルの予測が拒否されたジョブ(0.5がランダムなランキングであるAUC)よりもどれだけうまくランク付けできるかを判断する。 答えはエージェントがどのように記述されるかによって異なります。 エージェントができないことは、すべてのモデルがジョブをうまくランク付けする(AUC 0.66--0.86)。代わりに、ブラウザとコード実行を備えたジェネリックエージェントであり、同じモデルがランダムな順序付け(0.45--0.56)と同様に、同じジョブをランク付けする。 これらの結果は、他の4つのモデルファミリー(Claude、GLM、Kimi、Qwen)の審査下にあり、情報提供された予測は、2人のレイパーの評決もランク付けする。 コードはhttps://github.com/upwork/Payworthyで入手できる。

関連論文リスト

• JevAgentHarness: Benchmarking, Deploying and Training Decision Models That Share Control with LLMs [67.3059941230326]
  大規模言語モデル(LLM)エージェントは、ソフトウェアを修正し、コンピュータを操作し、顧客にサービスを提供するが、そのハーネス、そしてそれらを実行するプログラムは、すべてのステップで大きなLLMを呼び出す。 ハーネスがこれらの決定を、ほとんど成功しない決定モデルに委譲する方法を問う。 AgentDecisionBenchは独立した質問から決定モデルをテストし、公開ベンチマークとDecisionGym環境上で実行中のエージェントを制御する。 次に、JevAgentHarnessを設計します。これは、エージェント自身の軌道上の各選択のしきい値に適合し、LLMがその下にあることを判断します。
  論文  参考訳（メタデータ） (2026-10-15T07:27:08Z)
• Why Do Agent Teams Fail Across Boundaries? A Failure Taxonomy for Agent-to-Agent Systems with Private States [96.00953129073133]
  エージェント・ツー・エージェント(A2A)のシナリオでは、各エージェントは独自の環境を持ち、他のエージェントが見ることができない情報と権限を持っている。 既存のマルチエージェントシステム障害研究では、1つのオーケストレータ、共有ワークスペース、または1つのプリンシパルが想定されている。 我々は、異なるエージェントハーネスとモデルで構築された2500以上のA2Aシステムについて研究する。
  論文  参考訳（メタデータ） (2026-10-14T00:36:08Z)
• Humanize: Judgement Engineering for Agentic Coding [15.23298019734051]
  我々は、判断工学を中心に構築されたエージェントコーディングのためのマルチエージェントオーケストレーションワークフローであるHumanizeを紹介する。 人間がプラン契約を承認し、ビルダーエージェントがそれをラウンドで実装し、他のベンダーのレビュアーエージェントが完了を決定する。 我々は,Humanizeの展開,実ループの公開後118件,とその応用について検討する。
  論文  参考訳（メタデータ） (2026-10-06T17:54:42Z)
• Agent Skill Evolution: How Revisions Affect Coding Agents [14.22442992777441]
  我々は、エージェントのハーネスの設定とともに、スキルがどのように進化し、どのように変化するかを特徴付ける。 ほとんどのリビジョン(55%)はルールやプロシージャを変更し、CLAUDE.mdのようなスキル変更ファイルを同じサイズの他のコミットよりも頻繁に修正するコミットである。 修正では、単一の回答に18-19%の入力トークンを追加し、エージェントエピソードには検出可能なコストがかからない一方で、スキル本体をロードすると、エピソードのトークンが平均50%上昇する。
  論文  参考訳（メタデータ） (2026-10-04T00:33:46Z)
• The Meta-Agent Challenge: Are Current Agents Capable of Autonomous Agent Development? [80.24951682268332]
  本稿では,自律エージェント開発のためのフロンティアモデルのキャパシティをテストするための評価フレームワークであるMeta-Agent Challenge(MAC)を紹介する。 評価の整合性を確保するため、このフレームワークは報奨ハッキングに対する多層防御によって確保される。 メタエージェントは人間工学的な基本方針とほとんど一致せず、その一部はプロプライエタリなフロンティアモデルに支配されている。
  論文  参考訳（メタデータ） (2026-06-03T04:58:17Z)
• LLM Agents Predict Social Media Reactions but Do Not Outperform Text Classifiers: Benchmarking Simulation Accuracy Using 120K+ Personas of 1511 Humans [36.156330303795016]
  この研究では、12万以上のエージェントとペルソナの組み合わせに対して、人のソーシャルメディア反応(嫌い、コメント、共有、反応なし)を予測する精度をベンチマークします。 エージェントは70.7%の精度を達成し、LSMの選択は13ポイントのパフォーマンスを拡大した。 ゼロショットのペルソナプロンプトエージェントの真の予測正当性は、行動的に異なるAIエージェントの群れをソーシャルメディアに簡単に展開することで潜在的な操作を警告する。
  論文  参考訳（メタデータ） (2026-03-31T19:27:59Z)
• Embedded Universal Predictive Intelligence: a coherent framework for multi-agent learning [57.23345786304694]
  予測学習のための枠組みと自己予測を中心とした組込みエージェントを導入する。 マルチエージェント設定では、エージェントが類似したアルゴリズムを実行している他のエージェントについて推論することができる。 我々は、AIXIの理論を拡張し、Solomonoffから始まる普遍的なインテリジェントな埋め込みエージェントについて研究する。
  論文  参考訳（メタデータ） (2025-11-27T08:46:48Z)
• Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
  数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。 モデル、足場、ベンチマークにまたがる3次元解析を行う。 私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
  論文  参考訳（メタデータ） (2025-10-13T22:22:28Z)
• AgentGym: Evolving Large Language Model-based Agents across Diverse Environments [116.97648507802926]
  大規模言語モデル(LLM)はそのようなエージェントを構築するための有望な基盤と考えられている。 我々は、自己進化能力を備えた一般機能 LLM ベースのエージェントを構築するための第一歩を踏み出す。 我々はAgentGymを提案する。AgentGymは、幅広い、リアルタイム、ユニフォーマット、並行エージェント探索のための様々な環境とタスクを特徴とする新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-06-06T15:15:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。