論文の概要: Vibe Patenting: Evaluating LLM Judges for Professional Patent-Drafting Agents

• arxiv url: http://arxiv.org/abs/2609.13422v1
• Date: Fri, 11 Sep 2026 18:39:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.306352
• Title: Vibe Patenting: Evaluating LLM Judges for Professional Patent-Drafting Agents
• Title（参考訳）: Vibe Patenting: LLMの審査員を専門家のパテント描画エージェントとして評価する
• Abstract要約: LLM審査員はAI生成出力の評価と改善にますます利用されている。 我々は、AIエージェント評価のためのエンドツーエンドの特許描画テストベッドであるVibe Patentingを通じてこの問題を研究する。
• 参考スコア（独自算出の注目度）: 17.579887314009053
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM judges are increasingly used to evaluate and improve AI-generated outputs, yet their reliability for complex professional work remains unclear. We study this problem through Vibe Patenting, an end-to-end patent-drafting testbed for AI-agent evaluation. A separately-invoked LLM judge evaluates generated patent drafts and provides structured feedback for iterative revision. Across multiple inventions and drafting-agent configurations, judge-guided revision consistently improves judge-assessed quality, while unguided revision tends to saturate. Notably, iterative judge feedback enables a low-reasoning agent to approach the performance of a substantially more expensive high-reasoning agent. Stronger models and increased reasoning generally improve judge-assessed drafting quality, while domain-specific agentic workflows provide further gains. We validate the judge against independent evaluation by a professional patent attorney and find meaningful but strongly metric-dependent agreement and systematic calibration differences. These results highlight both the utility and limitations of LLM judges as evaluators and optimization signals for complex professional workflows.
• Abstract（参考訳）: LLMの審査員はAI生成出力の評価と改善にますます使用されているが、複雑な専門的な作業に対する信頼性はまだ不明である。 我々は、AIエージェント評価のためのエンドツーエンドの特許描画テストベッドであるVibe Patentingを通じてこの問題を研究する。 別々に請求されたLLM判事は、生成された特許草案を評価し、反復的な修正のために構造化されたフィードバックを提供する。 複数の発明や起草者構成にまたがって、審査指導による改定は、判定評価の品質を一貫して改善する一方、無指導の改定は飽和する傾向にある。 特に、反復的判断フィードバックは、より高価な高利得剤の性能にアプローチする低利得剤を可能にする。 より強力なモデルと推論の増大は、一般的に判断されたドラフト品質を改善する一方、ドメイン固有のエージェントワークフローはさらに向上する。 我々は、専門家の特許弁護士による独立性評価に対する審査を検証し、意味があるが強力なメートル法に依存した合意と体系的な校正の相違を見出す。 これらの結果は、LLM審査員の実用性と限界の両方を、複雑なプロフェッショナルワークフローのための評価器および最適化信号として強調する。

関連論文リスト

• DA-RAC: Distance-Aware Calibration of LLM Judges for Trustworthy AI Auditing [6.639255145889912]
  DA-RAC(DA-RAC)は、LLM審査員のための距離対応基準アンコール式校正法である。 キャリブレーションを改善し、ゼロショット、チェーンオブ思想評価、静的アンカーベースラインに対する偽パスリスクを低減する。
  論文  参考訳（メタデータ） (2026-08-15T00:29:25Z)
• Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
  本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。 REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。 私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
  論文  参考訳（メタデータ） (2026-05-18T23:55:08Z)
• Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
  大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。 このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。 我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
  論文  参考訳（メタデータ） (2026-01-21T06:07:43Z)
• Mitigating Judgment Preference Bias in Large Language Models through Group-Based Polling [26.377421806098187]
  自動評価器としての大規模言語モデル(LLM)が注目されている。 LLMは自分自身が生み出す反応を好む傾向があり、判断の信頼性を損なう。 本稿では,教師なしマルチエージェント協調最適化フレームワークであるグループベースポーリング最適化(Genii)を紹介する。
  論文  参考訳（メタデータ） (2025-10-09T12:32:31Z)
• CompassJudger-2: Towards Generalist Judge Model via Verifiable Rewards [72.44810390478229]
  CompassJudger-2は、タスク駆動のマルチドメインデータキュレーション戦略によって制限を克服する新しいジェネラリストジャッジモデルである。 CompassJudger-2は、複数の判定と報奨ベンチマークで優れた結果を得る。
  論文  参考訳（メタデータ） (2025-07-12T01:34:24Z)
• Pairwise or Pointwise? Evaluating Feedback Protocols for Bias in LLM-Based Evaluation [57.380464382910375]
  評価のためのフィードバックプロトコルの選択は,評価信頼性に大きく影響し,系統的なバイアスを生じさせることを示す。 ジェネレータモデルは、気を散らす機能を埋め込むことで好みをひっくり返すことができる。 我々は,データセットの特徴と評価目標に基づくフィードバックプロトコルの選択を推奨する。
  論文  参考訳（メタデータ） (2025-04-20T19:05:59Z)
• Judge as A Judge: Improving the Evaluation of Retrieval-Augmented Generation through the Judge-Consistency of Large Language Models [68.92020689188887]
  Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) に対する幻覚を緩和する効果を証明している。 既存の自動評価メトリクスは、トレーニングと評価の間にRAGモデルによって生成されたアウトプットを正確に評価することはできない。 本稿では,RAGモデルのより正確な評価を実現するため,LCMの強化を目的とした判断一貫性(ConsJudge)手法を提案する。
  論文  参考訳（メタデータ） (2025-02-26T04:50:43Z)
• Verdict: A Library for Scaling Judge-Time Compute [5.468405526095168]
  Verdictは、自動評価器の精度、信頼性、解釈性を高めるために、判断時間計算をスケールするためのオープンソースのライブラリである。 評決は、マグニチュードの大きな微調整された審査員との競争を成し遂げる。
  論文  参考訳（メタデータ） (2025-02-25T09:26:44Z)
• Crowd Comparative Reasoning: Unlocking Comprehensive Evaluations for LLM-as-a-Judge [90.8674158031845]
  提案するクラウド・ベース・コンピレーション・アセスメントは,提案するクラウド・レスポンスを,候補の応答と比較するための追加のクラウド・レスポンスを導入する。 このプロセスはLLM-as-a-Judgeを効果的に誘導し、より詳細なCoT判定を提供する。 提案手法は, 高い品質のCoTを製造し, 蒸留を判断し, 拒絶サンプリングにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2025-02-18T03:31:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。