論文の概要: Logarithmic Scores, Power-Law Discoveries: Disentangling Measurement from Coverage in Agent-Based Evaluation
- arxiv url: http://arxiv.org/abs/2604.00477v1
- Date: Wed, 01 Apr 2026 04:44:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-02 16:44:31.835256
- Title: Logarithmic Scores, Power-Law Discoveries: Disentangling Measurement from Coverage in Agent-Based Evaluation
- Title（参考訳）: 対数スコア, パワーロー発見:エージェントによる評価におけるカバーからの遠心測定
- Authors: HyunJoon Jung, William Na,
- Abstract要約: 本研究では,ペルソナを主体としたエージェント・ジャッジが,チューリング方式の検証において,人間と区別できない評価を行うことを示す。
品質スコアはパネルサイズと対数的に改善するが、ユニークな問題発見はサブ線形電力法に従う。
- 参考スコア（独自算出の注目度）: 4.756943392091708
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLM-based agent judges are an emerging approach to evaluating conversational AI, yet a fundamental uncertainty remains: can we trust their assessments, and if so, how many are needed? Through 960 sessions with two model pairs across 15 tasks, we show that persona-based agent judges produce evaluations indistinguishable from human raters in a Turing-style validation. We then identify a score-coverage dissociation: quality scores improve logarithmically with panel size, while unique issue discoveries follow a sublinear power law-both exhibit diminishing returns, but scores saturate roughly twice as fast as discoveries. We hypothesize this reflects a power law distribution of the finding space: critical issues are discovered first by small panels, while corner cases require progressively larger panels, analogous to species accumulation curves in ecology. The mechanism traces to ensemble diversity-Big Five personality conditioning makes agents probe different quality dimensions, with expert judges acting as adversarial probes that push discovery into the tail of the finding distribution. A controlled ablation confirms that structured persona conditioning, not simple prompting, is required to produce these scaling properties.
- Abstract（参考訳）: LLMベースのエージェント判断は、会話AIを評価するための新たなアプローチだが、根本的な不確実性は残る。
960のセッションを15のタスクにまたがって2つのモデルペアで行うことで、Turingスタイルの検証において、ペルソナをベースとしたエージェント・ジャッジが人間と区別できない評価を下すことを示した。
品質スコアはパネルサイズと対数的に向上する一方、ユニークな問題発見はサブリニアパワー法則に従うことによりリターンが低下するが、スコアは発見の約2倍の速さで飽和する。
重要な問題は、まず小さなパネルによって発見され、コーナーケースは、生態学における種蓄積曲線に類似した、徐々に大きなパネルを必要とする。
エージェントは異なる質の次元を探索し、専門家の裁判官は敵のプローブとして行動し、発見を発見分布の尾部に押し込む。
制御されたアブレーションは、単純なプロンプトではなく構造化されたペルソナ条件がこれらのスケーリング特性を生成するために必要であることを確認した。
関連論文リスト
- AEGIS: From Clues to Verdicts -- Graph-Guided Deep Vulnerability Reasoning via Dialectics and Meta-Auditing [9.271196825503417]
大きな言語モデル(LLM)は、脆弱性検出にますます採用されているが、その推論は基本的には正しくない。
AEGISは、未解決の投機から、クローズドな事実ベース上の法医学的検証へ、検出をシフトする新しいマルチエージェントフレームワークである。
これは、主要なベースラインと比較して偽陽性率を最大54.40%削減し、1サンプルあたりの平均コストはタスク固有のトレーニングなしで0.09ドルである。
論文 参考訳（メタデータ） (2026-03-21T04:12:04Z) - Extending Minimal Pairs with Ordinal Surprisal Curves and Entropy Across Applied Domains [0.0]
本研究は,二項文法から順序スケールの分類とスコアリングタスクまで,素性に基づく評価を拡張した。
モデルに回答を求めるのではなく、情報理論の「サプライズ」を測る。
この枠組みは, 社会・生態・技術系の分類, 因果文の識別(バイナリとスケール), 図形言語検出, 帰納的定性的符号化の4分野にまたがる。
論文 参考訳（メタデータ） (2026-03-15T14:31:00Z) - Beyond Pairwise Comparisons: A Distributional Test of Distinctiveness for Machine-Generated Works in Intellectual Property Law [0.31061678033205636]
本稿では,2つの創造的プロセスが統計的に区別可能な出力分布を生成するかどうかを判断するために,意味埋め込みに基づいて計算された平均誤差に基づく2サンプルテストを提案する。
手書きディジット(制御された画像)、特許抽象化(テキスト)、AI生成アート(現実世界の画像)の3分野にわたるフレームワークを検証する。
以上の結果から,生成モデルが単なる学習データのリグルジエータとして機能する,という見解に反する証拠が得られた。
論文 参考訳（メタデータ） (2026-01-26T05:20:33Z) - SpatialBench-UC: Uncertainty-Aware Evaluation of Spatial Prompt Following in Text-to-Image Generation [0.0]
SpaceBench-UCは、ペアの空間関係を再現可能な小さなベンチマークである。
ベンチマークパッケージ、バージョン付きプロンプト、ピン付き構成、サンプルごとのチェッカー出力、レポートテーブルをリリースします。
安定拡散1.5, SD 1.5 BoxDiff, SD 1.4 GLIGENの3つのベースラインについて検討した。
論文 参考訳（メタデータ） (2026-01-19T23:37:10Z) - Efficient Thought Space Exploration through Strategic Intervention [54.35208611253168]
本稿では,この知見を2つの相乗的コンポーネントを通して操作するHint-Practice Reasoning(HPR)フレームワークを提案する。
フレームワークの中核となる革新は、動的に介入点を識別する分散不整合低減(DIR)である。
算術的および常識的推論ベンチマークによる実験は、HPRの最先端の効率-精度トレードオフを実証している。
論文 参考訳（メタデータ） (2025-11-13T07:26:01Z) - What Makes a Good Natural Language Prompt? [72.3282960118995]
我々は,2022年から2025年にかけて,NLPおよびAIカンファレンスを主導する150以上のプロンプト関連論文を対象としたメタ分析調査を実施している。
本研究では,6次元に分類した21の特性を含む,迅速な品質評価のための特性・人間中心のフレームワークを提案する。
次に、複数プロパティのプロンプト強化を実証的に検討し、単一プロパティのプロンプトが最大の影響を与える場合が多いことを観察する。
論文 参考訳（メタデータ） (2025-06-07T23:19:27Z) - Quantile Multi-Armed Bandits with 1-bit Feedback [40.22079522118723]
リスク感度と通信制約の要素を含むベストアーム識別のバリエーションについて検討する。
本研究では,雑音の多い二分探索をサブルーチンとして利用し,学習者が1ビットフィードバックによって定量報酬を推定できるアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-02-10T17:03:33Z) - On the Within-class Variation Issue in Alzheimer's Disease Detection [66.70233526150723]
Alzheimer's Disease (AD) 検出では、ADと非ADの個人を区別するために、機械学習の分類モデルを使用している。
そこで本研究では,サンプルスコア推定器を用いて,認知的スコアと整合した標本特異的なソフトスコアを生成できることを確認した。
ソフトターゲット蒸留(SoTD)とインスタンスレベルの再分散(InRe)の2つの簡易かつ効果的な方法を提案する。
論文 参考訳（メタデータ） (2024-09-22T02:06:05Z) - Elastic Weight Removal for Faithful and Abstractive Dialogue Generation [61.40951756070646]
対話システムは、関連する文書に含まれる知識に忠実な応答を生成するべきである。
多くのモデルは、それと矛盾したり、検証不可能な情報を含んでいる代わりに幻覚応答を生成する。
本手法は,幻覚と抽出反応を同時に阻止するために拡張できることが示唆された。
論文 参考訳（メタデータ） (2023-03-30T17:40:30Z) - Few-shot Forgery Detection via Guided Adversarial Interpolation [56.59499187594308]
既存の偽造検出手法は、見知らぬ新しい偽造手法に適用した場合、大幅な性能低下に悩まされる。
本稿では,数発の偽造検出問題を克服するために,GAI(Guid Adversarial Interpolation)を提案する。
我々の手法は、多数派と少数派の偽造アプローチの選択に対して堅牢であることが検証されている。
論文 参考訳（メタデータ） (2022-04-12T16:05:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。