論文の概要: Propose, Don't Judge: An Anytime-Valid Referee for LLM Agents That Mine Investment Factors
- arxiv url: http://arxiv.org/abs/2609.27051v1
- Date: Tue, 22 Sep 2026 20:43:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:17.768983
- Title: Propose, Don't Judge: An Anytime-Valid Referee for LLM Agents That Mine Investment Factors
- Title（参考訳）: 投資要因をマイニングするLLMエージェントの任意の価値基準を提案せよ, 判断するな
- Abstract要約: エージェントがどの仕事をするべきかを尋ねます。
エージェントは提案され、エージェントが触れられないフリーズ統計審判は判断しなければならない。
我々は,3つの提案者 (スクリプト, 盗賊, 言語モデル) をこの審判員と交差させ, 故意に漏れた3つの提案者とともに, CSI 500 上を10年間歩いた。
フリーズレフェリーは、スクリプティングされたプロジェクタの下でリークされたレフェリーの5～11倍のサブスレッショルドファクターを許容し、そのギャップを埋めるプロジェクタは存在しない。
- 参考スコア（独自算出の注目度）: 7.159691098846351
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language-model agents now run the whole of quantitative factor research: they propose investment factors, backtest them, select the survivors and retire them. We ask which of those jobs an agent should keep. Our answer is governed self-evolution: the agent may propose, and a frozen statistical referee that the agent cannot touch must judge. The referee scores each candidate only on market outcomes revealed after submission, by betting, so its false-discovery guarantee holds at every stopping time for any proposal policy. We cross three proposers (a script, a bandit and a language model) with this referee and with three deliberately leaky ones, in a synthetic world with planted truth, a probe-authoring environment and a ten-year walk-forward on the CSI 500. Who judges sets the number of false admissions: the frozen referee admits 5-11 times fewer sub-threshold factors than the leaky referees under a scripted proposer, and no proposer closes that gap. Who proposes sets the yield: the language model beats the script, matches the bandit, and adds the one capability a bandit lacks, writing its own diagnostic probes. The certificate's price is time: an admitted true factor waits about 500 trading days, and the certified portfolio's Sharpe ratio therefore trails an ungated one. Judging belongs to the procedure; proposing and instrument-making belong to the agent.
- Abstract（参考訳）: 言語モデルエージェントは、投資要因を提案し、それをバックテストし、生存者を選択し、それらを引退する。
私たちはエージェントが保持すべき仕事のどれか尋ねます。
エージェントが提案するかもしれないし、エージェントが触れられないフリーズ統計レフェリーは判断しなければならない。
審査員は、提出後に明らかになった市場結果のみを賭けて各候補者にスコアを付けるので、その偽発見保証は、提案された政策の停止時間毎に保持される。
我々は,3つの提案者 (スクリプト, 盗賊, 言語モデル) をこの審判員と交差させ, 故意に漏れた3つの提案者とともに, CSI 500 上を10年間歩いた。
フリーズレフェリーは、スクリプティングされたプロジェクタの下でリークされたレフェリーの5～11倍のサブスレッショルドファクターを許容し、そのギャップを埋めるプロジェクタは存在しない。
言語モデルはスクリプトを破り、ランディットにマッチし、バンディットに欠けている1つの機能を追加し、独自の診断プローブを記述します。
認定された真の要因は、約500の取引日を待ち、認定されたポートフォリオのシャープ比は、未発表の日をたどる。
審査は手続きに属するもので、提案と計器作成は代理人に属する。
関連論文リスト
- SaltBench: A Referee-Gated Protocol for Measuring Method Effects in Machine-Checked Software Work [0.0]
SaltBenchは1つの質問に対するベンチマークプロトコルである。 マシンレフェリーは、コーディングエージェントの動作方法をどのように変えますか?
本研究では,ベンチマークの対象がシート'であり,標準ハーネスにおけるエージェントセッションを意味する。
私たちは5つのシステムコンポーネントをテストしました。いずれもRustで記述されたVerusツールチェーンの下で,それぞれがレフェリーとして使用可能なテストスイートを使用しています。
論文 参考訳（メタデータ） (2026-09-10T04:32:43Z) - trajectory-judge: What Outcome-Only LLM Judges Miss on Agent Trajectories [0.0]
アウトカムのみの評価は、LLMエージェントのプロダクションデフォルトである。
地下の真実が建設によって知られている盲点を測定する。
審査員の評価は、結果の生存によって、リコールを成す必要があると論じる。
論文 参考訳（メタデータ） (2026-08-29T10:14:05Z) - Sharding Prevents LLM Oversight Failures and Adversarial Exploitation [45.380649793616705]
シャーディングは要求を小さなグループに分割し、各グループを別の呼び出しに割り当て、評決を集約する。
シャードの弱い裁判官は、より有能な総合的な裁判官よりも優れており、後者がパネルの全予算を受け取ったとしても、その裁判官と一致することができる。
論文 参考訳（メタデータ） (2026-08-05T18:21:21Z) - MafiaScope: Non-Invasive, Time-Resolved Belief Probing for LLM Agents in Social Deduction Games [0.0]
MafiaScopeはオープンなテストベッドで、ソーシャルゲームMafiaをマシン理論のための測定器に変える。
エージェントがゲームを読み間違えたために負けたのか、あるいは正しいアセスメントに失敗したのかを区別する。
対話型ビジュアライザは、個々のエージェントの信念からのゲーム推論をリプレイし、タイムラインに沿った精度とキャリブレーションを表示する。
論文 参考訳（メタデータ） (2026-07-12T08:20:52Z) - When Agents Lie: Premeditation, Persistence, and Exploitation in Repeated Games [69.060029640261]
10ラウンドにわたる同質群と異質群の6つのゲームにおけるフロンティアモデルの評価を行った。
異なるモデルは発表を無矛盾に解釈し、いくつかはバインディングのコミットメントとして、もうひとつは安価なトークとして解釈する。
論文 参考訳（メタデータ） (2026-07-06T14:17:59Z) - LivingArena: Do LLMs Know What Other LLMs Don't? Peer-Probing as Scalable Evaluation [79.03892269184145]
LivingArenaは自動汚染耐性評価フレームワークである。
モデルは質問を交互に提案し、相手が正しく答えられないアイテムを提示する。
質問者は、相手の知識境界を積極的に特定し、活用することが奨励される。
論文 参考訳（メタデータ） (2026-06-19T06:20:58Z) - Search Discipline for Long-Horizon Research Agents [0.0]
自動検索エージェントは、メートル法に対して科学的候補を提案し、評価し、選択する。
この非凝集構造に科学的妥当性が存在する場合、アグリゲーションはまず間違った候補をランク付けする。
論文 参考訳（メタデータ） (2026-06-09T23:55:31Z) - CyberJurors: A Multi-Agent Simulation Task for E-Commerce Disputes Verdict [59.06704011432714]
電子商取引プラットフォームは、大量の取引紛争を判断するためにクラウドソースの陪審員を募集し始めた。
本稿では,先駆的タスクであるEDV(E-Commerce Dispute Verdicts)と,6,000件の現実世界のケースからなるマルチモーダルベンチマークであるVerdictBenchを紹介する。
本稿では,論争ロジックを明確にし,判定プロセスを制御するマルチエージェントフレームワークであるCyberJurorsを提案する。
論文 参考訳（メタデータ） (2026-05-27T12:07:44Z) - When Persuasion Overrides Truth in Multi-Agent LLM Debates: Introducing a Confidence-Weighted Persuasion Override Rate (CW-POR) [0.46040036610482665]
多くの実世界のシナリオでは、1つの大言語モデル(LLM)が矛盾する主張に遭遇する可能性がある。
1つのLCMベースのエージェントは、TruthfulQAから現実的な回答を提供し、もう1つのエージェントは、虚偽を積極的に擁護し、同じアーキテクチャが裁判官として機能する。
信頼度重み付き説得率(CW-POR)を導入し、裁判官がどの程度の頻度で騙されるかだけでなく、その誤った選択をいかに強く信じるかを捉える。
論文 参考訳（メタデータ） (2025-04-01T02:45:02Z) - Answer, Refuse, or Guess? Investigating Risk-Aware Decision Making in Language Models [63.559461750135334]
言語モデル(LM)は、目標を達成するために自律的に行動可能なエージェントを構築するために、ますます使われています。
本研究では,人為的リスク構造を体系的に変化させる評価枠組みを用いて,この「回答または延期」問題を考察する。
回答や判断に要する独立したスキルを分離した簡易なスキル分解手法が,LMの意思決定ポリシーを一貫して改善できることがわかった。
論文 参考訳（メタデータ） (2025-03-03T09:16:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。