論文の概要: How Well Do LLMs Perform in Peer Review? Evidence from Finance and Accounting

• arxiv url: http://arxiv.org/abs/2610.18435v1
• Date: Tue, 13 Oct 2026 14:11:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.626771
• Title: How Well Do LLMs Perform in Peer Review? Evidence from Finance and Accounting
• Title（参考訳）: ピーアレビューにおけるLLMの業績 : ファイナンスと会計の証拠
• Abstract要約: GPT-4oは、2024年のAFAとNBERの金融会議で発表された論文を参考にしている。 判決は今後2年間で上位3つの金融ジャーナルに掲載されるのと比較する。 モデルのスコアが1つの標準偏差より高い論文は、著者の評判の頂点として、出版される可能性が44%高い。
• 参考スコア（独自算出の注目度）: 2.0499565652246785
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Referees increasingly use large language models (LLMs), while finance and accounting journals disagree about whether to allow it. We ask which part of a referee's job the models can do. GPT-4o, whose training data end before the 2024 conference season, referees the papers presented at the 2024 AFA and NBER finance meetings, and we compare its verdicts with publication in the top-three finance journals over the next two years. Papers the model scores one standard deviation higher are 44\% more likely to be published, net of author reputation. The result is not driven by look-ahead bias, as the model does not recall the outcomes. The information comes from its judgements of correctness and exposition. Its judgements of originality and significance carry none, and a referee guide that stresses importance does not help. The split between correctness and contribution holds for accounting papers and for a newer model, GPT-5. LLMs can check whether research is right, but not whether it matters. The technical check can go to the model, while the judgement of contribution stays with people.
• Abstract（参考訳）: レフェリーは大規模言語モデル(LLM)をますます利用し、金融や会計のジャーナルはそれを許可するかどうかについて意見が一致しない。 私たちは、モデルにできるレフェリーの仕事のどの部分か尋ねます。 GPT-4oは、2024年度前にトレーニングデータを終了し、2024年度のAFAとNBERの財務会議で提示された論文を参考にし、今後2年間に上位3つの財務誌に掲載される結果と比較する。 モデルのスコアが1つの標準偏差より高い紙は、著者の評判のネットで、出版される可能性が44\%高い。 結果は、モデルが結果を思い出さないため、ルックアヘッドバイアスによって駆動されます。 その情報は正当性や誇張の判断から来ている。 その独創性と重要性の判断には意味がなく、重要さを強調する審判ガイドは役に立たない。 正しさと貢献の分裂は会計書類と新しいモデルであるGPT-5に当てはまる。 LLMは、研究が正しいかどうかをチェックできます。 技術的なチェックはモデルに行えますが、貢献の判断は人々次第です。

関連論文リスト

• The Audit Decides the Verdict: Instrument Effects Rival Demographic Bias in LLM Decision Audits [2.347309464574674]
  チャリタブルエイドのベンチマークでは、評価が1度に1度だけ要求された場合、同じモデルが少数候補者を好んでおり、並べてランク付けすると一部が罰せられると報告されている。 我々は、それが雇用、貸与、医療トリアージに一般化するかどうかを検証する。
  論文  参考訳（メタデータ） (2026-09-08T17:08:53Z)
• FairFund-Bench: Evaluating Distributive Bias in LLM Resource Allocation [0.0]
  FairFund-Benchは,従来の監査設計の主要な特徴を体系的に変化させるベンチマークである。 この不一致は監査形式の違いから生じる可能性を示し、FairFund-Benchを紹介する。 このベンチマークは、4つの基準(デコグラフィーバイアス、保存性アライメント、クロスタスク整合性、およびクロスコンテキスト整合性)でモデルを評価する。
  論文  参考訳（メタデータ） (2026-07-31T01:29:16Z)
• Do You Need a Frontier Model as a Citation Verifier? Benchmarking Rubric LLMs for Deep-Research Source Attribution [0.0]
  ディープリサーチシステムにおける励磁品質の校正問題について検討する。 LLM審査員8名に対し、1248件の粗悪な判断を下し、金のラベルに異議を唱えた。 以上の結果から,このキャリブレーションは最も高価なモデルを必要としないことがわかった。
  論文  参考訳（メタデータ） (2026-07-09T17:01:40Z)
• Evaluating LLMs in Finance Requires Explicit Bias Consideration [88.38155218924999]
  ファイナンス固有のバイアスは、パフォーマンスを低下させ、バックテストを汚染し、報告された結果をデプロイメントのクレームに役に立たないものにする。 一つのバイアスが28%以上の研究で議論されることはない。 本稿では,バイアス診断と将来のシステム設計のための最小限の要件を満たす構造的妥当性フレームワークと評価チェックリストを提案する。
  論文  参考訳（メタデータ） (2026-02-15T17:02:01Z)
• Your AI, Not Your View: The Bias of LLMs in Investment Analysis [62.388554963415906]
  金融において、Large Language Models (LLMs) は、事前訓練されたパラメトリック知識とリアルタイム市場データとの相違から生じる、頻繁な知識紛争に直面している。 これらの対立は、モデル固有のバイアスが制度的目的と誤認される現実世界の投資サービスにおいて特に問題となる。 本研究では,このような紛争シナリオにおける創発的行動を調べるための実験的枠組みを提案し,投資分析におけるバイアスの定量的分析を行う。
  論文  参考訳（メタデータ） (2025-07-28T16:09:38Z)
• Can Large Language Models Be Trusted Paper Reviewers? A Feasibility Study [24.387202495452886]
  本研究は,学術論文レビューにLarge Language Models (LLMs) を用いることの可能性を検討する。 このシステムは、Retrieval Augmented Generation (RAG)、AutoGen Multi-agent System、Chain-of-Thoughtを統合し、フォーマットチェック、標準化された評価、コメント生成、スコアリングなどのタスクをサポートする。 GPT-4o を用いた WASA 2024 会議からの 290 件の提出実験の結果,LCM に基づくレビューはレビュー時間 (平均 2.48 時間) とコスト (平均 104.28 米ドル) を著しく削減することが示された。
  論文  参考訳（メタデータ） (2025-06-18T10:19:18Z)
• Support Evaluation for the TREC 2024 RAG Track: Comparing Human versus LLM Judges [53.12387628636912]
  RAG評価において重要な要素は、引用された文書の情報が回答をサポートするかどうかである。 TREC 2024 RAG Trackの36項目について,45件の参加者を大規模に比較検討した。 以上の結果から,手動によるオフスクラッチ評価の56%では,ヒトとGPT-4oの予測が完全に一致していることが示唆された。
  論文  参考訳（メタデータ） (2025-04-21T16:20:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。