論文の概要: How Much Were You Told? Measuring External Information in Peer Reviews
- arxiv url: http://arxiv.org/abs/2609.28041v1
- Date: Wed, 23 Sep 2026 13:01:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:18.022725
- Title: How Much Were You Told? Measuring External Information in Peer Reviews
- Title（参考訳）: ピアレビューで外的情報を測定するには、どれくらいの時間が必要か?
- Abstract要約: 会議の方針は、大規模な言語モデルを使用して、批判を委譲することから自分自身のレビューを洗練させる。
本稿では,非教師付き情報理論推定器であるSelf-Conditioningを提案する。
- 参考スコア（独自算出の注目度）: 39.866323800060066
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Conference policies distinguish using Large Language Models (LLMs) to polish one's own review from delegating the critique, but current Artificial Text Detection (ATD) methods largely measure surface form rather than the origin of its content. We instead measure the external information carried by a review: information not explained by the reviewed paper and a generic reviewing instruction. We propose Self-Conditioning, an unsupervised information-theoretic estimator that compares the likelihood of a review under its production context with its likelihood when that context is augmented with hints extracted from the review itself. On the IntelLabs peer-review benchmark, Self-Conditioning separates fully-delegated from machine-polished reviews with AUC up to $1.0$ while remaining largely insensitive to surface rewriting. Moreover, as generators receive increasing amounts of externally-provided information, their scores move monotonically towards the human regime, unlike standard ATD baselines. High-temperature sampling can evade the estimator, but at the cost of output quality.
- Abstract（参考訳）: コンファレンス・ポリシーでは、大言語モデル(LLM)を使用して、批評の委譲から自身のレビューを洗練させるが、現在の人工テキスト検出(ATD)法は、その内容の原点ではなく、表面形態を主に計測する。
その代わりに、レビューによって実行される外部情報、レビュー論文で説明されていない情報、ジェネリックレビューの指示を計測する。
本稿では,非教師付き情報理論推定器であるSelf-Conditioningを提案する。
IntelLabsのピアレビューベンチマークでは、Self-ConditioningはAUCによるマシンポリドレビューから最大$$$まで完全に分離されている。
さらに、外部から提供された情報の量が増加するにつれて、そのスコアは標準的なATDベースラインとは異なり、単調に人間の体制に向かって移動する。
高温サンプリングは、推定器を回避できるが、出力品質の犠牲になる。
関連論文リスト
- Judging a Review by its Cover: A Reliability Analysis of LLM-based Peer Review Evaluation Metrics [13.687981034782517]
ピアレビュー評価指標が,表層言語以外の実体的レビュー品質をキャプチャするかどうかを検証するためのフレームワークを提案する。
我々は,文章やプレゼンテーションを変えながら,同じ評価内容を保持する忠実なLLMリライトと,オリジナルの人間レビューを比較した。
これらの結果から,多くのピアレビュー評価指標がレビュー品質と言語的プレゼンテーションを部分的に説明していることが明らかとなった。
論文 参考訳（メタデータ） (2026-09-20T00:49:57Z) - Beyond Rating: A Comprehensive Evaluation and Benchmark for AI Reviews [69.66583722746904]
私たちは、AIレビュアーを5次元にわたって評価する総合的な評価フレームワークであるBeyond Ratingを紹介します。
本稿では,専門家の不一致に対応するためのMax-Recall戦略を提案する。
提案したテキスト中心の指標は、特に弱みの議論のリコールであり、評価精度と強く相関している。
論文 参考訳（メタデータ） (2026-04-21T14:21:15Z) - ReviewGrounder: Improving Review Substantiveness with Rubric-Guided, Tool-Integrated Agents [50.27474750319121]
公式ガイドライン、論文の内容、人間によるレビューから派生した、紙固有のルーリックに従ってテキストをレビューする。
本稿では、公式ガイドライン、論文の内容、人手によるレビューに基づいて、レビューテキストを評価するベンチマークであるREVIEWBENCHを紹介する。
本稿では,レビューを起草段階と接地段階に分解するルーリック誘導ツール統合マルチエージェントフレームワークであるREVIEWGROUNDERを提案する。
論文 参考訳（メタデータ） (2026-04-15T16:33:04Z) - Generative Adversarial Reviews: When LLMs Become the Critic [1.2430809884830318]
本稿では,LLMを利用したエージェントを利用して,忠実なピアレビュアーをシミュレートするジェネレーティブエージェントレビュアー(GAR)を紹介する。
このアプローチの中心は、グラフベースの原稿表現であり、コンテンツを凝縮し、情報を論理的に整理する。
本実験は,GARが人間レビュアーに対して,詳細なフィードバックと論文結果の予測を行う上で,相容れない性能を示すことを示した。
論文 参考訳（メタデータ） (2024-12-09T06:58:17Z) - Product Description and QA Assisted Self-Supervised Opinion Summarization [31.58787780698375]
eコマースでは、意見要約は製品レビューに見られる意見のコンセンサスを要約するプロセスである。
本稿では,レビューからの情報を活用する新しい合成データセット作成(SDC)戦略と,レビューの1つを疑似要約として選択し,教師付きトレーニングを実現するための追加情報源を提案する。
提案するOpinion Summarization (MEDOS) 用マルチエンコーダデコーダフレームワークでは,各ソースに別個のエンコーダを用いて,要約を生成しながら情報の選択を効果的に行う。
論文 参考訳（メタデータ） (2024-04-08T07:15:06Z) - Few-Shot Learning for Opinion Summarization [117.70510762845338]
オピニオン要約は、複数の文書で表現された主観的な情報を反映したテキストの自動生成である。
本研究では,要約テキストの生成をブートストラップするのには,少数の要約でも十分であることを示す。
提案手法は, 従来の抽出法および抽象法を, 自動的, 人的評価において大きく上回っている。
論文 参考訳（メタデータ） (2020-04-30T15:37:38Z) - Unsupervised Opinion Summarization with Noising and Denoising [85.49169453434554]
ユーザレビューのコーパスから合成データセットを作成し、レビューをサンプリングし、要約のふりをして、ノイズのあるバージョンを生成します。
テスト時に、モデルは本物のレビューを受け入れ、健全な意見を含む要約を生成し、合意に達しないものをノイズとして扱います。
論文 参考訳（メタデータ） (2020-04-21T16:54:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。