論文の概要: Counterfactual Pairwise Augmentation Improves Small Pointwise LLM Judges

• arxiv url: http://arxiv.org/abs/2610.41149v1
• Date: Fri, 30 Oct 2026 02:12:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.589183
• Title: Counterfactual Pairwise Augmentation Improves Small Pointwise LLM Judges
• Title（参考訳）: 対物的ペアワイズ強化による小点的LLM判断の改善
• Abstract要約: 我々はCPA(Counterfactual Pairwise Augmentation)を導入し、トレーニングにおいて決定的な違いを明確化する。 各ポイントワイズ項目に対して、CPAは、反対ラベルを運ぶことを意図した同じクエリに対して、偽の応答を合成し、監査する。 受理されたペアをペアのタスクとしてフレーム化し、2つのレスポンスのうちどれが基準を満たすかを問う。
• 参考スコア（独自算出の注目度）: 1.2570460090465567
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agentic systems increasingly gate individual steps with a pointwise judge that scores a response against a criterion. Small language models are attractive for this role because they can be served and specialized efficiently. Such a judge must locate the criterion's decision boundary, but pointwise labels under-determine that boundary in fine-tuning: labeled responses to different queries differ along many dimensions at once, so they do not reveal which features decide the label. We introduce CPA (Counterfactual Pairwise Augmentation), which makes the deciding difference explicit in training. For each pointwise item, CPA synthesizes and audits a counterfactual response to the same query intended to carry the opposite label. It frames the accepted pair as a pairwise task asking which of the two responses satisfies the criterion. The judge is fine-tuned jointly on both pointwise and pairwise datasets and deployed in pointwise mode only. A second-order analysis shows when this should outperform the prevailing strategy of merging separately trained pointwise and pairwise experts: merging moves every parameter direction toward the pairwise expert by the same fraction, whereas joint training can hold the pointwise optimum wherever the pairwise loss is flat and absorb its curvature where it is sharp. This is the regime that CPA's same-source, counterfactually minimal pairwise view is designed to produce. On separate Qwen3-8B LoRA adapters for six binary criteria, CPA improves criterion-averaged pointwise macro-F1 by 2.5 points over pointwise-only training and outperforms model merging on all six criteria at every tested merge weight. It also surpasses the strongest zero-shot frontier judge we evaluate, Gemini 3.6 Flash, by 11.8 points.
• Abstract（参考訳）: エージェントシステムは、基準に対する反応をスコアするポイントワイズ・ジャッジで、個々のステップをゲートするようになっている。 小さな言語モデルは、効率的に提供され、特殊化できるので、この役割には魅力的です。 そのような裁判官は、基準の判断境界を見つける必要があるが、ポイントワイドラベルは微調整でその境界を下決定する:異なるクエリに対するラベル付き応答は、同時に多くの次元に沿って異なるので、どの特徴がラベルを決定するかは明らかにしない。 我々はCPA(Counterfactual Pairwise Augmentation)を導入し、トレーニングにおいて決定的な違いを明確化する。 各ポイントワイズ項目に対して、CPAは、反対ラベルを運ぶことを意図した同じクエリに対して、偽の応答を合成し、監査する。 受理されたペアをペアのタスクとしてフレーム化し、2つのレスポンスのうちどれが基準を満たすかを問う。 審査員は、ポイントワイドデータセットとペアワイドデータセットの両方で微調整され、ポイントワイドモードでのみデプロイされる。 二階述語分析は、これが個別に訓練されたポイントワイドとペアワイドの専門家を合併する一般的な戦略よりも優れていることを示す: マージは、全てのパラメータ方向をペアワイドの専門家に同じ分数で移動させるが、ジョイントトレーニングは、ペアワイドの損失が平坦な場合にポイントワイドの最適値を保持でき、その曲率を鋭く吸収する。 これは、CPAの同一ソース、反ファクト的に最小のペアワイズビューが生産されるように設計されている状況である。 個別のQwen3-8B LoRAアダプタを6つのバイナリ基準で使用した場合、CPAは基準付きポイントワイドマクロF1を、ポイントワイドトレーニングよりも2.5ポイント改善し、試験されたマージ重みごとに6つの基準でマージされたモデルよりも優れる。 また、評価した最強のゼロショットフロンティア審査員であるGemini 3.6 Flashを11.8ポイント上回る。

関連論文リスト

• VETTA: Coordinating Turn- and Token-Level Credit Assignment for Multi-Turn LLM Agents [30.005457080904478]
  マルチターンLDMエージェントは、トークンごとに応答トークンを生成しながら、複数のインタラクション間でスパースなタスクフィードバックを受け取ることが多い。 VETTAは,共有批評家の異なる頭上で,ターンレベルの値とトークンレベルの値を共同で学習する信用割当手法である。 VETTAは両方の時間的シーケンスに沿って利点を計算し、各ターンの利点とPPO更新のための応答内中心のトークン残差を結合する。
  論文  参考訳（メタデータ） (2026-10-06T14:15:11Z)
• Bridging Network Psychometrics and Artificial Intelligence: An Ising-Potts Model with LLM-Derived Weights [0.40611352512781873]
  レーティングとカテゴリーラベルの合意指標を用いたラターイジングポッツモデルを提案する。 我々は,K=14,466の短い回答を3段階のルーブリックと2つのAERAエッセイのコーパスに散らばった3つの構成応答データセットについて,約1,200-1,400の応答を4点のルーブリックに提案した。
  論文  参考訳（メタデータ） (2026-09-08T14:26:19Z)
• Small Language Models as Judges for Rubric-Based Reinforcement Learning [57.707881387886516]
  より小型の言語モデルが,より効率的かつ信頼性の高いルーリック・ベース・ジャッジとして機能するかどうかを考察する。 生成的評定,Yes/No Logprobマージン,Probe judgesの3つの基準レベルの判断を,小モデルから抽出する方法を比較した。 どちらのデータセットでも、Qwen3-1.7B Probeの審査員はこれらの方法の中で最強の基準レベルの合意を達成している。
  論文  参考訳（メタデータ） (2026-08-30T20:00:17Z)
• RecurSE: Bounded Recursive Self-Evaluation for LLM Rubric Judges [48.831446371402414]
  RecurSEは、訓練可能な裁判官と同期されたポリシーコピーチェッカーをペアにして、裁判官のメタルーブリックに対する推論を監査し、スカラープロセスの報酬を提供する。 本稿では,RecurSEが医療,ペアワイド,要約,プロフェッショナルベンチマークにおいて一貫した一般化を実現していることを示す。
  論文  参考訳（メタデータ） (2026-08-25T08:35:04Z)
• CriterAlign: Criterion-Centric Rationale Alignment for Code Preference Judging [95.02210956333374]
  本稿では,一対の選好評価にルーブリックに基づく判断を適応させる基準中心のフレームワークを提案する。 BigCodeRewardでは、CriterAlignはQwen2.5-VL-32Bモノリシック判事を60.4%から66.3%に改善した。
  論文  参考訳（メタデータ） (2026-05-19T10:59:19Z)
• C2-Faith: Benchmarking LLM Judges for Causal and Coverage Faithfulness in Chain-of-Thought Reasoning [0.6138671548064355]
  大型言語モデル (LLMs) は、チェーン・オブ・ソート (CoT) 推論の判断としてますます使われている。 C2-Faithは、因果性(各ステップは以前の文脈から論理的に従うのか? 二つの因果検出,因果ステップの定位,カバレッジスコアの3つの課題において,フロンティア判事の評価を行った。
  論文  参考訳（メタデータ） (2026-03-05T13:36:47Z)
• GRCF: Two-Stage Groupwise Ranking and Calibration Framework for Multimodal Sentiment Analysis [20.77940776708036]
  ペアワイズな順序学習フレームワークは、比較から学ぶことで相対的な順序を捉える。 彼らは全ての比較に均一な重要性を割り当て、ハード・ツー・ランクのサンプルに適応的に焦点をあてることに失敗した。 本稿では,グループ相対的政策最適化の理念を取り入れた二段階群ランク付け・フレームワークを提案する。 GRCFは、コア回帰ベンチマークで最先端のパフォーマンスを達成すると同時に、分類タスクにおいて強力な一般化性を示す。
  論文  参考訳（メタデータ） (2026-01-14T16:26:44Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。