論文の概要: Mitigating Selection Bias in Large Language Models via Permutation-Aware GRPO

• arxiv url: http://arxiv.org/abs/2603.21016v1
• Date: Sun, 22 Mar 2026 02:29:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.194961
• Title: Mitigating Selection Bias in Large Language Models via Permutation-Aware GRPO
• Title（参考訳）: 置換を考慮したGRPOによる大規模言語モデルの選択バイアスの緩和
• Abstract要約: 大規模な言語モデルは、オプションの位置やラベル記号のような非意味的な要因による選択バイアスを示すことが多い。 本稿では,置換対応群相対ポリシー最適化(PA-GRPO)を提案する。
• 参考スコア（独自算出の注目度）: 5.442224574457385
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) used for multiple-choice and pairwise evaluation tasks often exhibit selection bias due to non-semantic factors like option positions and label symbols. Existing inference-time debiasing is costly and may harm reasoning, while pointwise training ignores that the same question should yield consistent answers across permutations. To address this issue, we propose Permutation-Aware Group Relative Policy Optimization (PA-GRPO), which mitigates selection bias by enforcing permutation-consistent semantic reasoning. PA-GRPO constructs a permutation group for each instance by generating multiple candidate permutations, and optimizes the model using two complementary mechanisms: (1) cross-permutation advantage, which computes advantages relative to the mean reward over all permutations of the same instance, and (2) consistency-aware reward, which encourages the model to produce consistent decisions across different permutations. Experimental results demonstrate that PA-GRPO outperforms strong baselines across seven benchmarks, substantially reducing selection bias while maintaining high overall performance. The code will be made available on Github (https://github.com/ECNU-Text-Computing/PA-GRPO).
• Abstract（参考訳）: 大規模言語モデル(LLM)は、複数選択およびペア評価タスクに使用されるが、オプション位置やラベル記号のような非意味的な要因によって選択バイアスが生じることが多い。 既存の推論時間のデバイアスはコストが高く、推論に悪影響を及ぼす可能性があるが、ポイントワイドトレーニングでは、同じ質問が置換全体で一貫した回答をもたらすべきであることを無視する。 この問題に対処するために,置換対応グループ相対ポリシー最適化 (PA-GRPO) を提案する。 PA-GRPOは、複数の候補の置換を生成することによって各インスタンスの置換群を構築し、2つの相補的なメカニズムを用いてモデルを最適化する。 実験の結果,PA-GRPOは7つのベンチマークで高いベースライン性能を示し,高い性能を維持しながら選択バイアスを大幅に低減した。 コードはGithub(https://github.com/ECNU-Text-Computing/PA-GRPO)で入手できる。

関連論文リスト

• F-GRPO: Factorized Group-Relative Policy Optimization for Unified Candidate Generation and Ranking [79.49893545611779]
  大規模言語モデル(LLM)はサブセットを生成し、それを1つの自己回帰パス内で順序付けることができる。 この柔軟性は、新しい最適化課題をもたらす: モデルが出力空間を検索し、完全なランクリストが生成された後にのみユーティリティフィードバックを受けなければならない。 このクレジット割り当てギャップは、エンドツーエンドの最適化を不安定にし、サンプル非効率にする。 本稿では,単一自己回帰的ロールアウト内の両方を実行する統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-13T04:52:33Z)
• Efficient Test-Time Inference via Deterministic Exploration of Truncated Decoding Trees [68.04613115686509]
  自己整合性は、複数の推論トレースを並列にサンプリングし、投票することで、推論時間のパフォーマンスを向上させる。 そこで本研究では,切り落された標本を伐採木として扱う決定論的復号法であるDLE(Distinct Leafion)を提案する。 DLEは高品質な推論トレースを調査し、数学、コーディング、一般的な推論タスクのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2026-04-22T12:42:03Z)
• Balanced Aggregation: Understanding and Fixing Aggregation Bias in GRPO [70.38763678943648]
  検証可能な報酬(RLVR)による強化学習は、大規模言語モデルにおける推論とコード生成を改善するための中心的なパラダイムとなっている。 標準的なGRPOはシーケンスアグリゲーションを使用し、最近の研究はトークンアグリゲーションをより良い代替手段として提唱している。 トークンアグリゲーションは符号長結合を導入し、シーケンスアグリゲーションは暗黙的にダウンウェイトを延長する。
  論文  参考訳（メタデータ） (2026-04-14T09:48:46Z)
• Succinct QUBO formulations for permutation problems by sorting networks [0.1590850178837849]
  比較交換ネットワークを用いた置換に対するQUBOの定式化を導入し,バイナリ変数は$O(n log2 n)$である。 提案手法の中心的な特徴は、各置換が一意な変数の割り当てに対応し、偏りのないサンプリングを可能にすることである。 制約付き置換の非バイアスサンプリングが重要である地域では,本手法が実用上有用であることが期待されている。
  論文  参考訳（メタデータ） (2026-03-08T10:37:52Z)
• Transform-Augmented GRPO Improves Pass@k [50.3707071191733]
  グループ相対政策最適化(GRPO)は推論を改善するために設計されたが、2つの障害モードによって状況が悪化する。 本稿では,各質問に対して意味論的に等価な変換変種を生成するTA-GRPO(Transform-Augmented GRPO)を提案する。 このプール化された計算は、元の質問が簡単すぎるか難しすぎる場合でも、混合報酬を保証する一方、多様なフレーズのトレーニングは、複数のソリューション戦略を促進する。
  論文  参考訳（メタデータ） (2026-01-30T02:43:29Z)
• Quantifying and Mitigating Selection Bias in LLMs: A Transferable LoRA Fine-Tuning and Efficient Majority Voting Approach [13.829059542429876]
  大規模言語モデル(LLM)の性能評価手法として,MCQ (Multiple Choice Questioning) が広く用いられている。 LLMはMCQタスクにおいて選択バイアスを示し、その選択は内容よりも答えの位置やオプション記号などの要因に影響される。
  論文  参考訳（メタデータ） (2025-11-17T21:31:37Z)
• Reasoning Planning for Language Models [23.519351730129426]
  本稿では,コントラスト学習フレームワークであるEPICを紹介する。 EPICは、モデル推論能力とクエリメソッド互換性の両方をキャプチャする共有表現空間を学習する。 多様な数学的推論タスクの実験は、EPICが常に最適な推論方法を選択することを示している。
  論文  参考訳（メタデータ） (2025-11-01T11:51:53Z)
• Learning Distributions over Permutations and Rankings with Factorized Representations [6.51628774380971]
  置換よりも分散を学習することは、機械学習の基本的な問題である。 置換に代替表現を利用する新しい手法を提案する。 提案手法は,最短表現モードでも非自明な分布を学習することを示す。
  論文  参考訳（メタデータ） (2025-05-30T14:53:40Z)
• Large Language Models Are Not Robust Multiple Choice Selectors [117.72712117510953]
  複数選択質問(MCQ)は、大規模言語モデル(LLM)の評価において、一般的なが重要なタスク形式として機能する。 この研究は、現代のLLMが、その固有の「選択バイアス」によるオプション位置変化に対して脆弱であることを示している。 そこで本研究では,オプションIDに対する事前バイアスを全体予測分布から分離するPriDeという,ラベルのない推論時間脱バイアス手法を提案する。
  論文  参考訳（メタデータ） (2023-09-07T17:44:56Z)
• Compositional Generalization without Trees using Multiset Tagging and Latent Permutations [121.37328648951993]
  まず、各入力トークンに複数の出力トークンをタグ付けします。 次に、新しいパラメータ化法と置換予測法を用いて、トークンを出力シーケンスに配置する。 我々のモデルは、事前訓練されたセq2seqモデルと、現実的なセマンティック解析タスクに関する先行研究より優れている。
  論文  参考訳（メタデータ） (2023-05-26T14:09:35Z)
• Probabilistic Permutation Graph Search: Black-Box Optimization for Fairness in Ranking [53.94413894017409]
  本稿では、置換グラフの概念に基づいて、置換分布を表現する新しい方法を提案する。 PLと同様に、PPGと呼ばれる分布表現は、公正性のブラックボックス最適化に利用できる。
  論文  参考訳（メタデータ） (2022-04-28T20:38:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。