論文の概要: ABC-Align: Prediction-Powered Alignment with Adaptive Bias Control

• arxiv url: http://arxiv.org/abs/2609.34374v1
• Date: Mon, 28 Sep 2026 05:47:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 21:21:36.834138
• Title: ABC-Align: Prediction-Powered Alignment with Adaptive Bias Control
• Title（参考訳）: ABC-Align:適応バイアス制御による予測パワーアライメント
• Abstract要約: 擬似ラベルを活用するAIフィードバック(RLAIF)スタイルのアプローチによる強化学習は、豊富な代替手段を提供するが、体系的なバイアスを導入する。 近年, 教師のバイアスを補正する汎用的半教師法は, 少数の人間ラベル付き例を用いているが, 高い分散性に悩まされている。 そこで我々はABC-Alignを提案し,多量の擬似ラベル信号を利用して分散を最小化し,ヒトラベルサブセットをベースとした軽量適応補正を適用した。
• 参考スコア（独自算出の注目度）: 47.32449298250029
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language model post-training is often bottlenecked by the need for human-collected preference data, which is expensive and difficult to scale. Reinforcement learning from AI feedback (RLAIF) style approaches that leverage pseudo labels offer an abundant alternative but introduce systematic biases that degrade downstream alignment. Recent general-purpose semi-supervised methods correct for teacher bias using a small set of human-labeled examples, but suffer from high variance especially when human annotations are scarce. To this end, we propose ABC-Align, leveraging abundant pseudo label signal to minimize variance and applying a lightweight, adaptive correction grounded in the human-labeled subset. The correction strength is tuned automatically during training using plug-in estimates of the relevant bias--variance quantities. On LLM alignment with RLHF, DPO, and GRPO where human feedback is scarce, we empirically demonstrate that ABC-Align achieves superior performance over prior semi-supervised baselines in a series of experiments on an increasing scale. Our code is available at https://github.com/SewoongLab/abc-align .
• Abstract（参考訳）: 言語モデルのポストトレーニングは、高価でスケールが難しい人間の好みデータの必要性によってボトルネックになることが多い。 擬似ラベルを活用するAIフィードバック(RLAIF)スタイルのアプローチによる強化学習は、豊富な代替手段を提供するが、下流のアライメントを低下させる体系的なバイアスを導入する。 近年の汎用的半教師法は, 人間のアノテーションが乏しい場合に, 高い分散性に悩まされているが, 教師のバイアスを補正する。 この目的のためにABC-Alignを提案し,分散を最小限に抑えるために大量の擬似ラベル信号を活用するとともに,人間のラベル付きサブセットをベースとした軽量で適応的な補正を適用した。 補正強度は、関連するバイアス-分散量のプラグイン推定を用いて、トレーニング中に自動的に調整される。 RLHF, DPO, GRPO とのLLMアライメントでは, ABC-Align が従来の半教師付きベースラインよりも優れた性能を発揮することを実証的に実証した。 私たちのコードはhttps://github.com/SewoongLab/abc-align で利用可能です。

関連論文リスト

• Classification-Head Bias in Class-Level Machine Unlearning: Diagnosis, Mitigation, and Evaluation [0.7991370731695461]
  クラスレベルのマシンアンラーニングは、モデルユーティリティを保持しながら、特定のクラスの影響を取り除くことを目的としている。 既存の手法は、保持セット精度、忘れセット精度、未学習時間によって一般に評価される。 我々は,クラスレベルの未学習において,バイアスに支配されるショートカットを明らかにし,最終分類ヘッドの対応するバイアス項を減少させることで,忘れられたクラスの予測を抑えることができる。
  論文  参考訳（メタデータ） (2026-05-09T06:33:42Z)
• Rethinking Preference Alignment for Diffusion Models with Classifier-Free Guidance [8.038055165320195]
  ベースモデルを再訓練することなくアライメントを改善する簡単な手法を提案する。 一般化をさらに高めるため、選好学習を正と負のデータに基づいて訓練された2つのモジュールに分離する。 我々はPick-a-Pic v2およびHPDv3を用いた安定拡散1.5および安定拡散XLの評価を行い、一貫した定量的および定性的な利得を示した。
  論文  参考訳（メタデータ） (2026-02-21T11:18:52Z)
• Sebra: Debiasing Through Self-Guided Bias Ranking [54.09529903433859]
  微粒なスプリシティ推定による試料のランク付けは,近年,バイアス緩和に大きく寄与することが示されている。 新たなulSelf-Guided ulBias ulRanking(emphSebra)に基づく脱バイアスフレームワークを提案する。 Sebraは、各クラス内のスプリシティによって、データポイントの自動ランキングを通じてバイアスを緩和する。
  論文  参考訳（メタデータ） (2025-01-30T11:31:38Z)
• Linear Alignment: A Closed-form Solution for Aligning Human Preferences without Tuning and Feedback [70.32795295142648]
  リニアアライメントは、言語モデルと人間の好みを1つの推論ステップで整列する新しいアルゴリズムである。 一般的な選好データセットとパーソナライズされた選好データセットの実験により、線形アライメントはLLMアライメントの性能と効率を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2024-01-21T10:46:23Z)
• Flexible Distribution Alignment: Towards Long-tailed Semi-supervised Learning with Proper Calibration [18.376601653387315]
  Longtailed semi-supervised learning (LTSSL)は、半教師付きアプリケーションのための実践的なシナリオである。 この問題は、ラベル付きとラベルなしのクラス分布の相違によってしばしば悪化する。 本稿では,新しい適応ロジット調整型損失フレームワークFlexDAを紹介する。
  論文  参考訳（メタデータ） (2023-06-07T17:50:59Z)
• Proposal Distribution Calibration for Few-Shot Object Detection [65.19808035019031]
  few-shot object detection (FSOD)では、重度のサンプル不均衡を軽減するために、2段階の訓練パラダイムが広く採用されている。 残念ながら、極端なデータ不足は、提案の分布バイアスを増大させ、RoIヘッドが新しいクラスに進化するのを妨げます。 本稿では,RoIヘッドのローカライゼーションと分類能力を高めるために,単純かつ効果的な提案分布キャリブレーション(PDC)手法を提案する。
  論文  参考訳（メタデータ） (2022-12-15T05:09:11Z)
• Learning to Adapt Classifier for Imbalanced Semi-supervised Learning [38.434729550279116]
  Pseudo-labelingは、有望な半教師付き学習(SSL)パラダイムであることが証明されている。 既存の擬似ラベル法では、トレーニングデータのクラス分布が均衡していると仮定するのが一般的である。 本研究では,不均衡な半教師付きセットアップ下での擬似ラベリングについて検討する。
  論文  参考訳（メタデータ） (2022-07-28T02:15:47Z)
• Relieving Long-tailed Instance Segmentation via Pairwise Class Balance [85.53585498649252]
  長い尾のインスタンスセグメンテーションは、クラス間のトレーニングサンプルの極端な不均衡のために難しいタスクである。 尾のついたものに対して、(大多数のサンプルを含む)ヘッドクラスの深刻なバイアスを引き起こす。 そこで本研究では,学習中の予測嗜好を蓄積するために,学習中に更新される混乱行列上に構築された新しいPairwise Class Balance(PCB)手法を提案する。
  論文  参考訳（メタデータ） (2022-01-08T07:48:36Z)
• Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
  埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。 プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。 我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
  論文  参考訳（メタデータ） (2021-10-22T01:55:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。