Fugu-MT 論文翻訳(概要): Why Does RLAIF Work At All?

論文の概要: Why Does RLAIF Work At All?

arxiv url: http://arxiv.org/abs/2603.03000v1
Date: Tue, 03 Mar 2026 13:51:40 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-04 21:38:10.824201
Title: Why Does RLAIF Work At All?
Title（参考訳）: RLAIFはなぜ機能するのか?
Authors: Robin Young,
Abstract要約: 本稿では,インターネット規模での事前学習が表現空間の方向として人間の値を符号化するという潜在値仮説を提案する。我々はこの直観を線形モデルで定式化し、構成は値関連方向を選択する投影演算子として機能する。本報告では, 拒絶方向, 低ランク安全性部分空間, RLAIFスケーリング行動などの経験的知見を統一する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Reinforcement Learning from AI Feedback (RLAIF) enables language models to improve by training on their own preference judgments, yet no theoretical account explains why this self-improvement seemingly works for value learning. We propose the latent value hypothesis, that pretraining on internet-scale data encodes human values as directions in representation space, and constitutional prompts elicit these latent values into preference judgments. We formalize this intuition under a linear model where the constitution acts as a projection operator selecting value-relevant directions. Our analysis yields several results. RLAIF improves alignment when the constitution-activated direction correlates with true values better than the model's default generation direction thus explaining the generation-judgment gap; the ceiling on RLAIF quality is determined by how well representations encode values, which scales with model capacity; and adversarial constitutions exist that can activate anti-social value directions encoded from harmful pretraining data. Our account unifies scattered empirical findings including the refusal direction, low-rank safety subspaces, and RLAIF scaling behavior.
Abstract（参考訳）: Reinforcement Learning from AI Feedback (RLAIF)は、言語モデルを自身の選好判断に基づいてトレーニングすることで改善することができるが、この自己改善がバリューラーニングに有効であるように見える理由を説明する理論的説明はない。本稿では,インターネット規模での事前学習が表現空間の方向として人間の値をエンコードする潜伏値仮説を提案し,これらの潜伏値を選好判断に導出する。我々はこの直観を線形モデルで定式化し、構成は値関連方向を選択する投影演算子として機能する。我々の分析はいくつかの結果をもたらす。 RLAIFは、構成活性化方向がモデルデフォルト生成方向よりも真の値と相関し、生成偏差を説明するときのアライメントを改善し、RLAIF品質の天井は、モデルキャパシティに合わせてスケールする値がいかにうまくエンコードされているかによって決定され、有害な事前学習データからエンコードされた反社会的値方向を活性化できる対向構成が存在する。本報告では, 拒絶方向, 低ランク安全部分空間, RLAIFスケーリング行動など, 散在する経験的知見を統一する。

関連論文リスト

Every Question Has Its Own Value: Reinforcement Learning with Explicit Human Values [53.72318444646282]
RLEV(Reinforcement Learning with Explicit Human Values)を提案する。 RLEVは、Large Language Model (LLM) 最適化を直接、定量化された人間の値信号と整合させる。 RLEVは、複数のRLアルゴリズムとモデルスケールで、精度のみのベースラインを一貫して上回ることを示す。
論文参考訳（メタデータ） (2025-10-23T04:15:22Z)
LaSeR: Reinforcement Learning with Last-Token Self-Rewarding [54.72617309922891]
RLVR(Reinforcement Learning with Verifiable Rewards)は、Large Language Models(LLM)の推論能力を高めるためのコアパラダイムとして登場した。従来、LLMは2つの異なるプロンプトテンプレートを使用してソリューションと自己検証をシーケンシャルに生成し、効率を大幅に低下させる必要があった。本稿では,従来のRLVR損失をMSE損失で増大させるアルゴリズムであるLaSeR(Reinforcement Learning with Last-Token Self-Rewarding)を提案する。
論文参考訳（メタデータ） (2025-10-16T17:55:11Z)
Holdout-Loss-Based Data Selection for LLM Finetuning via In-Context Learning [19.677969862434708]
本稿では,データ選択と再重み付けのための理論的に基礎的,資源効率のよいフレームワークを提案する。 In-Context Approximation (ICA) は、モデルが候補の例でトレーニングした後のホールドアウト損失を推定する。モデルパラメータの進化に伴い, ICAスコアから指数重みを導出し, 勾配更新を動的に再加重する。
論文参考訳（メタデータ） (2025-10-16T09:00:39Z)
Functional Scaling Laws in Kernel Regression: Loss Dynamics and Learning Rate Schedules [9.332823269318842]
スケーリング法則は、大きな言語モデルのトレーニングを理解し、導くための統一レンズとして登場した。我々は任意のLSSの下で全損失軌跡を捕捉する機能スケーリング法を確立した。データ制限と計算制限の両方で明示的なスケーリング関係を導出する。
論文参考訳（メタデータ） (2025-09-23T16:05:16Z)
Enhancing Training Data Attribution with Representational Optimization [57.61977909113113]
トレーニングデータ属性法は、トレーニングデータがモデルの予測にどのように影響するかを測定することを目的としている。本稿では,タスク固有表現とモデル整合表現をTDAで明示的に学習することで,このギャップを埋める表現ベースアプローチであるAirRepを提案する。 AirRepは、属性品質に合わせて調整されたトレーニング可能なエンコーダと、グループワイドの影響を正確に見積もるアテンションベースのプール機構の2つの重要なイノベーションを紹介している。
論文参考訳（メタデータ） (2025-05-24T05:17:53Z)
Interpret the Internal States of Recommendation Model with Sparse Autoencoder [28.234859617081295]
RecSAEは、Sparse AutoEncoderでRecommendersを解釈する自動化され、一般化可能なプローブフレームワークである。これはレコメンデーションモデルの内部状態から解釈可能なラテントを抽出し、解釈のセマンティックな概念にリンクする。 RecSAEは解釈中にオリジナルのモデルを変更せず、解釈結果に基づいたモデルへのターゲットのデバイアスを可能にする。
論文参考訳（メタデータ） (2024-11-09T08:22:31Z)
Towards Robust and Interpretable EMG-based Hand Gesture Recognition using Deep Metric Meta Learning [37.21211404608413]
本稿では,意味的かつ解釈可能な表現の作成を監督するために,EMG PRにおける深層メートル法メタラーニングへのシフトを提案する。我々は、不正確な決定をよりよく拒否する頑健なクラス近接性に基づく信頼度推定器を導出する。
論文参考訳（メタデータ） (2024-04-17T23:37:50Z)
XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners [71.8257151788923]
低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。 XALは分類器に対して、推論を正当化し、合理的な説明ができないラベルのないデータを掘り下げることを推奨している。 6つのデータセットの実験では、XALは9つの強いベースラインに対して一貫した改善を達成している。
論文参考訳（メタデータ） (2023-10-09T08:07:04Z)
Scaling Laws Beyond Backpropagation [64.0476282000118]
因果デコーダのみの変換器を効率的に訓練するための直接フィードバックアライメントの有効性について検討した。 DFAはバックプロパゲーションよりも効率的なスケーリングを提供していないことが分かりました。
論文参考訳（メタデータ） (2022-10-26T10:09:14Z)
Constraining Representations Yields Models That Know What They Don't Know [2.729898906885749]
ニューラルネットワークのよく知られた障害モードは、誤った予測を確実に返すことである。この研究は、これらの問題に広く一般的な方法で対処するための新しい方向性を示す。私たちは各クラスにユニークな、固定された、ランダムに生成されたバイナリベクタを割り当てます。我々は、入力サンプルのクラスに従って、そのクロスディープなアクティベーションパターンが適切なクラスコードを予測するようにモデルを訓練する。
論文参考訳（メタデータ） (2022-08-30T18:28:00Z)
Value-Consistent Representation Learning for Data-Efficient Reinforcement Learning [105.70602423944148]
本稿では,意思決定に直接関連のある表現を学習するための,VCR(Value-Consistent Expression Learning)という新しい手法を提案する。この想像された状態と環境によって返される実状態とを一致させる代わりに、VCRは両方の状態に$Q$-valueヘッドを適用し、2つのアクション値の分布を得る。検索不要なRLアルゴリズムに対して,提案手法が新たな最先端性能を実現することが実証された。
論文参考訳（メタデータ） (2022-06-25T03:02:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。