論文の概要: Humanline: Online Alignment as Perceptual Loss

• arxiv url: http://arxiv.org/abs/2509.24207v1
• Date: Mon, 29 Sep 2025 02:41:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.699532
• Title: Humanline: Online Alignment as Perceptual Loss
• Title（参考訳）: Humanline: 知覚的損失としてのオンラインアライメント
• Authors: Sijia Liu, Niklas Muennighoff, Kawin Ethayarajh,
• Abstract要約: オンラインのオンラインオンラインサンプリングは、そのモデルが生み出すことができる人間の知覚分布をよりよく近似する。 我々の理論はさらに、オンライン/オフライン自体が人間の実用性を最大化するのに付随していることを示唆している。
• 参考スコア（独自算出の注目度）: 28.241008095424096
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Online alignment (e.g., GRPO) is generally more performant than offline alignment (e.g., DPO) -- but why? Drawing on prospect theory from behavioral economics, we propose a human-centric explanation. We prove that online on-policy sampling better approximates the human-perceived distribution of what the model can produce, and PPO/GRPO-style clipping -- originally introduced to just stabilize training -- recovers a perceptual bias in how humans perceive probability. In this sense, PPO/GRPO act as perceptual losses already. Our theory further suggests that the online/offline dichotomy is itself incidental to maximizing human utility, since we can achieve the same effect by selectively training on any data in a manner that mimics human perception, rather than restricting ourselves to online on-policy data. Doing so would allow us to post-train more quickly, cheaply, and flexibly without sacrificing performance. To this end, we propose a design pattern that explicitly incorporates perceptual distortions of probability into objectives like DPO/KTO/GRPO, creating humanline variants of them. Surprisingly, we find that these humanline variants, even when trained with offline off-policy data, can match the performance of their online counterparts on both verifiable and unverifiable tasks.
• Abstract（参考訳）: オンラインアライメント(例、GRPO)は、一般的にオフラインアライメント(例、DPO)よりもパフォーマンスが高い。 行動経済学からの予測理論に基づき,人間中心の説明を提案する。 PPO/GRPOスタイルのクリッピング(もともとトレーニングを安定させるために導入された)は、人間がどのように確率を知覚するかという知覚バイアスを回復させる。 この意味で、PPO/GRPOは、既に知覚的損失として機能している。 我々の理論はさらに、オンライン/オフライン二分法自体が、オンラインのオンラインデータに制限されるのではなく、人間の知覚を模倣する方法で、あらゆるデータに対して選択的にトレーニングすることで、同じ効果を得られることを示唆している。 そうすることで、パフォーマンスを犠牲にすることなく、より迅速、安価、柔軟にトレーニングをポストできるようになります。 そこで本稿では,確率の知覚歪みをDPO/KTO/GRPOなどの目的に明示的に組み込んだ設計パターンを提案する。 意外なことに、オフラインのオフポリシーデータでトレーニングされたとしても、これらのヒューマンラインの変種は、検証不可能なタスクと検証不可能なタスクの両方において、オンラインの変種のパフォーマンスにマッチする可能性がある。

関連論文リスト

• Inference-Time Policy Steering through Human Interactions [54.02655062969934]
  推論中、人間はしばしばポリシー実行ループから取り除かれる。 本稿では,人間のインタラクションを活用して生成するサンプリングプロセスにバイアスを与える推論時ポリシーステアリングフレームワークを提案する。 提案手法は,アライメントと分布シフトの最良のトレードオフを実現する。
  論文  参考訳（メタデータ） (2024-11-25T18:03:50Z)
• The Importance of Online Data: Understanding Preference Fine-tuning via Coverage [25.782644676250115]
  選好微調整におけるオンライン手法とオフライン手法の類似点と相違点について検討した。 グローバルなカバレッジ条件は、オフラインのコントラスト手法が最適ポリシーに収束するのに必要かつ十分であることを示す。 KL正規化のためのオンラインデータとコントラストベースの選好最適化にオフラインデータを利用するハイブリッド選好最適化アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2024-06-03T15:51:04Z)
• Bayesian Design Principles for Offline-to-Online Reinforcement Learning [50.97583504192167]
  オフラインからオンラインへの微調整は、探索にコストがかかる、あるいは安全でない、現実世界のアプリケーションにとって極めて重要です。 本稿では,オフラインからオフラインまでの微調整のジレンマに対処する:エージェントが悲観的のままであれば,より良いポリシーを習得できないかもしれないが,楽観的になった場合,性能が突然低下する可能性がある。 このようなジレンマを解決するにはベイズ設計の原則が不可欠であることを示す。
  論文  参考訳（メタデータ） (2024-05-31T16:31:07Z)
• Human Alignment of Large Language Models through Online Preference Optimisation [50.52545798589968]
  最近のアライメント手法であるアイデンティティポリシー最適化(IPO)とNash Mirror Descent(Nash-MD)の等価性を示す。 この等価性は、オンラインバージョンのIPOを考えると証明できる。これは、両方の世代がオンラインポリシーによってサンプルされ、訓練された選好モデルによって注釈付けされる時である。 本稿では,一般的なNash-MDアルゴリズムと同様に,オンラインポリシと参照ポリシの混在したデータを生成するIPO-MDアルゴリズムを紹介する。
  論文  参考訳（メタデータ） (2024-03-13T15:47:26Z)
• Offline Retraining for Online RL: Decoupled Policy Learning to Mitigate Exploration Bias [96.14064037614942]
  オンライン微調整終了時の方針抽出段階であるオフラインリトレーニングを提案する。 楽観的(探索的)ポリシーは環境と相互作用するために使用され、別の悲観的(探索的)ポリシーは観察されたすべてのデータに基づいて訓練され、評価される。
  論文  参考訳（メタデータ） (2023-10-12T17:50:09Z)
• Boosting Offline Reinforcement Learning with Action Preference Query [32.94932149345299]
  実践的エージェントの訓練は通常、政策のパフォーマンスと相互作用コストのバランスをとるために、オフラインおよびオンライン強化学習(RL)を含む。 オンラインファインチューニングは、オフライントレーニングフェーズで学習したアウト・オブ・ディストリビューションデータの誤った推定を補正するために一般的に用いられている方法となっている。 本研究では,Offline-with-Action-Preferences (OAP) と呼ばれるインタラクションフリーのトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-06-06T02:29:40Z)
• The Boltzmann Policy Distribution: Accounting for Systematic Suboptimality in Human Models [5.736353542430439]
  本稿では,Boltzmann Policy Distribution(BPD)を紹介する。 BPDはベイズ推論を介して適応し、1回のエピソードで人間の行動を観察することで系統的な偏差を捉える。 我々は,BPDが人間行動の予測と人間-AI協調を可能にすると同時に,模倣学習に基づく人間モデルも可能であることを示す。
  論文  参考訳（メタデータ） (2022-04-22T15:26:25Z)
• Where is the Grass Greener? Revisiting Generalized Policy Iteration for Offline Reinforcement Learning [81.15016852963676]
  オフラインRL体制における最先端のベースラインを、公正で統一的で高分解能なフレームワークの下で再実装する。 与えられたベースラインが、スペクトルの一方の端で競合する相手よりも優れている場合、他方の端では決してしないことを示す。
  論文  参考訳（メタデータ） (2021-07-03T11:00:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。