論文の概要: Online Data Selection Is Implicit Alignment
- arxiv url: http://arxiv.org/abs/2607.07023v1
- Date: Wed, 08 Jul 2026 05:44:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-09 22:50:30.287153
- Title: Online Data Selection Is Implicit Alignment
- Title（参考訳）: オンラインデータ選択は必然的アライメント
- Abstract要約: オンラインデータ選択を暗黙のアライメントメカニズムとして研究する。
タスク精度においてセレクタは統計的に区別できないが, 拒否率, 冗長性, 梅毒度が急激に変化していることが示される。
この見解は、オンラインスコアの定義方法によって、ハイスコアなデータは、より長く、より断定的で、より順応し、より断固とした行動をとることができると予測している。
- 参考スコア（独自算出の注目度）: 1.9054869116450563
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Supervised fine-tuning (SFT) is often treated as a capability-adaptation step, while alignment is attributed to later preference optimization or reinforcement learning. This separation is incomplete: when examples are scored and kept online during fine-tuning, the choice of which data to train on already changes the model's behavioral preferences. We study online data selection as an implicit alignment mechanism. Given the same base model, optimizer, and selected-token budget, we compare random, loss-based, quality-based, and diversity-based online selectors and measure the behavioral drift they induce without any preference optimization. The proposed evaluation tracks helpfulness, refusal rate, verbosity, truthfulness, sycophancy, calibration, and jailbreak robustness, together with diagnostics for which behavioral modes are over-represented in the selected data. We formalize online selection as a reweighted SFT objective whose weights define an implicit preference over response styles and safety postures, so that an online scorer plays the role usually assigned to a reward model. This view predicts that high-scoring data can systematically favor longer, more assertive, more compliant, or more refusal-prone behaviors depending on how the online score is defined. Empirically, selectors that are statistically indistinguishable in task accuracy diverge sharply in refusal rate, verbosity, and sycophancy, and we show that the direction of the shift is predictable from the attribute mixture of the selected data. We introduce Alignment Drift Auditing (ADA), a controlled protocol for quantifying selection-induced behavioral movement, and Alignment-Aware Selection (AAS), a diagnostic online selector that retains data efficiency while constraining drift along safety and style axes.
- Abstract（参考訳）: Supervised Fine-tuning (SFT) は機能適応のステップとして扱われることが多いが、アライメントは後続の好みの最適化や強化学習によるものである。
この分離は不完全である。例が微調整中にオンラインに記録されていれば、どのデータをトレーニングするかの選択はモデルの振る舞いの好みを変える。
オンラインデータ選択を暗黙のアライメントメカニズムとして研究する。
同じベースモデル、オプティマイザ、選択した予算が与えられた場合、ランダム、損失ベース、品質ベース、多様性ベースのオンラインセレクタを比較し、好みの最適化をすることなく、それらが引き起こす行動ドリフトを測定する。
提案した評価は, 有効性, 拒絶率, 冗長性, 真実性, サイコフィケーション, キャリブレーション, ジェイルブレイクの堅牢性, および, 選択したデータに行動モードが過剰に表現される診断をトラックする。
我々は、オンライン選択を、応答スタイルや安全姿勢よりも暗黙的に優先する重み付けされたSFT目標として定式化し、オンラインスコアラーが通常報酬モデルに割り当てられる役割を演じるようにした。
この見解は、オンラインスコアの定義方法によって、ハイスコアなデータは、より長く、より断定的で、より順応し、より断固とした行動をとることができると予測している。
経験的に,タスク精度において統計的に区別不能なセレクタは,拒否率,冗長性,および語彙に急激にばらつき,選択したデータの属性混合からシフトの方向が予測可能であることを示す。
本稿では,選択による行動行動の定量化のための制御プロトコルであるアライメントドリフト監査(ADA)と,安全性とスタイル軸に沿ってドリフトを拘束しながらデータ効率を保ったオンラインセレクタであるアライメント・アウェア選択(AAS)を紹介する。
関連論文リスト
- Beyond What to Select: A Plug-and-play Oscillatory Data-Volume Scheduling for Efficient Model Training [36.289092974454796]
選択データ学習は、瞬時選択比による暗黙の正則化効果を誘導することを示す。
これは、選択によって引き起こされる正規化を低くするのに対して、高い比率はデータカバレッジを保っている、という重要なトレードオフを明らかにします。
PODSは既存の静的および動的選択メソッドと互換性があり、トレーニングパラダイムに広く適用できる。
論文 参考訳（メタデータ） (2026-05-14T12:37:11Z) - Two-Stage Optimizer-Aware Online Data Selection for Large Language Models [49.576993784867035]
我々は,大規模言語モデルの微調整において,勾配に基づくオンラインデータ選択と重み付けのための原則付きフレームワークを提案する。
私たちのキーとなる考え方は、オンライン選択を静的なサンプルランキングではなく、次のターゲット指向のアップデートを州の下で形作ることです。
実験の結果,本手法は既存のオンラインデータ選択ベースラインに対するコンバージェンスとダウンストリームのパフォーマンスを,同じデータ予算下で一貫して改善することが示された。
論文 参考訳（メタデータ） (2026-03-08T21:46:16Z) - A Unified Understanding of Offline Data Selection and Online Self-refining Generation for Post-training LLMs [55.931369468485464]
最適化の観点から、オフラインデータ選択とオンラインセルフリファインディング世代に取り組みます。
両レベルデータ選択フレームワークの有効性を理論的に初めて実証した。
論文 参考訳（メタデータ） (2025-11-26T04:48:33Z) - ssToken: Self-modulated and Semantic-aware Token Selection for LLM Fine-tuning [51.133569963553576]
ssTokenは自己変調されたセマンティックなToken Selectionアプローチである。
自己変調の選択とセマンティック・アウェアの選択の両方が、フルデータの微調整よりも優れていることを示す。
論文 参考訳（メタデータ） (2025-10-21T03:21:04Z) - Online Conformal Selection with Accept-to-Reject Changes [14.619101485265322]
アクセプション・トゥ・リジェクト・チェンジ(OCS-ARC)を用いたオンラインコンフォーマル・セレクションを提案する。
オンラインのBenjamini-Hochberg手順を候補選択プロセスに組み込む。
我々は,OCS-ARCが任意の段階において,名目レベル以下で偽発見率(FDR)を制御できることを理論的に保証する。
論文 参考訳（メタデータ） (2025-08-19T13:58:38Z) - Online selective conformal inference: adaptive scores, convergence rate and optimality [4.7198252163006345]
そこで我々は,OnlineSCIと呼ばれる点予測アルゴリズムの拡張版を導入する。
OnlineSCIには、極端な結果の予測間隔の構築、禁忌の分類、オンラインテストなど、いくつかの顕著なオンライン選択タスクが含まれている。
適応型版である OnlineSCI が最適解に収束し, 上記の各応用事例において明示的な収束率が得られることを示す。
論文 参考訳（メタデータ） (2025-08-14T04:36:14Z) - CAP: A General Algorithm for Online Selective Conformal Prediction with FCR Control [4.137346786534721]
全体の誤発見レベルを測定するために,FCR (Real-time false coverage-statement rate) を制御することが重要である。
キャリブレーションセットを構築するために,過去のデータに対して適応的なピックルールを実行するCAPというフレームワークを開発した。
我々は,CAPが有限サンプルおよび分布自由な状態において,厳密な選択条件のカバレッジ保証を達成できることを証明した。
論文 参考訳（メタデータ） (2024-03-12T15:07:20Z) - Data-Driven Offline Decision-Making via Invariant Representation
Learning [97.49309949598505]
オフラインのデータ駆動意思決定は、アクティブなインタラクションなしで最適化された決定を合成する。
オフラインデータからトレーニングされたモデルへの入力に関して最適化する場合、誤って良いように見えるアウト・オブ・ディストリビューション(OOD)インプットを生成するのは簡単です。
本稿では、オフラインデータ駆動意思決定をドメイン適応として定式化し、最適化された決定値の正確な予測を行うことを目標とする。
論文 参考訳（メタデータ） (2022-11-21T11:01:37Z) - Online Coreset Selection for Rehearsal-based Continual Learning [65.85595842458882]
継続的な学習では、後に再生されるトレーニング例(コアセット)のサブセットを格納し、破滅的な忘れを軽減します。
提案するオンラインコアセット選択(OCS, Online Coreset Selection)は, 各イテレーションにおいて最も代表的で情報性の高いコアセットを選択するシンプルで効果的な方法である。
提案手法は,過去のタスクに対して高親和性サンプルを選択しながら,目標データセットへのモデル適応を最大化し,破滅的忘れを直接的に抑制する。
論文 参考訳（メタデータ） (2021-06-02T11:39:25Z) - Tracking Performance of Online Stochastic Learners [57.14673504239551]
オンラインアルゴリズムは、大規模なバッチにデータを保存したり処理したりすることなく、リアルタイムで更新を計算できるため、大規模な学習環境で人気がある。
一定のステップサイズを使用すると、これらのアルゴリズムはデータやモデル特性などの問題パラメータのドリフトに適応し、適切な精度で最適解を追跡する能力を持つ。
定常仮定に基づく定常状態性能とランダムウォークモデルによるオンライン学習者の追跡性能の関連性を確立する。
論文 参考訳（メタデータ） (2020-04-04T14:16:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。