論文の概要: Alignment Tuning for Large Language Models: A Data-Centric Lens on Alignment Data Pipelines
- arxiv url: http://arxiv.org/abs/2605.26442v1
- Date: Tue, 07 Apr 2026 10:52:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-15 07:09:36.493266
- Title: Alignment Tuning for Large Language Models: A Data-Centric Lens on Alignment Data Pipelines
- Title（参考訳）: 大規模言語モデルのアライメントチューニング:アライメントデータパイプライン上のデータ中心レンズ
- Authors: Hwanjun Song,
- Abstract要約: データ中心の視点とリフレームアライメントのチューニングをパイプライン設計の問題として採用しています。
先行アライメント手法で観測される繰り返し発生する設計トレードオフと障害モードを同定する。
データパイプラインのアライメントには,プロンプトレベルのアライメントやエージェント設定,進化する目標の下でのアライメントといった,オープンな課題を概説する。
- 参考スコア（独自算出の注目度）: 25.674528106498382
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Much of the alignment tuning literature is organized around optimization objectives, while the construction of alignment data is often treated implicitly. In this survey, we adopt a data centric perspective and reframe alignment tuning as a pipeline design problem. We decompose alignment data construction into three interacting stages, response synthesis, preference evaluation, and preference instantiation, and use this framework to organize existing alignment methods into a unified taxonomy. Through this lens, we identify recurring design trade-offs and failure modes observed across prior alignment methods, and distill a set of high level principles that clarify how pipeline design choices influence the resulting optimization signal. Finally, we outline open challenges for alignment data pipelines, including prompt-level alignment, agentic settings, and alignment under evolving objectives.
- Abstract（参考訳）: アライメントチューニングの文献の多くは最適化目標を中心に整理され、アライメントデータの構築は暗黙的に扱われることが多い。
この調査では、パイプライン設計問題としてデータ中心の視点とリフレームアライメントチューニングを採用しました。
本研究では,アライメントデータ構築を3つの相互作用段階,応答合成,選好評価,選好インスタンス化に分解し,既存のアライメント手法を統合分類に整理する。
このレンズを通して、先行アライメント法で観測される繰り返し発生する設計トレードオフと障害モードを特定し、パイプライン設計の選択が結果の最適化信号にどのように影響するかを明らかにするための高レベルの原則のセットを蒸留する。
最後に、進化する目標の下で、プロンプトレベルのアライメント、エージェント設定、アライメントを含む、データパイプラインのアライメントに関するオープンな課題を概説する。
関連論文リスト
- Two-Stage Optimizer-Aware Online Data Selection for Large Language Models [49.576993784867035]
我々は,大規模言語モデルの微調整において,勾配に基づくオンラインデータ選択と重み付けのための原則付きフレームワークを提案する。
私たちのキーとなる考え方は、オンライン選択を静的なサンプルランキングではなく、次のターゲット指向のアップデートを州の下で形作ることです。
実験の結果,本手法は既存のオンラインデータ選択ベースラインに対するコンバージェンスとダウンストリームのパフォーマンスを,同じデータ予算下で一貫して改善することが示された。
論文 参考訳（メタデータ） (2026-03-08T21:46:16Z) - Agentic Planning with Reasoning for Image Styling via Offline RL [66.10749901925941]
直接的なプロンプトベースの編集は複雑な変換では失敗するが、なぜなら曖昧で主観的なプロンプトは、画像に何を変更するべきかを微妙に理解する必要がしばしばあるからである。
ツールベースのエージェントRLポストトレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-07T11:14:37Z) - Alignment-Aware Model Adaptation via Feedback-Guided Optimization [27.93864970404945]
ファインチューニングは、ファンデーションモデルを下流タスクに適応するための主要なメカニズムである。
本稿では,外部アライメント信号からのフィードバックをポリシー段階の正規化を通じて統合するアライメント対応微調整フレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-02T16:03:16Z) - CogniEdit: Dense Gradient Flow Optimization for Fine-Grained Image Editing [88.9067184995168]
マルチモーダル推論と高密度報酬最適化を組み合わせた統合フレームワークCogniEditを提案する。
本手法は,視覚的品質と編集可能性の保存に追従する微粒な命令のバランスをとることによって,最先端の性能を実現する。
論文 参考訳（メタデータ） (2025-12-15T12:36:50Z) - PAPL-SLAM: Principal Axis-Anchored Monocular Point-Line SLAM [20.228993972678595]
本稿では,直線構造情報の利用と直線SLAMシステムにおけるラインの最適化について述べる。
主軸に類似した方向の線を固定し、$n+2$パラメータで$n$ラインを最適化し、両方の問題を一緒に解決する。
本研究では,異なる世界仮説に容易に拡張可能なシーン構造情報について考察する。
論文 参考訳（メタデータ） (2024-10-16T07:44:56Z) - Linear Alignment: A Closed-form Solution for Aligning Human Preferences without Tuning and Feedback [70.32795295142648]
リニアアライメントは、言語モデルと人間の好みを1つの推論ステップで整列する新しいアルゴリズムである。
一般的な選好データセットとパーソナライズされた選好データセットの実験により、線形アライメントはLLMアライメントの性能と効率を大幅に向上させることが示された。
論文 参考訳（メタデータ） (2024-01-21T10:46:23Z) - Deep Shells: Unsupervised Shape Correspondence with Optimal Transport [52.646396621449]
本稿では,3次元形状対応のための教師なし学習手法を提案する。
提案手法は,複数のデータセット上での最先端技術よりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2020-10-28T22:24:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。