論文の概要: From Normative Frameworks to Alignment Data: Constructing and Evaluating SFT and Preference Data

• arxiv url: http://arxiv.org/abs/2609.35201v1
• Date: Mon, 28 Sep 2026 13:58:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 16:10:03.098214
• Title: From Normative Frameworks to Alignment Data: Constructing and Evaluating SFT and Preference Data
• Title（参考訳）: 規範的フレームワークからアライメントデータへ:SFTとPreferenceデータの構築と評価
• Abstract要約: 我々は、イスラム倫理、神学、法学の伝統に根ざした規範的枠組みにアライメントデータを構築するための専門家主導の方法論を適用した。 その結果得られたアラビア語と英語のデータセットには、約2.8Kの教師付き微調整(SFT)の例と5.4Kの好みのペアが含まれている。
• 参考スコア（独自算出の注目度）: 4.617259233644674
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Aligning language models with a specified normative framework requires translating abstract principles into concrete examples and preference signals from which models can learn. We present an expert-driven methodology for constructing such alignment data and apply it to a normative framework grounded in Islamic ethical, theological, and jurisprudential traditions. Over approximately one year, seven domain experts systematically probed language models to identify alignment deficiencies, curated desired responses, and constructed preference pairs from model outputs and expert judgments. The resulting Arabic-English datasets contain approximately 2.8K supervised fine-tuning (SFT) examples and 5.4K preference pairs spanning a broad range of normative domains. We evaluate the datasets through controlled post-training experiments comparing a Baseline model with models incorporating the curated SFT data alone and both the SFT and preference data. In blind expert evaluation on 150 separately constructed prompts, the model trained with the curated SFT data was preferred over the Baseline in 51.3% of assessor judgments, compared with 14.4% in the opposite direction (p < .001 at the prompt level). Adding the preference data resulted in a smaller difference, with the model trained with both datasets preferred over the SFT model in 28.0% of judgments versus 20.9% in the opposite direction; this difference was not statistically significant at the prompt level (p = .166). Standard Arabic and English benchmarks show no broad degradation in general-purpose capabilities. These results demonstrate how expert-defined normative principles can be systematically operationalized into alignment data and evaluated through controlled model training.
• Abstract（参考訳）: 特定の規範的フレームワークで言語モデルをアラインメントするには、抽象的な原則を具体的な例と、モデルが学習できる好みの信号に変換する必要がある。 本稿では、このようなアライメントデータを構築するための専門家主導の方法論を、イスラム倫理、神学的、法学的な伝統に基づく規範的枠組みに適用する。 約1年以上にわたって、7つのドメインの専門家が言語モデルを体系的に調査し、アライメントの欠陥を特定し、望ましい応答をキュレートし、モデルの出力と専門家の判断から好みのペアを構築した。 その結果得られたアラビア語と英語のデータセットには、約2.8Kの教師付き微調整(SFT)の例と、幅広い規範的領域にまたがる5.4Kの選好ペアが含まれている。 本研究では,SFTデータのみとSFTデータと嗜好データの両方を組み込んだモデルとをベースラインモデルと比較し,学習後制御実験によりデータセットの評価を行った。 個別に構築された150個のプロンプトのブラインド専門家による評価では、試験されたSFTデータで訓練されたモデルは51.3%の判定基準でベースラインよりも好まれ、反対方向の14.4%(プロンプトレベルではp < .001)であった。 選好データを追加すると、両方のデータセットでトレーニングされたモデルはSFTモデルよりも28.0%の判定で好まれるが、反対方向には20.9%、即時レベルでは統計的に有意な差はなかった(p = .166)。 標準アラビア語と英語のベンチマークでは、汎用能力の大幅な低下は示されていない。 これらの結果は、専門家が定義した規範原則をアライメントデータに体系的に運用し、制御されたモデルトレーニングを通じて評価する方法を示している。

関連論文リスト

• Preference Data Selection for Mitigating the Alignment Tax in Large Language Models [52.18310687523229]
  BALIGNは、アライメント効率を最適化しながら破滅的な忘れを緩和するバランスのとれたデータ選択戦略である。 3つの重要なデータ中心の機能を統一された複合リスクスコアに集約することにより、BALIGNは、ハイリスクな選好サンプルを体系的にフィルタリングする。 標準的な人間の嗜好データセットの実験では、BALIGNはアライメントゲインを損なうことなく基礎的能力を強く保持している。
  論文  参考訳（メタデータ） (2026-08-25T07:58:42Z)
• Selecting Open-Weight Language Models for Zero-Shot Intent Classification: A Systematic Evaluation of 41 Models [0.0]
  15の家系にまたがる41のオープンウェイト言語モデルと135M--9Bパラメータ範囲の体系的ゼロショット評価を行った。 我々は,信頼性キャリブレーション,現実的な入力摂動に対する堅牢性,モデルランキングの統計的信頼性,デプロイメント効率,ベンチマーク飽和度を分析した。 これらの知見は、意図分類のためのオープンウェイト言語モデルの選択と評価のための実践的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2026-07-29T19:42:33Z)
• OpenDataArena: A Fair and Open Arena for Benchmarking Post-Training Dataset Value [74.80873109856563]
  OpenDataArena(ODA)は、トレーニング後のデータの本質的な価値をベンチマークするために設計された、総合的でオープンなプラットフォームである。 ODAは4つの主要な柱からなる包括的なエコシステムを確立している。 (i) 多様なモデル間で公平でオープンな比較を保証する統一的なトレーニング評価パイプライン、 (ii) 異なる軸数に沿ってデータ品質をプロファイリングする多次元スコアリングフレームワーク、 (iii) データセットの系図を視覚化してコンポーネントソースを識別するインタラクティブなデータ系統探索である。
  論文  参考訳（メタデータ） (2025-12-16T03:33:24Z)
• Data-Efficient Domain Adaptation for LLM-based MT using Contrastive Preference Optimization [0.8749675983608171]
  データ効率のよいドメイン適応のための後編集ワークフローをシミュレートするためのCPOの適用に関する実証的研究について述べる。 提案手法は,基本モデルの生の出力を「還元」翻訳として,人間に承認されたTMエントリを「ちょうせん」翻訳として扱うことにより,好みのペアを合成する。 英語とブラジルのポルトガル語と韓国語の実験では、わずか14.7kの選好ペアを使用することで、SFTで160k以上のサンプルでトレーニングされたモデルに近い性能を達成している。
  論文  参考訳（メタデータ） (2025-10-31T15:34:41Z)
• Towards Understanding Valuable Preference Data for Large Language Model Alignment [85.38864561060088]
  大規模言語モデル(LLM)のアライメントは通常、人間の好みの比較から学習することで達成される。 新たに提案したTruncated Influence Function (TIF) を用いた検証データに対する個人の影響によるデータ品質の評価を行う。 この目的のために、我々はそれらを組み合わせ、様々なエラーソースをオフセットし、単純だが効果的なデータ選択ルールをもたらす。
  論文  参考訳（メタデータ） (2025-10-15T06:57:55Z)
• Estimating Time Series Foundation Model Transferability via In-Context Learning [74.65355820906355]
  時系列基礎モデル(TSFM)は、大規模な事前訓練を通じて強力なゼロショット予測を提供する。 微調整は、公開データに制限のあるドメインのパフォーマンス向上に依然として不可欠である。 モデル選択をコンテキスト内学習問題として再キャストする転送可能性推定フレームワークであるTimeTicを紹介する。
  論文  参考訳（メタデータ） (2025-09-28T07:07:13Z)
• Preference-Oriented Supervised Fine-Tuning: Favoring Target Model Over Aligned Large Language Models [12.500777267361102]
  我々は,新しいtextbfpreference-textbforiented 教師付き textbffine-textbftuning アプローチ,すなわち PoFT を導入する。 直感的には、SFTを特定の嗜好を与えることによって強化することであり、同じSFTデータ上で、整列 LLM 上でターゲットモデルをテキストフォバリングする。 PoFTは、さまざまなトレーニングデータセットとベースモデルにわたるSFTベースラインに対して、安定的で一貫した改善を実現している。
  論文  参考訳（メタデータ） (2024-12-17T12:49:14Z)
• DavIR: Data Selection via Implicit Reward for Large Language Models [62.59514469369608]
  DavIRは、学習後の大規模言語モデルのためのモデルベースのデータ選択手法である。 DavIRで選択したAlpacaデータセットの6%は、LLaMAモデルとGemmaモデルの両方を操り、フル52Kデータセットでトレーニングされたモデルと比較すると、優れたパフォーマンスが得られる。
  論文  参考訳（メタデータ） (2023-10-16T07:26:24Z)
• How Far Can Camels Go? Exploring the State of Instruction Tuning on Open Resources [117.6496550359768]
  この研究は、オープンな命令追従データセットにおける命令チューニング言語モデルの最近の進歩を探求する。 我々は、12の命令データセットに基づいて訓練された6.7Bから65Bのパラメータを含む、命令調整されたモデルの大規模なセットを提供する。 それらの事実的知識、推論、多言語性、コーディング、そしてその後に続くオープン・エンド・インストラクションに基づいて評価する。
  論文  参考訳（メタデータ） (2023-06-07T19:59:23Z)
• An Empirical Analysis of Fairness Notions under Differential Privacy [3.3748750222488657]
  DP-SGDに適したモデルアーキテクチャを選択すると、統計的公正基準の異なるクラスに属する異なる公正概念がどう影響するかを示す。 これらの発見は、偏りのあるデータセットに基づいてトレーニングされたディープラーニングモデルにおいて、差分プライバシーが必ずしも不公平を悪化させるという理解に挑戦する。
  論文  参考訳（メタデータ） (2023-02-06T16:29:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。