論文の概要: Cultural Alignment in Large Language Models Using Soft Prompt Tuning
- arxiv url: http://arxiv.org/abs/2503.16094v1
- Date: Thu, 20 Mar 2025 12:34:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-21 16:34:42.954040
- Title: Cultural Alignment in Large Language Models Using Soft Prompt Tuning
- Title（参考訳）: ソフトプロンプトチューニングを用いた大規模言語モデルの文化的アライメント
- Authors: Reem I. Masoud, Martin Ferianc, Philip Treleaven, Miguel Rodrigues,
- Abstract要約: 大規模言語モデル(LLM)のアライメントは、従来は教師付き微調整や強化学習に基づくアライメントフレームワークに依存していた。
入力プロンプトの埋め込みを変更しながらモデルパラメータを凍結するソフトプロンプトチューニングと差分進化(DE)を組み合わせたパラメータ効率的な手法を提案する。
本手法は, LLama-3-8B-Instructの文化的次元において, 複数の領域にわたる顕著な改善を示す。
- 参考スコア（独自算出の注目度）: 3.4373727078460665
- License:
- Abstract: Large Language Model (LLM) alignment conventionally relies on supervised fine-tuning or reinforcement learning based alignment frameworks. These methods typically require labeled or preference datasets and involve updating model weights to align the LLM with the training objective or reward model. Meanwhile, in social sciences such as cross-cultural studies, factor analysis is widely used to uncover underlying dimensions or latent variables that explain observed patterns in survey data. The non-differentiable nature of these measurements deriving from survey data renders the former alignment methods infeasible for alignment with cultural dimensions. To overcome this, we propose a parameter efficient strategy that combines soft prompt tuning, which freezes the model parameters while modifying the input prompt embeddings, with Differential Evolution (DE), a black-box optimization method for cases where a differentiable objective is unattainable. This strategy ensures alignment consistency without the need for preference data or model parameter updates, significantly enhancing efficiency and mitigating overfitting. Our method demonstrates significant improvements in LLama-3-8B-Instruct's cultural dimensions across multiple regions, outperforming both the Naive LLM and the In-context Learning (ICL) baseline, and effectively bridges computational models with human cultural nuances.
- Abstract（参考訳）: 大規模言語モデル(LLM)のアライメントは、従来は教師付き微調整や強化学習に基づくアライメントフレームワークに依存していた。
これらの方法は一般的にラベル付きまたは好みのデータセットを必要とし、LLMをトレーニング対象または報酬モデルに合わせるためにモデルの重みを更新する。
一方、クロスカルチャー研究のような社会科学では、因子分析は、調査データの観察パターンを説明する基礎となる次元や潜伏変数を明らかにするために広く用いられている。
調査データから導かれるこれらの測定の微分不可能な性質は、以前のアライメント法が文化的次元と整合することができないことを示している。
そこで本研究では,入力プロンプト埋め込みを改良しながらモデルパラメータを凍結するソフトプロンプトチューニングと,異なる目的が達成不可能な場合のブラックボックス最適化手法である差分進化(DE)を組み合わせたパラメータ効率のよい手法を提案する。
この戦略は、好みのデータやモデルパラメータの更新を必要とせずにアライメントの整合性を確保し、効率を大幅に向上し、オーバーフィッティングを軽減します。
本手法は, LLama-3-8B-Instructの文化的次元を複数の領域にわたって向上させ, ナイーブLLMとインコンテクストラーニング(ICL)ベースラインの両方を上回り, 人間の文化的ニュアンスによる計算モデルを効果的に橋渡しする。
関連論文リスト
- Training Deep Learning Models with Norm-Constrained LMOs [56.00317694850397]
正規球上の線形最小化オラクル(LMO)を利用する最適化手法について検討する。
この問題の幾何学に適応するためにLMOを用いた新しいアルゴリズム群を提案し, 意外なことに, 制約のない問題に適用可能であることを示す。
論文 参考訳（メタデータ） (2025-02-11T13:10:34Z) - Dynamic Loss-Based Sample Reweighting for Improved Large Language Model Pretraining [55.262510814326035]
既存のリウェイト戦略は主にグループレベルのデータの重要性に焦点を当てている。
動的・インスタンスレベルのデータ再重み付けのための新しいアルゴリズムを提案する。
当社のフレームワークでは,冗長データや非形式データを優先的に再重み付けする戦略を考案することが可能です。
論文 参考訳（メタデータ） (2025-02-10T17:57:15Z) - A Post-Training Enhanced Optimization Approach for Small Language Models [0.0]
本稿では,小言語モデルに対する連続的な学習後アライメントデータ構築法を提案する。
本手法のコアは大規模モデルのデータガイダンスに基づいて,アライメントデータの多様性と精度を最適化する。
論文 参考訳（メタデータ） (2024-11-05T09:32:26Z) - Meta-Learning Adaptable Foundation Models [37.458141335750696]
本稿では,PEFTを組み込んだメタラーニングフレームワークを導入し,未知のタスクに容易に適応可能なモデルを学習する。
この設定では、適応可能なパラメータの集合を見つけるための標準再訓練の準最適性を示す。
次に、これらの理論的洞察をRoBERTaモデルの再訓練に適用し、ConvAI2データセット内の会話の継続を予測する。
論文 参考訳（メタデータ） (2024-10-29T17:24:18Z) - Structuring a Training Strategy to Robustify Perception Models with Realistic Image Augmentations [1.5723316845301678]
本報告では, モデルロバスト性, 性能を向上させるため, 強化したトレーニング手法を提案する。
機械学習モデルの弱点を特定し、適切な拡張を選択し、効果的なトレーニング戦略を考案する包括的フレームワークを提案する。
実験結果は,オープンソースオブジェクトの検出とセマンティックセグメンテーションモデルとデータセットに対する平均平均精度(mAP)や平均距離(mIoU)といった一般的な測定値によって測定されるモデル性能の改善を示す。
論文 参考訳（メタデータ） (2024-08-30T14:15:48Z) - SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。
SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。
画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
論文 参考訳（メタデータ） (2024-08-19T17:32:15Z) - The Role of Model Architecture and Scale in Predicting Molecular Properties: Insights from Fine-Tuning RoBERTa, BART, and LLaMA [0.0]
本研究では,各種ケミノフォマティクスタスクの微調整におけるLarge Language Models(LLMs)の有効性を比較するための体系的枠組みを提案する。
分子特性を予測するために,RoBERTa,BART,LLaMAの3つのモデルを評価した。
LLaMAベースのモデルは、一般的に最低限のバリデーション損失を提供しており、タスクやスケールの順応性が優れていることを示唆している。
論文 参考訳（メタデータ） (2024-05-02T02:20:12Z) - When to Update Your Model: Constrained Model-based Reinforcement
Learning [50.74369835934703]
モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。
続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。
さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
論文 参考訳（メタデータ） (2022-10-15T17:57:43Z) - Learning to Refit for Convex Learning Problems [11.464758257681197]
ニューラルネットワークを用いて、異なるトレーニングセットに対して最適化されたモデルパラメータを推定するフレームワークを提案する。
我々は、凸問題を近似するためにニューラルネットワークのパワーを厳格に特徴づける。
論文 参考訳（メタデータ） (2021-11-24T15:28:50Z) - Efficient Nearest Neighbor Language Models [114.40866461741795]
非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。
比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
論文 参考訳（メタデータ） (2021-09-09T12:32:28Z) - Conservative Objective Models for Effective Offline Model-Based
Optimization [78.19085445065845]
計算設計の問題は、合成生物学からコンピュータアーキテクチャまで、様々な場面で発生している。
本研究では,分布外入力に対する接地的目標の実際の値を低くする目的関数のモデルを学習する手法を提案する。
COMは、様々なMBO問題に対して、既存のメソッドの実装と性能の面では単純である。
論文 参考訳（メタデータ） (2021-07-14T17:55:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。