論文の概要: Mitigating Sycophancy in Decoder-Only Transformer Architectures: Synthetic Data Intervention

• arxiv url: http://arxiv.org/abs/2411.10156v5
• Date: Thu, 20 Mar 2025 13:29:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 20:01:43.086182
• Title: Mitigating Sycophancy in Decoder-Only Transformer Architectures: Synthetic Data Intervention
• Title（参考訳）: デコーダオンリートランスフォーマーアーキテクチャにおけるシクロファンシーの緩和:合成データ干渉
• Authors: Libo Wang,
• Abstract要約: 本研究はデコーダのみのトランスアーキテクチャに合成データ介入技術を適用した。 以上の結果から,SDIトレーニングモデルでは,精度と薬効率の観点から,SDIトレーニングモデルがサポートできることが示唆された。
• 参考スコア（独自算出の注目度）: 4.586907225774023
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To address the sycophancy problem caused by reinforcement learning from human feedback in large language models, this research applies synthetic data intervention technology to the decoder-only transformer architecture. Based on the research gaps in the existing literature, the researcher designed an experimental process to reduce the tendency of models to cater by generating diversified data, and used GPT4o as an experimental tool for verification. The experiment used 100 true and false questions, and compared the performance of the model trained with synthetic data intervention and the original untrained model on multiple indicators. The results show that the SDI training model supports the technology in terms of accuracy rate and sycophancy rate and has significant effectiveness in reducing sycophancy phenomena.
• Abstract（参考訳）: 大規模言語モデルにおける人的フィードバックからの強化学習によって引き起こされる語彙問題に対処するため,この研究はデコーダのみのトランスフォーマーアーキテクチャに合成データ介入技術を適用した。 既存の文献における研究のギャップに基づいて、研究者は、多様化したデータを生成することによってモデルに注意を向ける傾向を減少させる実験プロセスを設計し、GPT4oを検証ツールとして使用した。 実験では、100の真偽の質問を使用し、合成データ介入で訓練されたモデルと、複数の指標で訓練されていないオリジナルのモデルのパフォーマンスを比較した。 以上の結果から,SDIトレーニングモデルでは,正確度とサイコフィナンシー率の面でこの技術をサポートし,サイコフィナンシー現象の低減に有効であることが示唆された。

関連論文リスト

• A Theoretical Perspective: How to Prevent Model Collapse in Self-consuming Training Loops [55.07063067759609]
  高品質なデータは大規模な生成モデルのトレーニングには不可欠だが、オンラインで利用可能な実際のデータの膨大な蓄積はほとんど枯渇している。 モデルは、さらなるトレーニングのために独自のデータを生成し、自己消費訓練ループ(STL)を形成する。 一部のモデルは劣化または崩壊するが、他のモデルはこれらの失敗をうまく回避し、理論的な理解にかなりのギャップを残している。
  論文  参考訳（メタデータ） (2025-02-26T06:18:13Z)
• Physics-Informed Deep Learning Model for Line-integral Diagnostics Across Fusion Devices [20.883836707493213]
  線積分測定による2次元プラズマプロファイルの迅速再構築は核融合において重要である。 本稿では、オニオンと呼ばれる物理インフォームドモデルアーキテクチャを導入し、モデルの性能を向上させる。
  論文  参考訳（メタデータ） (2024-11-27T08:15:23Z)
• Synthetic Image Learning: Preserving Performance and Preventing Membership Inference Attacks [5.0243930429558885]
  本稿では,下流分類器の学習のための合成データの生成と利用を最適化するパイプラインである知識リサイクル(KR)を紹介する。 このパイプラインの核心は生成的知識蒸留(GKD)であり、情報の品質と有用性を大幅に向上させる技術が提案されている。 その結果、実データと合成データでトレーニングされたモデルと、実データでトレーニングされたモデルとの性能差が著しく低下した。
  論文  参考訳（メタデータ） (2024-07-22T10:31:07Z)
• Unveiling the Flaws: Exploring Imperfections in Synthetic Data and Mitigation Strategies for Large Language Models [89.88010750772413]
  大規模言語モデル(LLM)の学習における高品質なデータ不足問題に対する解決法として,合成データを提案する。 我々の研究は、Q-A(Q-A)ペア、一般的な合成データに関連するこれらの特定の欠陥を掘り下げ、これらの欠陥を軽減するための未学習技術に基づく方法を提案する。 我々の研究は、より堅牢で効率的なLLMトレーニングを促進することを目的として、合成データの効果的な利用に関する重要な洞察を得た。
  論文  参考訳（メタデータ） (2024-06-18T08:38:59Z)
• Reimagining Synthetic Tabular Data Generation through Data-Centric AI: A Comprehensive Benchmark [56.8042116967334]
  合成データは、機械学習モデルのトレーニングの代替となる。 合成データが現実世界データの複雑なニュアンスを反映することを保証することは、難しい作業です。 本稿では,データ中心型AI技術の統合による合成データ生成プロセスのガイドの可能性について検討する。
  論文  参考訳（メタデータ） (2023-10-25T20:32:02Z)
• Private Synthetic Data Meets Ensemble Learning [15.425653946755025]
  機械学習モデルが合成データに基づいてトレーニングされ、実際のデータにデプロイされると、しばしばパフォーマンス低下が発生する。 実データを用いた場合のパフォーマンス向上を目標として,下流モデルのトレーニングのための新たなアンサンブル戦略を導入する。
  論文  参考訳（メタデータ） (2023-10-15T04:24:42Z)
• A Discrepancy Aware Framework for Robust Anomaly Detection [51.710249807397695]
  本稿では,DAF(Disdisrepancy Aware Framework)を提案する。 本手法は,デコーダの欠陥同定に外見に依存しないキューを利用して,その合成外観への依存を緩和する。 単純な合成戦略の下では,既存の手法を大きなマージンで上回り,また,最先端のローカライゼーション性能も達成している。
  論文  参考訳（メタデータ） (2023-10-11T15:21:40Z)
• From Zero to Hero: Detecting Leaked Data through Synthetic Data Injection and Model Querying [10.919336198760808]
  分類モデルの学習に使用される漏洩データを検出する新しい手法を提案する。 textscLDSSは、クラス分散の局所的なシフトによって特徴付けられる、少量の合成データを所有者のデータセットに注入する。 これにより、モデルクエリ単独で、リークデータに基づいてトレーニングされたモデルの効果的な識別が可能になる。
  論文  参考訳（メタデータ） (2023-10-06T10:36:28Z)
• Improving Surrogate Model Robustness to Perturbations for Dynamical Systems Through Machine Learning and Data Assimilation [0.0789257770465417]
  本稿では,機械学習とデータ同化技術を組み合わせてサロゲートモデルを改善する新しいフレームワークを提案する。 本研究では,入力摂動下でのサロゲートモデルの精度を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-07-19T05:45:05Z)
• Training Deep Surrogate Models with Large Scale Online Learning [48.7576911714538]
  ディープラーニングアルゴリズムは、PDEの高速解を得るための有効な代替手段として登場した。 モデルは通常、ソルバによって生成された合成データに基づいてトレーニングされ、ディスクに格納され、トレーニングのために読み返される。 ディープサロゲートモデルのためのオープンソースのオンライントレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-28T12:02:27Z)
• Robustness and Generalization Performance of Deep Learning Models on Cyber-Physical Systems: A Comparative Study [71.84852429039881]
  調査は、センサーの故障やノイズなど、様々な摂動を扱うモデルの能力に焦点を当てている。 我々は,これらのモデルの一般化と伝達学習能力を,アウト・オブ・ディストリビューション(OOD)サンプルに公開することによって検証する。
  論文  参考訳（メタデータ） (2023-06-13T12:43:59Z)
• Post-training Model Quantization Using GANs for Synthetic Data Generation [57.40733249681334]
  量子化法における実データを用いたキャリブレーションの代用として合成データを用いた場合について検討する。 本稿では,StyleGAN2-ADAが生成したデータと事前学習したDiStyleGANを用いて定量化したモデルの性能と,実データを用いた量子化とフラクタル画像に基づく代替データ生成手法との比較を行った。
  論文  参考訳（メタデータ） (2023-05-10T11:10:09Z)
• A New Benchmark: On the Utility of Synthetic Data with Blender for Bare Supervised Learning and Downstream Domain Adaptation [42.2398858786125]
  コンピュータビジョンにおけるディープラーニングは、大規模ラベル付きトレーニングデータの価格で大きな成功を収めた。 制御不能なデータ収集プロセスは、望ましくない重複が存在する可能性のある非IIDトレーニングおよびテストデータを生成する。 これを回避するために、ドメインランダム化による3Dレンダリングによる合成データを生成する方法がある。
  論文  参考訳（メタデータ） (2023-03-16T09:03:52Z)
• Qualitative Data Augmentation for Performance Prediction in VLSI circuits [2.1227526213206542]
  本研究では,回路データにGANを用いた人工データの生成と評価を行う。 トレーニングデータは、TSMC 180nmおよび22nmCMOS技術ノードを用いたCadence Virtuoso、HSPICE、Microcap設計環境における様々なシミュレーションによって得られる。 実験結果から,提案した人工データ生成はMLモデルを大幅に改善し,元のパーセンテージ誤差の50%以上削減できることがわかった。
  論文  参考訳（メタデータ） (2023-02-15T10:14:12Z)
• An Adversarial Active Sampling-based Data Augmentation Framework for Manufacturable Chip Design [55.62660894625669]
  リソグラフィーモデリングは、チップ設計マスクが製造可能であることを保証するため、チップ設計において重要な問題である。 機械学習の最近の進歩は、時間を要するリソグラフィーシミュレーションをディープニューラルネットワークに置き換えるための代替ソリューションを提供している。 本稿では,限られたデータのジレンマを解消し,機械学習モデルの性能を向上させるために,データ拡張フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-27T20:53:39Z)
• BeCAPTCHA-Type: Biometric Keystroke Data Generation for Improved Bot Detection [63.447493500066045]
  本研究では,キーストローク生体データ合成のためのデータ駆動学習モデルを提案する。 提案手法は,ユニバーサルモデルとユーザ依存モデルに基づく2つの統計的手法と比較する。 実験フレームワークでは16万件の被験者から1億3600万件のキーストロークイベントのデータセットについて検討している。
  論文  参考訳（メタデータ） (2022-07-27T09:26:15Z)
• Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
  そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。 我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。 CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-05-18T15:13:00Z)
• A Model-Based Approach to Synthetic Data Set Generation for Patient-Ventilator Waveforms for Machine Learning and Educational Use [0.0]
  機械学習と教育利用のための合成データセットを生成するモデルベースのアプローチを提案する。 文献中の測定結果から得られた9種類の患者原型を用いて合成データセットを生成した。
  論文  参考訳（メタデータ） (2021-03-29T15:10:17Z)
• A study of traits that affect learnability in GANs [0.0]
  Generative Adversarial Networks GANは、2つのニューラルネットワークを使用するアルゴリズムアーキテクチャである。 本稿では,パラメータ化合成データセットを用いて実験実験を行い,学習性に影響を与える特性について検討する。
  論文  参考訳（メタデータ） (2020-11-27T13:31:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。