論文の概要: Mitigating Sycophancy in Decoder-Only Transformer Architectures: Synthetic Data Intervention

• arxiv url: http://arxiv.org/abs/2411.10156v2
• Date: Wed, 20 Nov 2024 11:52:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 12:32:50.204984
• Title: Mitigating Sycophancy in Decoder-Only Transformer Architectures: Synthetic Data Intervention
• Title（参考訳）: デコーダオンリートランスフォーマーアーキテクチャにおけるシクロファンシーの緩和:合成データ干渉
• Authors: Libo Wang,
• Abstract要約: 本研究はデコーダのみのトランスアーキテクチャに合成データ介入技術を適用した。 以上の結果から,SDIトレーニングモデルでは,精度と薬効率の観点から,SDIトレーニングモデルがサポートできることが示唆された。
• 参考スコア（独自算出の注目度）: 4.586907225774023
• License:
• Abstract: To address the sycophancy problem caused by reinforcement learning from human feedback in large language models, this research applies synthetic data intervention technology to the decoder-only transformer architecture. Based on the research gaps in the existing literature, the researcher designed an experimental process to reduce the tendency of models to cater by generating diversified data, and used GPT4o as an experimental tool for verification. The experiment used 100 true and false questions, and compared the performance of the model trained with synthetic data intervention and the original untrained model on multiple indicators. The results show that the SDI training model supports the technology in terms of accuracy rate and sycophancy rate and has significant effectiveness in reducing sycophancy phenomena. Notably, the data set, experimental process, code and data results have been uploaded to Github, the link is https://github.com/brucewang123456789/GeniusTrail.git.
• Abstract（参考訳）: 大規模言語モデルにおける人的フィードバックからの強化学習によって引き起こされる語彙問題に対処するため,この研究はデコーダのみのトランスフォーマーアーキテクチャに合成データ介入技術を適用した。 既存の文献における研究のギャップに基づいて、研究者は、多様化したデータを生成することによってモデルに注意を向ける傾向を減少させる実験プロセスを設計し、GPT4oを検証ツールとして使用した。 実験では、100の真偽の質問を使用し、合成データ介入で訓練されたモデルと、複数の指標で訓練されていないオリジナルのモデルのパフォーマンスを比較した。 以上の結果から,SDIトレーニングモデルでは,正確度とサイコフィナンシー率の面でこの技術をサポートし,サイコフィナンシー現象の低減に有効であることが示唆された。 特に、データセット、実験プロセス、コード、およびデータ結果はGithubにアップロードされ、リンクはhttps://github.com/brucewang123456789/GeniusTrail.gitである。

関連論文リスト

• Physics-Informed Deep Learning Model for Line-integral Diagnostics Across Fusion Devices [20.883836707493213]
  線積分測定による2次元プラズマプロファイルの迅速再構築は核融合において重要である。 本稿では、オニオンと呼ばれる物理インフォームドモデルアーキテクチャを導入し、モデルの性能を向上させる。
  論文  参考訳（メタデータ） (2024-11-27T08:15:23Z)
• Advancing Post-OCR Correction: A Comparative Study of Synthetic Data [3.997809845676911]
  我々は,コンピュータビジョン特徴検出アルゴリズムを利用して,OCR後合成データ構築のためのグリフ類似性を計算するアルゴリズムを提案する。 ByT5のようなモデルでは、手動でアノテートするデータを必要とせずにキャラクタエラー率(CER)を大幅に削減できることを示す。
  論文  参考訳（メタデータ） (2024-08-05T05:56:37Z)
• Synthetic Image Learning: Preserving Performance and Preventing Membership Inference Attacks [5.0243930429558885]
  本稿では,下流分類器の学習のための合成データの生成と利用を最適化するパイプラインである知識リサイクル(KR)を紹介する。 このパイプラインの核心は生成的知識蒸留(GKD)であり、情報の品質と有用性を大幅に向上させる技術が提案されている。 その結果、実データと合成データでトレーニングされたモデルと、実データでトレーニングされたモデルとの性能差が著しく低下した。
  論文  参考訳（メタデータ） (2024-07-22T10:31:07Z)
• Unveiling the Flaws: Exploring Imperfections in Synthetic Data and Mitigation Strategies for Large Language Models [89.88010750772413]
  大規模言語モデル(LLM)の学習における高品質なデータ不足問題に対する解決法として,合成データを提案する。 我々の研究は、Q-A(Q-A)ペア、一般的な合成データに関連するこれらの特定の欠陥を掘り下げ、これらの欠陥を軽減するための未学習技術に基づく方法を提案する。 我々の研究は、より堅牢で効率的なLLMトレーニングを促進することを目的として、合成データの効果的な利用に関する重要な洞察を得た。
  論文  参考訳（メタデータ） (2024-06-18T08:38:59Z)
• Reimagining Synthetic Tabular Data Generation through Data-Centric AI: A Comprehensive Benchmark [56.8042116967334]
  合成データは、機械学習モデルのトレーニングの代替となる。 合成データが現実世界データの複雑なニュアンスを反映することを保証することは、難しい作業です。 本稿では,データ中心型AI技術の統合による合成データ生成プロセスのガイドの可能性について検討する。
  論文  参考訳（メタデータ） (2023-10-25T20:32:02Z)
• A Discrepancy Aware Framework for Robust Anomaly Detection [51.710249807397695]
  本稿では,DAF(Disdisrepancy Aware Framework)を提案する。 本手法は,デコーダの欠陥同定に外見に依存しないキューを利用して,その合成外観への依存を緩和する。 単純な合成戦略の下では,既存の手法を大きなマージンで上回り,また,最先端のローカライゼーション性能も達成している。
  論文  参考訳（メタデータ） (2023-10-11T15:21:40Z)
• Robustness and Generalization Performance of Deep Learning Models on Cyber-Physical Systems: A Comparative Study [71.84852429039881]
  調査は、センサーの故障やノイズなど、様々な摂動を扱うモデルの能力に焦点を当てている。 我々は,これらのモデルの一般化と伝達学習能力を,アウト・オブ・ディストリビューション(OOD)サンプルに公開することによって検証する。
  論文  参考訳（メタデータ） (2023-06-13T12:43:59Z)
• Machine learning enabled experimental design and parameter estimation for ultrafast spin dynamics [54.172707311728885]
  機械学習とベイズ最適実験設計(BOED)を組み合わせた方法論を提案する。 本手法は,大規模スピンダイナミクスシミュレーションのためのニューラルネットワークモデルを用いて,BOEDの正確な分布と実用計算を行う。 数値ベンチマークでは,XPFS実験の誘導,モデルパラメータの予測,実験時間内でのより情報的な測定を行う上で,本手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-06-03T06:19:20Z)
• Qualitative Data Augmentation for Performance Prediction in VLSI circuits [2.1227526213206542]
  本研究では,回路データにGANを用いた人工データの生成と評価を行う。 トレーニングデータは、TSMC 180nmおよび22nmCMOS技術ノードを用いたCadence Virtuoso、HSPICE、Microcap設計環境における様々なシミュレーションによって得られる。 実験結果から,提案した人工データ生成はMLモデルを大幅に改善し,元のパーセンテージ誤差の50%以上削減できることがわかった。
  論文  参考訳（メタデータ） (2023-02-15T10:14:12Z)
• An Adversarial Active Sampling-based Data Augmentation Framework for Manufacturable Chip Design [55.62660894625669]
  リソグラフィーモデリングは、チップ設計マスクが製造可能であることを保証するため、チップ設計において重要な問題である。 機械学習の最近の進歩は、時間を要するリソグラフィーシミュレーションをディープニューラルネットワークに置き換えるための代替ソリューションを提供している。 本稿では,限られたデータのジレンマを解消し,機械学習モデルの性能を向上させるために,データ拡張フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-27T20:53:39Z)
• A Model-Based Approach to Synthetic Data Set Generation for Patient-Ventilator Waveforms for Machine Learning and Educational Use [0.0]
  機械学習と教育利用のための合成データセットを生成するモデルベースのアプローチを提案する。 文献中の測定結果から得られた9種類の患者原型を用いて合成データセットを生成した。
  論文  参考訳（メタデータ） (2021-03-29T15:10:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。