論文の概要: The Effects of Data Augmentation on Confidence Estimation for LLMs

• arxiv url: http://arxiv.org/abs/2506.11046v1
• Date: Wed, 21 May 2025 14:35:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-22 23:32:14.513103
• Title: The Effects of Data Augmentation on Confidence Estimation for LLMs
• Title（参考訳）: LLMの信頼性評価におけるデータ強化の効果
• Authors: Rui Wang, Renyu Zhu, Minmin Lin, Runze Wu, Tangjie Lv, Changjie Fan, Haobo Wang,
• Abstract要約: 本研究では,異なるデータ拡張手法が信頼度推定に与える影響について検討する。 データの多様性の向上により、拡張の有効性が向上する。 パラメータ転送可能性とユーザビリティを考えると、拡張のランダムな組み合わせは有望な選択である。
• 参考スコア（独自算出の注目度）: 37.497496080161035
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Confidence estimation is crucial for reflecting the reliability of large language models (LLMs), particularly in the widely used closed-source models. Utilizing data augmentation for confidence estimation is viable, but discussions focus on specific augmentation techniques, limiting its potential. We study the impact of different data augmentation methods on confidence estimation. Our findings indicate that data augmentation strategies can achieve better performance and mitigate the impact of overconfidence. We investigate the influential factors related to this and discover that, while preserving semantic information, greater data diversity enhances the effectiveness of augmentation. Furthermore, the impact of different augmentation strategies varies across different range of application. Considering parameter transferability and usability, the random combination of augmentations is a promising choice.
• Abstract（参考訳）: 信頼度推定は大規模言語モデル(LLM)の信頼性を反映するために重要であり、特に広く使われているクローズドソースモデルにおいて重要である。 信頼度推定にデータ拡張を活用することは可能であるが、議論は特定の拡張技術に焦点を当て、その可能性を制限する。 本研究では,異なるデータ拡張手法が信頼度推定に与える影響について検討する。 以上の結果から,データ拡張戦略がパフォーマンスの向上と,過信の影響を軽減することが示唆された。 これに関連する影響要因を調査し,意味情報を保存しながら,データ多様性の増大が拡張の有効性を高めることを明らかにする。 さらに、異なる拡張戦略の影響は、異なる範囲のアプリケーションによって異なる。 パラメータ転送可能性とユーザビリティを考えると、拡張のランダムな組み合わせは有望な選択である。

関連論文リスト

• Data Fusion for Partial Identification of Causal Effects [62.56890808004615]
  本稿では,研究者が重要な疑問に答えられるような,新しい部分的識別フレームワークを提案する。 因果効果は肯定的か否定的か? 本研究の枠組みをSTARプロジェクトに適用し,第3級の標準試験性能に対する教室規模の影響について検討する。
  論文  参考訳（メタデータ） (2025-05-30T07:13:01Z)
• Your Language Model May Think Too Rigidly: Achieving Reasoning Consistency with Symmetry-Enhanced Training [66.48331530995786]
  我々は、文脈から有用な情報を抽出する能力を向上させるデータ中心のアプローチであるsyMmetry-ENhanceD (MEND) Data Augmentationを提案する。 推論連鎖の増大を強調する既存の手法とは異なり,本手法は知識抽出段階におけるモデルロバスト性を向上させる。 論理的および算術的推論タスクの実験は、MENDが様々なクエリのバリエーションで推論性能を向上させることを示している。
  論文  参考訳（メタデータ） (2025-02-25T03:03:35Z)
• Efficient Multi-Agent System Training with Data Influence-Oriented Tree Search [59.75749613951193]
  木探索とデータ選択の両方をガイドするデータインフルエンス指向木探索(DITS)を提案する。 インフルエンススコアを活用することで、システム改善のための最も影響力のあるデータを効果的に特定する。 非微分不可能な指標に適した影響スコア推定法を導出する。
  論文  参考訳（メタデータ） (2025-02-02T23:20:16Z)
• Fed-AugMix: Balancing Privacy and Utility via Data Augmentation [15.325493418326117]
  緩やかな漏洩攻撃は、連合学習のプライバシー保証に重大な脅威をもたらす。 本稿では,プライバシ・ユーティリティのトレードオフを実現するために,新たなデータ拡張ベースのフレームワークを提案する。 我々のフレームワークは、AugMixアルゴリズムをクライアントレベルで組み込んで、制御可能な重大度でデータ拡張を可能にする。
  論文  参考訳（メタデータ） (2024-12-18T13:05:55Z)
• More RLHF, More Trust? On The Impact of Preference Alignment On Trustworthiness [24.843692458375436]
  本研究では,5つの信頼性分野において,汎用的嗜好データに整合したモデルがどのように機能するかを検討する。 ヒトの嗜好に対するRLHFは、自動的に信頼性を保証せず、しばしば逆効果が観察される。 本稿では,RLHF設定に効率的な影響関数に基づくデータ帰属手法を適用し,個々の信頼性ベンチマークに対する微調整データの影響をよりよく理解するために提案する。
  論文  参考訳（メタデータ） (2024-04-29T17:00:53Z)
• The Risk of Federated Learning to Skew Fine-Tuning Features and Underperform Out-of-Distribution Robustness [50.52507648690234]
  フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。 3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。 提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-01-25T09:18:51Z)
• Adaptive Multi-Source Causal Inference [21.590496842692747]
  対象個体群の因果的影響を推定するために,類似の因果的メカニズムを対象個体と共有する追加ソース・データセットを利用する。 我々は、成果、治療、共同設立者のモデリングを通じて、知識伝達の3つのレベルを提案する。 提案手法は,データソースとターゲット間のデータの相違を事前に知ることなく,対象個体群の因果関係を推定することができる。
  論文  参考訳（メタデータ） (2021-05-31T11:02:37Z)
• Heterogeneous Demand Effects of Recommendation Strategies in a Mobile Application: Evidence from Econometric Models and Machine-Learning Instruments [73.7716728492574]
  本研究では,モバイルチャネルにおける様々なレコメンデーション戦略の有効性と,個々の製品に対する消費者の実用性と需要レベルに与える影響について検討する。 提案手法では, 有効性に有意な差が認められた。 我々は,ユーザ生成レビューのディープラーニングモデルに基づいて,製品分化(アイソレーション)をキャプチャする新しいエコノメトリ機器を開発した。
  論文  参考訳（メタデータ） (2021-02-20T22:58:54Z)
• On Data Augmentation and Adversarial Risk: An Empirical Analysis [9.586672294115075]
  我々は,異なるデータ拡張手法が敵のリスクに与える影響を3つの尺度で分析する。 データ拡張による分類性能の向上は、常に敵攻撃によるリスクの改善を伴うという仮説を否定する。 以上の結果から, 拡張されたデータは, 拡張されていないデータよりも, 結果のモデルに強い影響があることが判明した。
  論文  参考訳（メタデータ） (2020-07-06T11:16:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。