Fugu-MT 論文翻訳(概要): Comparing Optimization Targets for Contrast-Consistent Search

論文の概要: Comparing Optimization Targets for Contrast-Consistent Search

arxiv url: http://arxiv.org/abs/2311.00488v1
Date: Wed, 1 Nov 2023 12:42:14 GMT
ステータス: 処理完了
システム内更新日: 2023-11-02 13:43:49.136557
Title: Comparing Optimization Targets for Contrast-Consistent Search
Title（参考訳）: コントラスト整合探索のための最適化目標の比較
Authors: Hugo Fry, Seamus Fallows, Ian Fan, Jamie Wright, Nandi Schoots
Abstract要約: そこで我々はMidpoint-Displacement(MD)損失関数と呼ぶ新しい損失関数を提案する。ある種の超パラメータ値に対して、このMD損失関数は、CCSと非常によく似た重みを持つプローバーに導かれることを示す。
参考スコア（独自算出の注目度）: 0.6291443816903801
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We investigate the optimization target of Contrast-Consistent Search (CCS), which aims to recover the internal representations of truth of a large language model. We present a new loss function that we call the Midpoint-Displacement (MD) loss function. We demonstrate that for a certain hyper-parameter value this MD loss function leads to a prober with very similar weights to CCS. We further show that this hyper-parameter is not optimal and that with a better hyper-parameter the MD loss function attains a higher test accuracy than CCS.
Abstract（参考訳）: 本研究では,大言語モデルの内部表現を復元するコントラスト・一貫性探索(CCS)の最適化対象について検討する。そこで我々はMidpoint-Displacement(MD)損失関数と呼ぶ新しい損失関数を提案する。我々は,このMD損失関数がある種の超パラメータ値に対して,CCSと非常によく似た重みを持つプローブとなることを示した。さらに, この超パラメータは最適ではなく, MD損失関数がCCSよりも高い精度で達成可能であることを示す。

関連論文リスト

Combining Automated Optimisation of Hyperparameters and Reward Shape [7.407166175374958]
本稿では,ハイパーパラメータと報酬関数を組み合わせた最適化手法を提案する。近似ポリシー最適化とソフト・アクター・クリティカルを用いた広範囲な実験を行った。以上の結果から,統合最適化は環境の半分のベースライン性能よりも有意に向上し,他の環境との競争性能も向上することが示された。
論文参考訳（メタデータ） (2024-06-26T12:23:54Z)
Enhancing Hypergradients Estimation: A Study of Preconditioning and Reparameterization [49.73341101297818]
双レベル最適化は、内部最適化問題の解に依存する外的目的関数を最適化することを目的としている。外部問題の過次性を計算する従来の方法は、Implicit Function Theorem (IFT) を使うことである。 IFT法の誤差について検討し,この誤差を低減するための2つの手法を解析した。
論文参考訳（メタデータ） (2024-02-26T17:09:18Z)
Fine-Tuning Adaptive Stochastic Optimizers: Determining the Optimal Hyperparameter $ε$ via Gradient Magnitude Histogram Analysis [0.7366405857677226]
我々は、損失の大きさの経験的確率密度関数に基づく新しい枠組みを導入し、これを「緩やかな等級ヒストグラム」と呼ぶ。そこで本稿では, 最適安全のための精密かつ高精度な探索空間を自動推定するために, 勾配等級ヒストグラムを用いた新しいアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-11-20T04:34:19Z)
CPMLHO:Hyperparameter Tuning via Cutting Plane and Mixed-Level Optimization [24.39326333982495]
CPMLHOは切削平面法と混合レベル目的関数を用いた新しいハイパーパラメータ最適化法である。既存の手法と比較して,本手法はトレーニングプロセスのハイパーパラメータを自動的に更新することができる。
論文参考訳（メタデータ） (2022-12-11T07:46:19Z)
Smoothing Policy Iteration for Zero-sum Markov Games [9.158672246275348]
ゼロサムMGの解法としてスムージングポリシロバストネス(SPI)アルゴリズムを提案する。特に、対向ポリシーは、作用空間上の効率的なサンプリングを可能にする重み関数として機能する。また,SPIを関数近似で拡張することにより,Smooth adversarial Actor-critic (SaAC) と呼ばれるモデルベースアルゴリズムを提案する。
論文参考訳（メタデータ） (2022-12-03T14:39:06Z)
Reducing Predictive Feature Suppression in Resource-Constrained Contrastive Image-Caption Retrieval [65.33981533521207]
我々は、リソース制約のあるICR手法における予測的特徴抑圧を減らすアプローチを提案する:潜在目標デコーディング(LTD) LTDは、汎用文エンコーダの潜時空間で入力キャプションを再構成し、画像及びキャプションエンコーダが予測的特徴を抑制するのを防止する。実験の結果,入力空間における入力キャプションの再構成とは異なり,LTDはリコール@k,r精度,nDCGスコアを高くすることで,予測的特徴抑制を低減できることがわかった。
論文参考訳（メタデータ） (2022-04-28T09:55:28Z)
Rectified Max-Value Entropy Search for Bayesian Optimization [54.26984662139516]
我々は、相互情報の概念に基づいて、修正されたMES取得関数を開発する。その結果、RMESは、いくつかの合成関数ベンチマークと実世界の最適化問題において、MESよりも一貫した改善を示している。
論文参考訳（メタデータ） (2022-02-28T08:11:02Z)
STORM+: Fully Adaptive SGD with Momentum for Nonconvex Optimization [74.1615979057429]
本研究では,スムーズな損失関数に対する期待値である非バッチ最適化問題について検討する。我々の研究は、学習率と運動量パラメータを適応的に設定する新しいアプローチとともに、STORMアルゴリズムの上に構築されている。
論文参考訳（メタデータ） (2021-11-01T15:43:36Z)
Efficient hyperparameter optimization by way of PAC-Bayes bound minimization [4.191847852775072]
本稿では,期待外誤差に縛られた確率的近似ベイズ(PAC-Bayes)と等価な別の目的について述べる。そして、この目的を最小化するために、効率的な勾配に基づくアルゴリズムを考案する。
論文参考訳（メタデータ） (2020-08-14T15:54:51Z)
Mixed Strategies for Robust Optimization of Unknown Objectives [93.8672371143881]
そこでは,不確実なパラメータの最悪の実現に対して,未知の目的関数を最適化することを目的として,ロバストな最適化問題を考察する。我々は,未知の目的をノイズ点評価から逐次学習する,新しいサンプル効率アルゴリズムGP-MROを設計する。 GP-MROは、最悪のケースで期待される目標値を最大化する、堅牢でランダムな混合戦略の発見を目指している。
論文参考訳（メタデータ） (2020-02-28T09:28:17Z)
Distributionally Robust Bayesian Optimization [121.71766171427433]
そこで本研究では,ゼロ次雑音最適化のための分散ロバストなベイズ最適化アルゴリズム(DRBO)を提案する。提案アルゴリズムは, 種々の設定において, 線形に頑健な後悔を確実に得る。提案手法は, 実世界のベンチマークと実世界のベンチマークの両方において, 頑健な性能を示す。
論文参考訳（メタデータ） (2020-02-20T22:04:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。