論文の概要: Simulating the Evolution of Alignment and Values in Machine Intelligence
- arxiv url: http://arxiv.org/abs/2604.05274v1
- Date: Tue, 07 Apr 2026 00:18:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-08 17:42:09.545521
- Title: Simulating the Evolution of Alignment and Values in Machine Intelligence
- Title(参考訳): マシンインテリジェンスにおけるアライメントと価値の進化のシミュレーション
- Authors: Jonathan Elsworth Eicher,
- Abstract要約: 我々は、アライメント信号と真の価値の両方を含む信念の扱いに焦点を当てる。
我々は、信念と選択の方法論の異なる集団が、どのように偽りの信念を直せるかをモデル化することができる。
評価能力の向上,適応型テスト設計,突然変異ダイナミクスを組み合わせれば,偽装の大幅な削減が期待できる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Model alignment is currently applied in a vacuum, evaluated primarily through standardised benchmark performance. The purpose of this study is to examine the effects of alignment on populations of models through time. We focus on the treatment of beliefs which contain both an alignment signal (how well it does on the test) and a true value (what the impact actually will be). By applying evolutionary theory we can model how different populations of beliefs and selection methodologies can fix deceptive beliefs through iterative alignment testing. The correlation between testing accuracy and true value remains a strong feature, but even at high correlations ($ρ= 0.8$) there is variability in the resulting deceptive beliefs that become fixed. Mutations allow for more complex developments, highlighting the increasing need to update the quality of tests to avoid fixation of maliciously deceptive models. Only by combining improving evaluator capabilities, adaptive test design, and mutational dynamics do we see significant reductions in deception while maintaining alignment fitness (permutation test, $p_{\text{adj}} < 0.001$).
- Abstract(参考訳): 現在、モデルアライメントは真空で適用されており、主に標準ベンチマークのパフォーマンスで評価されている。
本研究の目的は,モデル個体群に対するアライメントの時間的影響を検討することである。
私たちは、アライメント信号(テストでどの程度うまく動作するか)と真の価値(実際にどのような影響があるのか)の両方を含む信念の扱いに焦点を合わせます。
進化論を適用することで、反復的なアライメントテストによって、異なる信念と選択方法論の集団がどのように偽の信念を直せるかをモデル化することができる。
テスト精度と真値の相関は依然として強い特徴であるが、高い相関(ρ = 0.8$)であっても、結果として固定される偽りの信念にはばらつきがある。
ミューテーションにより、より複雑な開発が可能となり、悪意ある偽りのモデルの修正を避けるために、テストの品質を更新する必要性が高まっている。
評価機能の改善、適応テスト設計、突然変異ダイナミクスを組み合わせることでのみ、アライメント適合性を維持しながら、偽装の大幅な削減が見られる(permutation test, $p_{\text{adj}} < 0.001$)。
関連論文リスト
- Beyond Perfect Scores: Proof-by-Contradiction for Trustworthy Machine Learning [0.0]
モデルが真の臨床的手がかりに依存しているか、あるいはデータの急激な相関に依存しているかは、しばしば不明である。
本稿では, 証明・比較に基づく信頼性試験について述べる。
我々のアプローチは、潜在的な成果フレームワークに基づいて、スプリアスラベルを慎重にトレーニングし、テストする。
論文 参考訳(メタデータ) (2026-01-10T22:08:14Z) - Test-Time Adaptation by Causal Trimming [25.388362454409833]
テストタイム適応は、分散シフトの下でモデルの堅牢性を改善することを目的としている。
因果トリミング(TACT)によるテスト時間適応の導入
TACTは、因果的特徴を保存し、非因果的特徴を変動させるデータ拡張を適用している。
それは一貫して最先端の手法を著しく上回っている。
論文 参考訳(メタデータ) (2025-10-13T08:22:38Z) - Measuring training variability from stochastic optimization using robust nonparametric testing [5.519968037738177]
本稿では,モデル類似度を測定するために,ロバストな仮説テストフレームワークと,新たな要約統計量である$alpha$-trimmingレベルを提案する。
仮説を$alpha$-trimmingレベルで直接適用することは、null仮説の下で分布を正確に記述できないため、難しい。
モデル変数の測定に$alpha$-trimmingレベルを使用する方法を示し、パフォーマンス指標よりも表現力が高いことを実験的に実証する。
論文 参考訳(メタデータ) (2024-06-12T15:08:15Z) - Max-Rank: Efficient Multiple Testing for Conformal Prediction [43.56898111853698]
多重仮説テスト(MHT)は科学的な調査で頻繁に発生し、複数の仮説の同時テストはタイプIエラーや偽陽性のリスクを膨らませる。
本稿では、予測不確実性定量化のための柔軟なフレームワークである共形予測の文脈において、MHTに対処する。
我々は、ファミリーワイズエラー率を効率的に制御しながら依存関係を利用する新しい補正である$textttmax-rank$を紹介した。
論文 参考訳(メタデータ) (2023-11-17T22:44:22Z) - Confidence and Dispersity Speak: Characterising Prediction Matrix for
Unsupervised Accuracy Estimation [51.809741427975105]
この研究は、ラベルを使わずに、分散シフト下でのモデルの性能を評価することを目的としている。
我々は、両方の特性を特徴付けるのに有効であることが示されている核規範を用いる。
核の基準は既存の手法よりも正確で堅牢であることを示す。
論文 参考訳(メタデータ) (2023-02-02T13:30:48Z) - Conformal Prediction Under Feedback Covariate Shift for Biomolecular Design [56.86533144730384]
本稿では,トレーニングデータとテストデータが統計的に依存した環境での予測不確実性を定量化する手法を提案する。
モチベーション・ユースケースとして,本手法が設計したタンパク質の適合性予測の不確かさを定量化する方法を実データで示す。
論文 参考訳(メタデータ) (2022-02-08T02:59:12Z) - MEMO: Test Time Robustness via Adaptation and Augmentation [131.28104376280197]
テスト時間ロバスト化の問題、すなわちモデルロバスト性を改善するためにテストインプットを用いて検討する。
最近の先行研究ではテスト時間適応法が提案されているが、それぞれ追加の仮定を導入している。
モデルが確率的で適応可能な任意のテスト環境で使用できるシンプルなアプローチを提案する。
論文 参考訳(メタデータ) (2021-10-18T17:55:11Z) - On the (Un-)Avoidability of Adversarial Examples [4.822598110892847]
ディープラーニングモデルの逆例は、その信頼性に大きな懸念を引き起こしている。
小摂動下でのモデルラベルの変更が正当化されるかどうかを決定するためのフレームワークを提供する。
適応的なデータ拡張は、決定論的ラベルの下で1-アレスト近傍の分類の整合性を維持していることを示す。
論文 参考訳(メタデータ) (2021-06-24T21:35:25Z) - Counterfactual Invariance to Spurious Correlations: Why and How to Pass
Stress Tests [87.60900567941428]
素早い相関」とは、アナリストが重要とすべきでないと考える入力データのある側面に対するモデルの依存である。
機械学習では、これらにはノウ・イ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ」という特徴がある。
因果推論ツールを用いたストレステストについて検討した。
論文 参考訳(メタデータ) (2021-05-31T14:39:38Z) - Evaluating Prediction-Time Batch Normalization for Robustness under
Covariate Shift [81.74795324629712]
我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。
予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。
この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
論文 参考訳(メタデータ) (2020-06-19T05:08:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。