Fugu-MT 論文翻訳(概要): Safety without alignment

論文の概要: Safety without alignment

arxiv url: http://arxiv.org/abs/2303.00752v2
Date: Sat, 18 Mar 2023 04:59:26 GMT
ステータス: 処理完了
システム内更新日: 2023-03-23 23:27:35.189028
Title: Safety without alignment
Title（参考訳）: 整列のない安全
Authors: Andr\'as Kornai and Michael Bukatin and Zsolt Zombori
Abstract要約: 現在、AIの安全性における支配的なパラダイムは、人間の価値と一致している。本研究では,サンドボックス内のハイブリッド定理証明器による実装経路を提案する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Currently, the dominant paradigm in AI safety is alignment with human values. Here we describe progress on developing an alternative approach to safety, based on ethical rationalism (Gewirth:1978), and propose an inherently safe implementation path via hybrid theorem provers in a sandbox. As AGIs evolve, their alignment may fade, but their rationality can only increase (otherwise more rational ones will have a significant evolutionary advantage) so an approach that ties their ethics to their rationality has clear long-term advantages.
Abstract（参考訳）: 現在、AIの安全性における支配的なパラダイムは、人間の価値と一致している。ここでは、倫理的合理主義(Gewirth:1978)に基づく安全性への代替アプローチの進展について述べるとともに、サンドボックス内のハイブリッド定理プローサによる本質的に安全な実装経路を提案する。 AGIが進化するにつれて、それらのアライメントは消滅するが、それらの合理性は増大する(またはより合理的なものは大きな進化上の優位性を持つ)。

関連論文リスト

Safetywashing: Do AI Safety Benchmarks Actually Measure Safety Progress? [59.96471873997733]
我々は、より有意義な安全指標を開発するための実証的な基盤を提案し、機械学習研究の文脈でAIの安全性を定義する。我々は、AI安全研究のためのより厳格なフレームワークを提供し、安全性評価の科学を前進させ、測定可能な進歩への道筋を明らかにすることを目指している。
論文参考訳（メタデータ） (2024-07-31T17:59:24Z)
ProgressGym: Alignment with a Millennium of Moral Progress [8.456116530210398]
プログレスガイム(ProgressGym)は、道徳的進歩力学を歴史から学べる実験的なフレームワークである。本稿では,進捗アライメントのベースライン手法として,長寿命・外挿アルゴリズムを提案する。私たちは、新しいアルゴリズムと課題を募集するオープンなリーダーボードを構築します。
論文参考訳（メタデータ） (2024-06-28T17:55:24Z)
SafeAligner: Safety Alignment against Jailbreak Attacks via Response Disparity Guidance [48.80398992974831]
SafeAlignerは、ジェイルブレイク攻撃に対する防御を強化するためのデコード段階で実装された方法論である。安全性を高めるために訓練されたセンチネルモデルと、よりリスクの高い応答を生成するように設計されたイントルーダモデルである。 SafeAlignerは有害なトークンの発生を低減しつつ、有益トークンの可能性を高めることができることを示す。
論文参考訳（メタデータ） (2024-06-26T07:15:44Z)
AI Safety: A Climb To Armageddon? [0.0]
本稿では,最適化,緩和,ホロリズムの3つの対応戦略について検討する。この議論の驚くべき堅牢性は、AIの安全性に関するコア前提の再検討を迫られる。
論文参考訳（メタデータ） (2024-05-30T08:41:54Z)
Human-AI Safety: A Descendant of Generative AI and Control Systems Safety [6.100304850888953]
先進的なAI技術に対する有意義な安全性保証には、AI出力と人間の振る舞いによって形成されるフィードバックループが、どのようにして異なる結果に向かって相互作用を駆動するかについての推論が必要である、と我々は主張する。我々は、次世代の人間中心AI安全性に向けた具体的な技術ロードマップを提案する。
論文参考訳（メタデータ） (2024-05-16T03:52:00Z)
AI Safety: Necessary, but insufficient and possibly problematic [1.6797508081737678]
この記事では、AI安全性に関する最近の誇大広告について批判的に考察する。 AIの安全性」とは実際に何を意味するのかを考察し、AIの安全性のデジタルフットプリントが持つ支配的な概念を概説する。私たちは、AIの安全性が、悪用され有害なAIに安全を害することで、構造的危害を助長するAIを正規化する方法に関する懸念を共有します。
論文参考訳（メタデータ） (2024-03-26T06:18:42Z)
Agent Alignment in Evolving Social Norms [65.45423591744434]
本稿では,エージェント進化とアライメントのための進化的フレームワークであるEvolutionaryAgentを提案する。社会規範が継続的に進化する環境では、エージェントは現在の社会規範に適応し、生存と増殖の確率が高くなる。進化的エージェントは、一般的なタスクにおいてその能力を維持しながら、進化する社会規範と徐々に整合できることを示す。
論文参考訳（メタデータ） (2024-01-09T15:44:44Z)
Managing extreme AI risks amid rapid progress [171.05448842016125]
我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
論文参考訳（メタデータ） (2023-10-26T17:59:06Z)
Absolutist AI [0.0]
絶対的な制約でAIシステムを訓練することは、多くのAI安全問題にかなりの進歩をもたらす可能性がある。ミスアライメントの最悪の結果を避けるためのガードレールを提供する。非常に価値のある結果を得るために、AIが大惨事を引き起こすのを防げるかもしれない。
論文参考訳（メタデータ） (2023-07-19T03:40:37Z)
When to Make Exceptions: Exploring Language Models as Accounts of Human Moral Judgment [96.77970239683475]
AIシステムは人間の道徳的判断や決定を理解し、解釈し、予測しなければなりません。 AIの安全性に対する中心的な課題は、人間の道徳心の柔軟性を捉えることだ。ルール破りの質問応答からなる新しい課題セットを提案する。
論文参考訳（メタデータ） (2022-10-04T09:04:27Z)
Metaethical Perspectives on 'Benchmarking' AI Ethics [81.65697003067841]
ベンチマークは、人工知能(AI)研究の技術的進歩を測定するための基盤とみられている。 AIの顕著な研究領域は倫理であり、現在、ベンチマークのセットも、AIシステムの「倫理性」を測定する一般的な方法もない。我々は、現在と将来のAIシステムのアクションを考えるとき、倫理よりも「価値」について話す方が理にかなっていると論じる。
論文参考訳（メタデータ） (2022-04-11T14:36:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。