Fugu-MT 論文翻訳(概要): Safety without alignment

論文の概要: Safety without alignment

arxiv url: http://arxiv.org/abs/2303.00752v2
Date: Sat, 18 Mar 2023 04:59:26 GMT
ステータス: 処理完了
システム内更新日: 2023-03-23 23:27:35.189028
Title: Safety without alignment
Title（参考訳）: 整列のない安全
Authors: Andr\'as Kornai and Michael Bukatin and Zsolt Zombori
Abstract要約: 現在、AIの安全性における支配的なパラダイムは、人間の価値と一致している。本研究では,サンドボックス内のハイブリッド定理証明器による実装経路を提案する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Currently, the dominant paradigm in AI safety is alignment with human values. Here we describe progress on developing an alternative approach to safety, based on ethical rationalism (Gewirth:1978), and propose an inherently safe implementation path via hybrid theorem provers in a sandbox. As AGIs evolve, their alignment may fade, but their rationality can only increase (otherwise more rational ones will have a significant evolutionary advantage) so an approach that ties their ethics to their rationality has clear long-term advantages.
Abstract（参考訳）: 現在、AIの安全性における支配的なパラダイムは、人間の価値と一致している。ここでは、倫理的合理主義(Gewirth:1978)に基づく安全性への代替アプローチの進展について述べるとともに、サンドボックス内のハイブリッド定理プローサによる本質的に安全な実装経路を提案する。 AGIが進化するにつれて、それらのアライメントは消滅するが、それらの合理性は増大する(またはより合理的なものは大きな進化上の優位性を持つ)。

関連論文リスト

Towards A Litmus Test for Common Sense [5.280511830552275]
この論文は、安全で有益な人工知能への道を構想するシリーズの第2弾となる。我々は,最小の事前知識制約と対角的あるいはゴドネル的な議論を組み合わせた公理的アプローチを用いて,より形式的なリトマステストを提案する。
論文参考訳（メタデータ） (2025-01-17T02:02:12Z)
Deliberative Alignment: Reasoning Enables Safer Language Models [64.60765108418062]
モデルセーフティ仕様を教える新しいパラダイムであるDeliberative Alignmentを紹介します。このアプローチを使ってOpenAIのoシリーズモデルを整列させ、人書きのチェーンや回答を必要とせず、OpenAIの安全ポリシーに極めて正確な順守を実現しました。
論文参考訳（メタデータ） (2024-12-20T21:00:11Z)
SafetyAnalyst: Interpretable, transparent, and steerable safety moderation for AI behavior [56.10557932893919]
我々は、新しいAI安全モデレーションフレームワークであるSafetyAnalystを紹介する。 AIの振る舞いを考えると、SafetyAnalystはチェーン・オブ・シークレット・推論を使用してその潜在的な結果を分析する。あらゆる有害かつ有益な効果を、完全に解釈可能な重みパラメータを用いて有害度スコアに集約する。
論文参考訳（メタデータ） (2024-10-22T03:38:37Z)
Safetywashing: Do AI Safety Benchmarks Actually Measure Safety Progress? [59.96471873997733]
我々は、より有意義な安全指標を開発するための実証的な基盤を提案し、機械学習研究の文脈でAIの安全性を定義する。我々は、AI安全研究のためのより厳格なフレームワークを提供し、安全性評価の科学を前進させ、測定可能な進歩への道筋を明らかにすることを目指している。
論文参考訳（メタデータ） (2024-07-31T17:59:24Z)
AI Safety: A Climb To Armageddon? [0.0]
本稿では,最適化,緩和,ホロリズムの3つの対応戦略について検討する。この議論の驚くべき堅牢性は、AIの安全性に関するコア前提の再検討を迫られる。
論文参考訳（メタデータ） (2024-05-30T08:41:54Z)
Human-AI Safety: A Descendant of Generative AI and Control Systems Safety [6.100304850888953]
先進的なAI技術に対する有意義な安全性保証には、AI出力と人間の振る舞いによって形成されるフィードバックループが、どのようにして異なる結果に向かって相互作用を駆動するかについての推論が必要である、と我々は主張する。我々は、次世代の人間中心AI安全性に向けた具体的な技術ロードマップを提案する。
論文参考訳（メタデータ） (2024-05-16T03:52:00Z)
AI Safety: Necessary, but insufficient and possibly problematic [1.6797508081737678]
この記事では、AI安全性に関する最近の誇大広告について批判的に考察する。 AIの安全性」とは実際に何を意味するのかを考察し、AIの安全性のデジタルフットプリントが持つ支配的な概念を概説する。私たちは、AIの安全性が、悪用され有害なAIに安全を害することで、構造的危害を助長するAIを正規化する方法に関する懸念を共有します。
論文参考訳（メタデータ） (2024-03-26T06:18:42Z)
Agent Alignment in Evolving Social Norms [65.45423591744434]
本稿では,エージェント進化とアライメントのための進化的フレームワークであるEvolutionaryAgentを提案する。社会規範が継続的に進化する環境では、エージェントは現在の社会規範に適応し、生存と増殖の確率が高くなる。進化的エージェントは、一般的なタスクにおいてその能力を維持しながら、進化する社会規範と徐々に整合できることを示す。
論文参考訳（メタデータ） (2024-01-09T15:44:44Z)
Hybrid Approaches for Moral Value Alignment in AI Agents: a Manifesto [3.7414804164475983]
次世代人工知能(AI)システムの安全性確保への関心が高まっているため、自律エージェントに道徳を埋め込む新しいアプローチが求められている。連続体としてモデル化された機械に道徳を導入する問題に対する既存のアプローチの体系化を提供する。我々は、適応可能で堅牢だが制御可能で解釈可能なエージェントシステムを構築するために、よりハイブリッドなソリューションが必要であると論じている。
論文参考訳（メタデータ） (2023-12-04T11:46:34Z)
When to Make Exceptions: Exploring Language Models as Accounts of Human Moral Judgment [96.77970239683475]
AIシステムは人間の道徳的判断や決定を理解し、解釈し、予測しなければなりません。 AIの安全性に対する中心的な課題は、人間の道徳心の柔軟性を捉えることだ。ルール破りの質問応答からなる新しい課題セットを提案する。
論文参考訳（メタデータ） (2022-10-04T09:04:27Z)
Metaethical Perspectives on 'Benchmarking' AI Ethics [81.65697003067841]
ベンチマークは、人工知能(AI)研究の技術的進歩を測定するための基盤とみられている。 AIの顕著な研究領域は倫理であり、現在、ベンチマークのセットも、AIシステムの「倫理性」を測定する一般的な方法もない。我々は、現在と将来のAIシステムのアクションを考えるとき、倫理よりも「価値」について話す方が理にかなっていると論じる。
論文参考訳（メタデータ） (2022-04-11T14:36:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。