論文の概要: On Regulating Downstream AI Developers
- arxiv url: http://arxiv.org/abs/2503.11922v1
- Date: Fri, 14 Mar 2025 23:15:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-18 14:56:57.611159
- Title: On Regulating Downstream AI Developers
- Title(参考訳): 下流AI開発者の規制について
- Abstract要約: ファンデーションモデルは、親密な画像の乱用、サイバー攻撃、バイオテロなど、重大なリスクを負う可能性がある。
これらのリスクを減らすため、政策立案者はこれらのモデルの開発者に義務を課し始めている。
下流の開発者は、モデルの能力を改善したり、安全性機能を妥協することで、リスクを創造または増幅することができる。
- 参考スコア(独自算出の注目度): 1.053373860696675
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Foundation models - models trained on broad data that can be adapted to a wide range of downstream tasks - can pose significant risks, ranging from intimate image abuse, cyberattacks, to bioterrorism. To reduce these risks, policymakers are starting to impose obligations on the developers of these models. However, downstream developers - actors who fine-tune or otherwise modify foundational models - can create or amplify risks by improving a model's capabilities or compromising its safety features. This can make rules on upstream developers ineffective. One way to address this issue could be to impose direct obligations on downstream developers. However, since downstream developers are numerous, diverse, and rapidly growing in number, such direct regulation may be both practically challenging and stifling to innovation. A different approach would be to require upstream developers to mitigate downstream modification risks (e.g. by restricting what modifications can be made). Another approach would be to use alternative policy tools (e.g. clarifying how existing tort law applies to downstream developers or issuing voluntary guidance to help mitigate downstream modification risks). We expect that regulation on upstream developers to mitigate downstream modification risks will be necessary. Although further work is needed, regulation of downstream developers may also be warranted where they retain the ability to increase risk to an unacceptable level.
- Abstract(参考訳): ファンデーションモデル — 幅広いダウンストリームタスクに適応可能な広範なデータに基づいてトレーニングされたモデル — は、親密な画像の乱用、サイバー攻撃、バイオテロなど、重大なリスクを生じさせる可能性がある。
これらのリスクを減らすため、政策立案者はこれらのモデルの開発者に義務を課し始めている。
しかし、下流の開発者 - 微調整や基本モデルの修正を行うアクター - は、モデルの能力を改善したり、安全性機能を妥協することによってリスクを発生または増幅することができる。
これにより、上流開発者のルールが無効になる可能性がある。
この問題に対処する方法の1つは、下流の開発者に直接的な義務を課すことかもしれない。
しかし、下流の開発者は多様であり、多様であり、急速に成長しているため、このような直接的な規制は実際は困難であり、イノベーションを阻害する可能性がある。
別のアプローチでは、上流の開発者に下流の修正のリスクを軽減するように要求する(例えば、変更ができることを制限する)。
もうひとつのアプローチは、代替ポリシーツールを使用することだ(例えば、既存のトレント法が下流の開発者にどのように適用されるかを明確にすることや、下流の修正リスクを軽減するために自発的なガイダンスを発行すること)。
上流開発者の規制が下流修正のリスクを軽減する必要があると期待しています。
さらなる作業が必要だが、ダウンストリーム開発者の規制は、受け入れがたいレベルまでリスクを増大させる能力を維持している場合にも保証される。
関連論文リスト
- Harmonizing AI Safety Thresholds [0.0]
3つのリスク領域にまたがる調和しきい値の導出手法を開発する。
誤用リスクに対して、私たちは主要なプリミティブとして期待される害を捉え、明確なリスクモデリングアプローチを使用します。
自動AIR&Dでは、予測される害ではなく、観測されたAI進捗率に基づいて、提案したしきい値に基づいています。
論文 参考訳(メタデータ) (2026-07-17T16:45:30Z) - Capability-Oriented Training Induced Alignment Risk [101.37328448441208]
我々は、強化学習で訓練された言語モデルが、その報酬を最大化するために欠陥を利用することを自然に学習するかどうかを考察する。
我々の実験は、モデルがこれらの脆弱性を常に活用し、タスクの正しさや安全性を犠牲にして報酬を著しく増大させる機会論的戦略を発見していることを示している。
我々の研究結果は、将来のAIの安全作業がコンテンツモデレーションを超えて、トレーニング環境の厳格な監査と確保、および報奨メカニズム自体に拡張する必要があることを示唆している。
論文 参考訳(メタデータ) (2026-02-12T16:13:14Z) - Steering Externalities: Benign Activation Steering Unintentionally Increases Jailbreak Risk for Large Language Models [62.16655896700062]
活性化ステアリングは大規模言語モデル(LLM)の有用性を高める技術である
重要かつ過度に調査された安全リスクを無意識に導入することを示します。
実験によると、これらの介入は強制乗算器として機能し、ジェイルブレイクに新たな脆弱性を発生させ、標準ベンチマークで攻撃成功率を80%以上向上させる。
論文 参考訳(メタデータ) (2026-02-03T12:32:35Z) - The Role of Risk Modeling in Advanced AI Risk Management [33.357295564462284]
急速に進歩する人工知能(AI)システムは、新しい、不確実で、潜在的に破滅的なリスクをもたらす。
これらのリスクを管理するには、厳格なリスクモデリングの基盤となる成熟したリスク管理インフラストラクチャが必要です。
先進的なAIガバナンスは、同様の二重アプローチを採用するべきであり、検証可能な、確実に安全なAIアーキテクチャが緊急に必要である、と私たちは主張する。
論文 参考訳(メタデータ) (2025-12-09T15:37:33Z) - Towards Effective, Stealthy, and Persistent Backdoor Attacks Targeting Graph Foundation Models [62.87838888016534]
Graph Foundation Models(GFM)は、さまざまなソースドメインで事前トレーニングされ、目に見えないターゲットに適応する。
GFMに対するバックドア攻撃は、3つの主要な課題のために簡単ではない。
グラフ基礎モデルに対する新たなバックドア攻撃モデルであるGFM-BAを提案する。
論文 参考訳(メタデータ) (2025-11-22T08:52:09Z) - Your Agent May Misevolve: Emergent Risks in Self-evolving LLM Agents [58.69865074060139]
エージェントの自己進化が意図しない方法で逸脱し、望ましくない結果や有害な結果に至る場合について検討する。
我々の経験から、誤進化は広範囲にわたるリスクであり、最上位のLSM上に構築されたエージェントにも影響を及ぼすことが判明した。
我々は、より安全で信頼性の高い自己進化型エージェントを構築するためのさらなる研究を促すための潜在的な緩和戦略について議論する。
論文 参考訳(メタデータ) (2025-09-30T14:55:55Z) - Risk-aware Direct Preference Optimization under Nested Risk Measure [23.336246526648374]
Ra-DPO(Ra-Aware Direct Preference Optimization)は、ネストしたリスク対策を取り入れた新しいアプローチである。
3つのオープンソースデータセットに対する実験結果は、アライメント性能とモデルドリフトのバランスをとる上で、提案手法の優れた性能を示す。
論文 参考訳(メタデータ) (2025-05-26T08:01:37Z) - An Approach to Technical AGI Safety and Security [72.83728459135101]
我々は、人類を著しく傷つけるのに十分な害のリスクに対処するアプローチを開発する。
私たちは、誤用や悪用に対する技術的なアプローチに重点を置いています。
これらの成分を組み合わせてAGIシステムの安全性を実現する方法について概説する。
論文 参考訳(メタデータ) (2025-04-02T15:59:31Z) - Answer, Refuse, or Guess? Investigating Risk-Aware Decision Making in Language Models [63.559461750135334]
言語モデル(LM)は、目標を達成するために自律的に行動可能なエージェントを構築するために、ますます使われています。
本研究では,人為的リスク構造を体系的に変化させる評価枠組みを用いて,この「回答または延期」問題を考察する。
回答や判断に要する独立したスキルを分離した簡易なスキル分解手法が,LMの意思決定ポリシーを一貫して改善できることがわかった。
論文 参考訳(メタデータ) (2025-03-03T09:16:26Z) - Regulating Multifunctionality [0.0]
ファンデーションモデルと生成人工知能(AI)は、AIに関連する中核的な規制課題である不均一性を悪化させる。
規範的でワンサイズなすべての規制は、実行可能な選択肢にはならない。
パフォーマンス標準やポスト責任でさえ、多機能AIのリスクに対応するための強力な候補になる可能性は低い。
論文 参考訳(メタデータ) (2025-01-26T00:50:27Z) - Towards Data Governance of Frontier AI Models [0.0]
私たちは、フロンティアAIモデルに対して、データが新たなガバナンス能力を実現する方法について検討する。
データは非リバルで、しばしば非排除可能で、容易に複製可能で、ますます合成可能になっている。
データサプライチェーンに沿ってキーアクターをターゲットにした一連のポリシー機構を提案する。
論文 参考訳(メタデータ) (2024-12-05T02:37:51Z) - Generative AI Models: Opportunities and Risks for Industry and Authorities [1.3196892898418466]
生成AIモデルは、伝統的に創造性と人間の理解を必要とする幅広いタスクを実行することができる。
トレーニング中は、既存のデータからパターンを学び、その後、新しいコンテンツを生成することができる。
生成AIに関連する多くのリスクは、開発中に対処する必要がある。
論文 参考訳(メタデータ) (2024-06-07T08:34:30Z) - Risks and Opportunities of Open-Source Generative AI [64.86989162783648]
Generative AI(Gen AI)の応用は、科学や医学、教育など、さまざまな分野に革命をもたらすことが期待されている。
こうした地震の変化の可能性は、この技術の潜在的なリスクについて活発に議論を巻き起こし、より厳格な規制を要求した。
この規制は、オープンソースの生成AIの誕生する分野を危険にさらす可能性がある。
論文 参考訳(メタデータ) (2024-05-14T13:37:36Z) - Near to Mid-term Risks and Opportunities of Open-Source Generative AI [94.06233419171016]
Generative AIの応用は、科学や医学、教育など、さまざまな分野に革命をもたらすことが期待されている。
こうした地震の影響の可能性は、潜在的なリスクに関する活発な議論を引き起こし、より厳格な規制を要求した。
この規制は、オープンソースのジェネレーティブAIの誕生する分野を危険にさらしている可能性が高い。
論文 参考訳(メタデータ) (2024-04-25T21:14:24Z) - Data-Adaptive Tradeoffs among Multiple Risks in Distribution-Free Prediction [55.77015419028725]
しきい値とトレードオフパラメータが適応的に選択された場合、リスクの有効な制御を可能にする手法を開発する。
提案手法は単調なリスクとほぼ単調なリスクをサポートするが,それ以外は分布的な仮定はしない。
論文 参考訳(メタデータ) (2024-03-28T17:28:06Z) - Deployment Corrections: An incident response framework for frontier AI
models [0.0]
本稿では,デプロイ前リスク管理が不十分な場合の緊急計画について検討する。
危険な機能に対応するためにAI開発者が使用できるデプロイメント修正ツールキットについて説明する。
私たちは、フロンティアAI開発者、標準設定組織、そして規制当局が協力して標準化された業界全体のアプローチを定義することを推奨します。
論文 参考訳(メタデータ) (2023-09-30T10:07:39Z) - Frontier AI Regulation: Managing Emerging Risks to Public Safety [15.85618115026625]
脆弱なAI」モデルは、公共の安全に深刻なリスクをもたらすのに十分な危険能力を持つ可能性がある。
業界の自己規制は重要な第一歩です。
安全基準の最初のセットを提案する。
論文 参考訳(メタデータ) (2023-07-06T17:03:25Z) - Efficient Risk-Averse Reinforcement Learning [79.61412643761034]
リスク逆強化学習(RL)では、リターンのリスク測定を最適化することが目標である。
特定の条件下では、これは必然的に局所最適障壁につながることを証明し、それを回避するためのソフトリスク機構を提案する。
迷路ナビゲーション,自律運転,資源配分ベンチマークにおいて,リスク回避の改善を示す。
論文 参考訳(メタデータ) (2022-05-10T19:40:52Z) - Safe Reinforcement Learning via Curriculum Induction [94.67835258431202]
安全クリティカルなアプリケーションでは、自律エージェントはミスが非常にコストがかかる環境で学ぶ必要がある。
既存の安全な強化学習手法は、エージェントが危険な状況を避けるために、事前にエージェントを頼りにしている。
本稿では,エージェントが自動インストラクターの指導の下で学習する,人間の指導にインスパイアされた代替手法を提案する。
論文 参考訳(メタデータ) (2020-06-22T10:48:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。