論文の概要: A Definition of Catastrophic Performance

• arxiv url: http://arxiv.org/abs/2611.06219v1
• Date: Wed, 04 Nov 2026 09:30:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:58.04316
• Title: A Definition of Catastrophic Performance
• Title（参考訳）: 破滅的性能の定義
• Abstract要約: AIにおける中心的な課題は、人間の好みに合わせて目的を指定することである。 破滅的なパフォーマンスの正式な定義を導入する。 破滅的なパフォーマンスは、このエージェントが人間の活動によって得られる利益を解き放つことを表している。
• 参考スコア（独自算出の注目度）: 11.047473522765136
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A central challenge in AI is specifying objectives that align with human preferences. While existing theoretical results elucidate how misspecification impacts performance, they typically do not distinguish between merely suboptimal and catastrophic outcomes. To enable rigorous analysis of catastrophic risk from AI misalignment, we introduce a formal definition of catastrophic performance. Our definition is based on two reference values. The first, baseline value, captures the value attained if no agent is deployed. The second, orthogonal value, captures the value of a trajectory that is unrelated to human preferences, in a sense we describe. Orthogonal value is typically far worse than baseline value. We interpret these reference values through examples in which past human activity has altered the state of the environment to human benefit. Starting at the resulting state, an AI agent is deployed with the goal of accelerating further progress. Catastrophic performance represents this agent's undoing of benefits afforded by human activity.
• Abstract（参考訳）: AIにおける中心的な課題は、人間の好みに合わせて目的を指定することである。 既存の理論的結果は、誤特定がパフォーマンスにどのように影響するかを解明するが、それらは通常、単に最適でない結果と破滅的な結果とを区別しない。 AIの不適応による破滅的リスクの厳密な分析を可能にするために,破滅的パフォーマンスの形式的定義を導入する。 私たちの定義は2つの参照値に基づいている。 最初のベースライン値は、エージェントがデプロイされていない場合に達成された値をキャプチャする。 第2の直交値(直交値)は、人間の嗜好とは無関係な軌跡の値を、私たちが記述した意味で捉えます。 直交値は通常、基準値よりもはるかに悪い。 我々は、過去の人間の活動が環境の状態を人間の利益に変化させた例を通して、これらの基準値を解釈する。 結果の状態から始めて、AIエージェントがデプロイされ、さらなる進捗を加速する。 破滅的なパフォーマンスは、このエージェントが人間の活動によって得られる利益を解き放つことを表している。

関連論文リスト

• Do LLMs Have Values? A Quantitative Analysis and Alignment Framework for Values in Large Language Models [49.45276299939287]
  大規模言語モデル(LLM)は、ますます複雑な主観的タスクを扱うようになっている。 LLMは、マイナーな単語変更で予測不能に変動する。 この双対性を解決することは 信頼できるAIアライメントに 不可欠です
  論文  参考訳（メタデータ） (2026-09-15T03:35:04Z)
• Fragility of Value under Imperfect Alignment [0.0]
  AIの安全性の一般的な懸念は、人間の価値が脆弱であることだ。 本稿では,エージェントが理想化されたアライメントトレーニングを行うアライメント問題のモデルを提案する。 我々の結果は、最適化圧力を制限するAI設計の過度な最適化と動機付けの危険性を強調します。
  論文  参考訳（メタデータ） (2026-07-30T22:52:34Z)
• Controllable Value Alignment in Large Language Models through Neuron-Level Editing [87.83756695719667]
  我々は,大言語モデルにおける制御可能な値アライメントのためのニューロンレベルの編集フレームワークNeVAを提案する。 NeVAは、汎用能力においてより少ない性能劣化を招きながら、より強力な目標値アライメントを実現する。 NeVAは平均リークを著しく減らし、残効は意味論的に関連する値クラスに限られる。
  論文  参考訳（メタデータ） (2026-02-07T04:35:16Z)
• STAR Loss: Reducing Semantic Ambiguity in Facial Landmark Detection [80.04000067312428]
  本稿では,意味的あいまいさの特性を利用した自己適応型あいまいさ低減(STAR)の損失を提案する。 意味的あいまいさは異方性予測分布をもたらすことが分かり、予測分布を用いて意味的あいまいさを表現する。 また,分布の異常変化とモデルの初期収束を回避できる2種類の固有値制限法を提案する。
  論文  参考訳（メタデータ） (2023-06-05T10:33:25Z)
• Heterogeneous Value Alignment Evaluation for Large Language Models [91.96728871418]
  大規模言語モデル(LLM)は、その価値を人間のものと整合させることを重要視している。 本研究では,LLMと不均一値の整合性を評価するため,不均一値アライメント評価(HVAE)システムを提案する。
  論文  参考訳（メタデータ） (2023-05-26T02:34:20Z)
• Offline Contextual Bandits with Overparameterized Models [52.788628474552276]
  オフラインの文脈的盗賊にも同じ現象が起こるかどうかを問う。 この相違は, 目的の強調安定性によるものであることを示す。 大規模なニューラルネットワークを用いた実験では、アクション安定な値ベース目標と不安定なポリシベース目標とのギャップは、大きなパフォーマンス差をもたらす。
  論文  参考訳（メタデータ） (2020-06-27T13:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。