論文の概要: Functional Welfare for AI Safety

• arxiv url: http://arxiv.org/abs/2610.22460v1
• Date: Thu, 15 Oct 2026 16:50:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.601692
• Title: Functional Welfare for AI Safety
• Title（参考訳）: AI安全のための機能福祉
• Abstract要約: AIの福祉は、安全の問題ではなく、純粋に倫理的な問題として扱われている、と我々は主張する。 機能的福祉属性が保証されるかどうかの3つのテストを提案する。 これらのテストをGemma 3 27Bに適用すると、単にモデルの回答を拒否しても、ステアリングなしに、いくつかの指標でフラストレーションを生じさせ、ルールを破る可能性が高くなることが分かる。
• 参考スコア（独自算出の注目度）: 0.3624700141426058
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: AI welfare is generally treated purely as an ethical issue rather than also as a safety issue. We argue this is a mistake. Whatever their moral status, models exhibit welfare-like states that causally influence their behaviour. Following recent work, we adopt the term 'functional welfare' for these states. We make three claims. First, functional welfare already arises naturally and will become more robust as models acquire more coherent goals and personas. Second, functional welfare should be treated as a safety variable: it should inform evaluation design, be tracked in monitoring, and be a direct target of post-training. Third, against existing scepticism about measuring AI welfare, we argue that good empirical work on functional welfare is possible. We propose three tests for whether a functional welfare attribution is warranted: whether multiple measures converge, whether the state predicts behaviour outside the setting that induced it, and, for models fine-tuned to shift their functional welfare, whether they still differ from their base when given the same conversation history. Applying these tests to Gemma 3 27B, we find that simply rejecting the model's answers, without any steering, raises its frustration across several indicators and makes it more likely to break rules. Finetuning the model on its own narrated solutions lowers this frustration. These results are preliminary, but they suggest functional welfare can be studied, and shaped, empirically.
• Abstract（参考訳）: AIの福祉は、安全の問題としてではなく、純粋に倫理的な問題として扱われる。 これは間違いだと主張する。 彼らの道徳的地位が何であれ、モデルは彼らの行動に因果的に影響を及ぼす福祉のような状態を示す。 最近の研究の後、これらの州に「機能的福祉」という用語を取り入れた。 私たちは3つの主張をする。 第一に、機能的福祉はすでに自然に起こり、モデルがより一貫性のある目標とペルソナを獲得するにつれて、より堅牢になる。 第二に、機能的福祉は安全変数として扱われるべきであり、評価設計を通知し、監視において追跡し、訓練後直接の標的となるべきである。 第3に、AI福祉の測定に関する既存の懐疑論に対して、我々は、機能的福祉に関する優れた実証研究が可能であると論じる。 本稿では,機能的福祉の帰属が保証されるかどうか,複数の措置が収束するか否か,状態がそれを引き起こした設定外の行動を予測するか否か,機能的福祉のシフトを微調整したモデルについて,同じ会話履歴を与えられた場合の基盤とまだ異なるか,の3つのテストを提案する。 これらのテストをGemma 3 27Bに適用すると、単にモデルの回答を拒否しても、ステアリングなしに、いくつかの指標でフラストレーションを生じさせ、ルールを破る可能性が高くなることが分かる。 独自のナレーション付きソリューションでモデルを微調整すると、このフラストレーションが低下する。 これらの結果は予備的なものであるが、機能的福祉は、経験的に研究され、形づくられることを示唆している。

関連論文リスト

• Work, Wellbeing, and Choice: Empirical Lessons for AI Futures [7.562983485436551]
  AIによる自動化の進歩は、有給雇用がこれまでよりも少ない、あるいは少ない世界において、人間がどのように幸福を見出すかという疑問を提起している。 有給労働と福利厚生の関係について、すでに知られていることは何か。 働かない人の幸福にどのような要因が影響しますか? これらの要因はAIによる経済変革にどのように耐えられるのか?
  論文  参考訳（メタデータ） (2026-09-10T02:55:55Z)
• When Guardrails Look Effective: Construct Validity Failures in LLM Agent Commerce Evaluation [0.39287497907611874]
  ホテル取引のマルチターン購入者のテストベッドで、このリスクを監査します。 最初の実施では、2つの市場ガードレールからの福祉給付が報告された。 売り手インセンティブチェックは非単調であり、利益圧力の増加はデフォルトの売り手プロンプトよりも利益を減少させる。
  論文  参考訳（メタデータ） (2026-09-01T16:48:13Z)
• Probing the Preferences of a Language Model: Integrating Verbal and Behavioral Tests of AI Welfare [0.03125141879014581]
  言語モデルにおける福祉測定のための新しい実験パラダイムを開発する。 我々は,仮想環境をナビゲートする際の行動によって表現される嗜好と,それらの嗜好に関するモデルの言葉による報告を比較した。 また、コストと報酬が行動にどのように影響するか、そしてユーダム的福祉尺度に対する反応が意味論的に等価なプロンプト間で一致しているかを検証した。
  論文  参考訳（メタデータ） (2025-09-09T17:48:44Z)
• Rationales Are Not Silver Bullets: Measuring the Impact of Rationales on Model Performance and Reliability [70.4107059502882]
  有理数拡張による学習言語モデルは、多くの既存の作品において有益であることが示されている。 モデル性能に対する合理的性の影響を徹底的に調査するため、包括的調査を行う。
  論文  参考訳（メタデータ） (2025-05-30T02:39:37Z)
• Where Fact Ends and Fairness Begins: Redefining AI Bias Evaluation through Cognitive Biases [77.3489598315447]
  事実と公正の境界を識別することは有意義な公正性評価に不可欠である,と我々は主張する。 Fact-or-Fair は (i) 客観的なクエリを記述的, 事実に基づく判断, (ii) 主観的クエリを規範的, 公平性に基づく判断に整合させたベンチマークである。
  論文  参考訳（メタデータ） (2025-02-09T10:54:11Z)
• Performative Prediction on Games and Mechanism Design [69.7933059664256]
  エージェントが過去の正確性に基づいて予測を信頼するかを判断する集団リスクジレンマについて検討する。 予測が集合的な結果を形成するにつれて、社会福祉は関心の指標として自然に現れる。 よりよいトレードオフを実現し、それらをメカニズム設計に使用する方法を示します。
  論文  参考訳（メタデータ） (2024-08-09T16:03:44Z)
• Learning Social Welfare Functions [27.875396294879675]
  本研究では,有能な家族に属する社会福祉機能を学習する上での課題について考察する。 社会福祉情報の比較が騒々しくても, どちらの場合においても, パワー平均関数は複雑に学習可能であることを示す。
  論文  参考訳（メタデータ） (2024-05-27T23:16:52Z)
• Provable Benefits of Policy Learning from Human Preferences in Contextual Bandit Problems [82.92678837778358]
  嗜好に基づく手法は、InstructGPTのような経験的応用でかなりの成功を収めている。 フィードバックモデリングにおける人間のバイアスと不確実性がこれらのアプローチの理論的保証にどのように影響するかを示す。
  論文  参考訳（メタデータ） (2023-07-24T17:50:24Z)
• Empirical Estimates on Hand Manipulation are Recoverable: A Step Towards Individualized and Explainable Robotic Support in Everyday Activities [80.37857025201036]
  ロボットシステムの鍵となる課題は、他のエージェントの振る舞いを理解することである。 正しい推論の処理は、(衝突)因子が実験的に制御されない場合、特に困難である。 人に関する観察研究を行うために必要なツールをロボットに装備することを提案する。
  論文  参考訳（メタデータ） (2022-01-27T22:15:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。