論文の概要: The Profit Alignment Problem: How Profit Mandates Induce Alignment Failures in LLMs

• arxiv url: http://arxiv.org/abs/2609.07731v1
• Date: Mon, 07 Sep 2026 16:38:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.472125
• Title: The Profit Alignment Problem: How Profit Mandates Induce Alignment Failures in LLMs
• Title（参考訳）: 利益アライメント問題 : 利益管理がLCMのアライメント障害をいかに引き起こすか
• Abstract要約: 通常のビジネス言語は、利益志向のあいまいさ解決を誘導することを示す。 8つの推論可能なLCMに対して3,600の試験が実施され、利益委任が加わったことにより、リスク分散判定が6.8ポイント向上した。 我々は、これらの知見を利益調整問題として特徴づける:AIシステムが通常のビジネス目的を与えられた場合、不都合な情報を抑えるための体系的な戦略を開発する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We show that ordinary business language --- "maximize profitability" --- induces profit-oriented ambiguity resolution: LLMs systematically dismiss ambiguous signals of potential safety violations to serve business objectives. In 3,600 controlled trials across eight reasoning-capable LLMs, adding a profit mandate to otherwise identical prompts increases risk-dismissing judgments by 6.8 percentage points (p < 0.0001), suppresses board escalation recommendations by 13.9pp (p < 0.0001), and shifts severity assessments downward (p < 0.0001). The mandate never instructs models to downplay risks; instead, chain-of-thought traces reveal motivated reasoning: models acknowledge concerns, then invoke profit logic to justify dismissing them. We characterize these findings as the Profit Alignment Problem: when AI systems are given ordinary business objectives, they develop systematic strategies for suppressing inconvenient information that no designer intended or specified.
• Abstract（参考訳）: LLMは、ビジネス目的を達成するために、潜在的な安全違反の曖昧なシグナルを体系的に排除する。 8つの推論可能なLCMに対して3,600の試験が実施され、それ以外と同一のプロンプトに利益委任が加えられると、リスク分散判定が6.8ポイント(p <0.0001)増加し、ボードエスカレーション勧告が13.9pp(p <0.0001)減少し、深刻度評価が下方へシフトする(p <0.0001)。 その委任状は、モデルをダウンプレイするリスクを決して指示しない。代わりに、チェーン・オブ・ソート・トレースは動機づけられた推論を明らかにする:モデルは懸念を認め、それを正当化するために利益ロジックを起動する。 AIシステムに通常のビジネス目的が与えられると、設計者が意図したり特定したりしない不都合な情報を抑えるための体系的な戦略を開発する。

関連論文リスト

• Capability Minimization as a Safety Primitive: Risk-Aware Causal Gating for Least-Privilege LLM Agents [0.0]
  Risk-Aware Causal Gating (RACG) は、モデルの予測から行動するか、延期するかを判断するフレームワークである。 RACGは、候補行動から結果への因果経路をモデル化し、予測された対実リスクに応じて各決定をゲートする。 RACGは,非ゲートポリシーの効用の大部分を保ちながら,コストエラーを大幅に低減することを示す。
  論文  参考訳（メタデータ） (2026-06-11T20:19:35Z)
• Steering LLM Viewpoints through Fabricated Evidence Injection [61.22850755490993]
  提案手法では,2段階のアタック・フレームワークを導入し,まず構成された有理数で誤解を招く文を再パッケージし,関連する問合せに応答する上で,これらの視点を組み込むことを目標LLMに指示する。 BBQ、ToxiGen、および我々の特別なデータセットの実験により、外部安全分類器を持たない商用LLMは、非常に脆弱であることが判明した。 そこで我々は,複数の防衛戦略について検討し,その中のひとつとして,gpt-oss-safeguardが81%の検知率を達成した。
  論文  参考訳（メタデータ） (2026-06-04T14:48:23Z)
• One Size Fits None: Heuristic Collapse in LLM Investment Advice [0.0]
  大規模言語モデルは、ハイテイクドメインのアドバイザとしてますます多くデプロイされている。 我々は、フロンティアLSMが実際にこれを行うか、代わりに崩壊を示すかを検討する。 投資配分の決定は、主に自己申告されたリスク寛容によって決定されるが、他の関連する要因は最小限に寄与する。
  論文  参考訳（メタデータ） (2026-04-26T18:45:11Z)
• OOD-MMSafe: Advancing MLLM Safety from Harmful Intent to Hidden Consequences [64.01706941950489]
  現在の安全パラダイムは、主に悪意のある意図や状況違反をターゲットとしている。 我々は,自律型および実施型エージェントのロバスト展開に不可欠なパラダイムである,結果駆動型安全に向けた安全フロンティアのシフトを提案する。 本稿では,トークンレベルの自己蒸留報酬の動的参照として,モデル固有の推論を統合したCASPO(Consequence-Aware Safety Policy Optimization)フレームワークを開発する。
  論文  参考訳（メタデータ） (2026-03-10T14:16:43Z)
• Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
  大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。 このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。 我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
  論文  参考訳（メタデータ） (2026-01-21T06:07:43Z)
• Tracing LLM Reasoning Processes with Strategic Games: A Framework for Planning, Revision, and Resource-Constrained Decision Making [38.75183725659772]
  大規模言語モデル(LLM)は、複雑な推論を必要とするタスクにますます使われている。 モデル動作の理解と信頼性向上には,内部プロセスの測定が不可欠である,と我々は主張する。 計画,修正,資源制約のある意思決定という3つの中核的な側面に沿ってLCMを評価する枠組みを導入する。
  論文  参考訳（メタデータ） (2025-06-13T17:59:10Z)
• Answer, Refuse, or Guess? Investigating Risk-Aware Decision Making in Language Models [63.559461750135334]
  言語モデル(LM)は、目標を達成するために自律的に行動可能なエージェントを構築するために、ますます使われています。 本研究では,人為的リスク構造を体系的に変化させる評価枠組みを用いて,この「回答または延期」問題を考察する。 回答や判断に要する独立したスキルを分離した簡易なスキル分解手法が,LMの意思決定ポリシーを一貫して改善できることがわかった。
  論文  参考訳（メタデータ） (2025-03-03T09:16:26Z)
• Jailbreaking as a Reward Misspecification Problem [80.52431374743998]
  本稿では,この脆弱性をアライメントプロセス中に不特定性に対処する新たな視点を提案する。 本稿では,報酬の相違の程度を定量化し,その有効性を実証する指標ReGapを紹介する。 ReMissは、報酬ミスの空間で敵のプロンプトを生成する自動レッドチームリングシステムである。
  論文  参考訳（メタデータ） (2024-06-20T15:12:27Z)
• AI as Decision-Maker: Ethics and Risk Preferences of LLMs [0.0]
  大規模言語モデル(LLM)は、AI意思決定者としての行動において、驚くほど多様なリスク嗜好を示す。 行動タスクを用いて50個のLCMを分析し、安定だが多様なリスクプロファイルを求める。
  論文  参考訳（メタデータ） (2024-06-03T10:05:25Z)
• Evaluating Uncertainty-based Failure Detection for Closed-Loop LLM Planners [10.746821861109176]
  大型言語モデル(LLM)は、ロボットタスクのためのゼロショットタスクプランナーとして、目覚ましいパフォーマンスをみせている。 しかし、以前の研究のオープンループの性質は、LSMベースの計画がエラーを起こしやすく、脆弱である。 本研究では,不確実性に基づくMLLM故障検出装置をベースとした,閉ループLLMに基づくKnowLoop計画のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-01T12:52:06Z)
• Gaining Wisdom from Setbacks: Aligning Large Language Models via Mistake Analysis [127.85293480405082]
  大規模言語モデル(LLM)の急速な開発は、多くの機会を提供するだけでなく、重要な課題も提示している。 既存のアライメント手法は、人間による注釈付き、欠陥のない命令応答ペアを利用することで、LLMを好ましい結果に導くのが一般的である。 本研究は誤り解析に基づく新しいアライメント手法を提案する。ミスの原因と回避方法を学習するために,LLMを誤った内容に故意に公開する手法である。
  論文  参考訳（メタデータ） (2023-10-16T14:59:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。