論文の概要: Alignment Myopia in Generative AI
- arxiv url: http://arxiv.org/abs/2611.06830v1
- Date: Wed, 04 Nov 2026 17:44:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:58.222475
- Title: Alignment Myopia in Generative AI
- Title(参考訳): ジェネレーティブAIにおけるアライメント・ミオピア
- Abstract要約: 現在の生成AIアライメントは、即席の会話満足度を優先するミオピックパラダイムに依存している。
短時間の水平フィードバックを頼りにすることで、永続的な人間とAIの相互作用の深遠な外部性を無視します。
我々は、AIが時間とともに人間の体験をどう再評価するかを考慮に入れた、長期的アライメントへのパラダイムシフトを提案する。
- 参考スコア(独自算出の注目度): 36.952485326308306
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Current generative AI alignment relies on a myopic paradigm that prioritizes immediate conversational satisfaction. By relying on short-horizon feedback, this approach ignores the profound, longitudinal externalities of persistent human-AI interaction, which can lead to adverse outcomes such as cognitive atrophy, social erosion, and diminished human agency. To address this, we propose a paradigm shift toward long-horizon alignment that accounts for how AI reshapes human experience over time. To this end, we map the tensions between near-term utility and long-term costs of AI use across four facets of human well-being to reveal outcomes that current reward models fail to capture. Ultimately, we advocate for moving beyond simple preference optimization toward alignment strategies that actively foster long-term human well-being by navigating these complex temporal scales.
- Abstract(参考訳): 現在の生成AIアライメントは、即席の会話満足度を優先するミオピックパラダイムに依存している。
短時間の水平フィードバックを頼りにすることで、永続的な人間とAIの相互作用の深遠な外部性を無視し、認知萎縮、社会的侵食、減少する人的エージェンシーなどの有害な結果をもたらす可能性がある。
この問題に対処するために、AIが人間の体験を時間とともにどのように再評価するかを考慮に入れた、長期的アライメントへのパラダイムシフトを提案する。
この目的のために、我々は、現在の報酬モデルが捉えられない結果を明らかにするために、人間の幸福の4つの側面にまたがる、AIの短期的実用性と長期的コストの間の緊張関係をマッピングする。
最終的に、我々は、これらの複雑な時間スケールをナビゲートすることによって、長期的な人間の幸福を積極的に促進するアライメント戦略へ、単純な選好最適化を超えて移行することを提唱する。
関連論文リスト
- Nonuniformity Principle in Human-AI Coworking [7.8976567245659615]
生成AIでは、AI生成出力の品質を保証するためには、人間の判断と関与が不可欠である。
人間の専門家は、しばしば中間出力をレビューし、フィードバックを与え、修正し、その後のステップをステアリングすることで、AIを定期的に監視することが望ましい。
これにより、人間の監視の必要性と、より少ない介入でより多くのアウトプットを提供するAIの効率との間に緊張が生じます。
論文 参考訳(メタデータ) (2026-07-17T22:10:07Z) - Diffusion for Long-Horizon Multi-Robot Path Planning in Human-Shared Environments [5.390697479528605]
我々は,大規模ロボットチームを対象としたリアルタイムの長距離ナビゲーションを可能にする,MRRD(Multi-Robot Rolling Diffusion)を提案する。
MRRDは、人間の動きの限られた予測地平線に対応するためのローリングホライゾンスキームと、スケーラブルなヒト様経路の生成のための並列拡散推論と、ロボット間衝突の解決のためのコンフリクトベースの探索機構を組み合わせる。
混み合った環境における実験の結果、MRRDは15個のロボットにリアルタイムでスケールし、安全性とミッション成功率の両方において既存のベースラインを大幅に上回っている。
論文 参考訳(メタデータ) (2026-07-10T19:03:10Z) - Position: Towards Bidirectional Human-AI Alignment [109.57781720848669]
我々は、人間とAIの双方向的・動的関係を説明するために、研究コミュニティは「調整」を明確に定義し、批判的に反映すべきであると主張する。
このフレームワークは、AIと人間の価値を整合させる従来の取り組みを取り入れているだけでなく、人間とAIを整合させるという、重要で未解明の次元も導入しています。
論文 参考訳(メタデータ) (2024-06-13T16:03:25Z) - Human-AI Safety: A Descendant of Generative AI and Control Systems Safety [6.100304850888953]
先進的なAI技術に対する有意義な安全性保証には、AI出力と人間の振る舞いによって形成されるフィードバックループが、どのようにして異なる結果に向かって相互作用を駆動するかについての推論が必要である、と我々は主張する。
我々は、次世代の人間中心AI安全性に向けた具体的な技術ロードマップを提案する。
論文 参考訳(メタデータ) (2024-05-16T03:52:00Z) - Comparison of Spatio-Temporal Models for Human Motion and Pose
Forecasting in Face-to-Face Interaction Scenarios [47.99589136455976]
本稿では,行動予測のための最新手法の体系的比較を行った。
UDIVA v0.5の最先端性能を実現するのに最も注意を払っているアプローチである。
短期的に訓練された手法で未来を自動回帰予測することで、かなり長期にわたってベースラインを上回ります。
論文 参考訳(メタデータ) (2022-03-07T09:59:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。