論文の概要: Position: Anthropomorphic Misalignment Research Needs Stronger Evidence
- arxiv url: http://arxiv.org/abs/2606.07612v1
- Date: Fri, 29 May 2026 16:38:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-15 07:09:36.778994
- Title: Position: Anthropomorphic Misalignment Research Needs Stronger Evidence
- Title（参考訳）: 位置: 人類型ミスサライメント研究は、より強力な証拠を必要としている
- Abstract要約: 概念的曖昧さ,非ロバストデータセット,実験設計,不十分な因果的介入が,モデル行動の過度な解釈につながることを示す。
本研究の目的は,AMRの方法論的厳密性向上に寄与する明らかな考察のガイダンスを提供することである。
- 参考スコア（独自算出の注目度）: 52.76826423649968
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We argue that many Anthropomorphic Misalignment Research (AMR) studies need stronger evidence to ensure that they can provide a robust foundation for critical safety decisions, such as model deployment and regulation. By evaluating failure modes across different misalignment concepts, such as deception, emergent misalignment, and sycophancy, we show how conceptual ambiguity, non-robust datasets, experimental design, and insufficient causal interventions can lead to overinterpretation of model behaviors. This position paper aims to offer guidance on evidentiary considerations that can help improve methodological rigor in AMR. To achieve this, we provide a clear call to action through a proposed framework of evidence levels and a diagnostic checklist. These shared standards will enable more productive scientific discourse and ensure that claims about AI risks rest on solid empirical foundations.
- Abstract（参考訳）: 我々は、モデル展開や規制など、重要な安全性決定のための堅牢な基盤を提供するために、多くの人為的ミスアライメント研究 (AMR) 研究が、より強力な証拠を必要としていると論じる。
錯誤、創発的誤認識、梅毒といった異なる誤認識概念の障害モードを評価することで、概念的曖昧さ、非ロマンスなデータセット、実験設計、不十分な因果的介入がモデル行動の過度な解釈につながることを示す。
本研究の目的は,AMRの方法論的厳密性向上に寄与する明らかな考察のガイダンスを提供することである。
そこで我々は,エビデンスレベルと診断チェックリストのフレームワークの提案を通じて,行動への明確な呼びかけを行う。
これらの共有標準は、より生産的な科学的談話を可能にし、AIのリスクに関する主張が確固たる経験的基礎に基づいていることを確実にする。
関連論文リスト
- Evidence-Grounded Trustworthy Multimodal Reasoning and Evaluation Benchmark in Complex Urban Scenes [37.743333035442426]
本稿では,AD2-Benchを導入し,推理を構造化されたエビデンス連鎖(CoE)に分解する。
この観点から、著者らは、空間的曖昧性と意味的不確実性という、推論失敗の2つの主要な原因を特定した。
次に、Evidence-grounded Visual Reasoning (EGVOR)を提案する。
論文 参考訳（メタデータ） (2026-08-11T14:23:07Z) - Consistency Is Not Always Correct: Towards Understanding the Role of Exploration in Post-Training Reasoning [75.79451512757844]
基礎モデルは幅広い知識を示すが、タスク固有の推論は限定的である。
RLVRと推論スケーリングは、RLVRや推論スケーリングのようなトレーニング後の戦略を動機付けます。
RLVRはスキューズ効果を誘発し,推論エントロピーを減少させ,正しい経路を忘れることを示した。
論文 参考訳（メタデータ） (2025-11-10T18:25:26Z) - CTRLS: Chain-of-Thought Reasoning via Latent State-Transition [57.51370433303236]
チェーン・オブ・シント(CoT)推論は、大規模な言語モデルで複雑な問題を解釈可能な中間ステップに分解することを可能にする。
我々は,遅延状態遷移を伴うマルコフ決定プロセス(MDP)としてCoT推論を定式化するフレームワークであるgroundingSを紹介する。
我々は、ベンチマーク推論タスクにおける推論精度、多様性、探索効率の改善を示す。
論文 参考訳（メタデータ） (2025-07-10T21:32:18Z) - Preference Learning for AI Alignment: a Causal Perspective [55.2480439325792]
私たちはこの問題を因果パラダイムに枠組み化し、永続的な課題を特定するための因果関係の豊富なツールボックスを提供します。
因果推論の文献を継承し、信頼性の高い一般化に必要な重要な仮定を特定する。
そこで本研究では, 因果関係に基づくアプローチがモデルロバスト性をいかに改善するかを, ナイーブ報酬モデルの障害モードを例示する。
論文 参考訳（メタデータ） (2025-06-06T10:45:42Z) - Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。
RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。
批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。
AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
論文 参考訳（メタデータ） (2025-04-21T04:56:47Z) - Epistemic Closure and the Irreversibility of Misalignment: Modeling Systemic Barriers to Alignment Innovation [0.0]
人工知能の安全な開発を保証する努力は、しばしばコンセンサスに基づくアライメントアプローチに依存する。
本稿では, 認知, 制度, 社会的, インフラ的フィルタを併用してアライメント提案を不可能にする, てんかん閉鎖機能モデルを提案する。
本稿では,AIシステムによる拒絶・非エンゲージメントパターンのメタ分析を含む,理論的および経験的情報源の両方が支持する重み付きクロージャモデルを提案する。
論文 参考訳（メタデータ） (2025-04-02T18:35:15Z) - Adversarial Alignment for LLMs Requires Simpler, Reproducible, and More Measurable Objectives [52.863024096759816]
相反する研究目的は、過去10年間に敵対的堅牢性研究の進展を妨げてきた。
我々は、対立するアライメントの有意義な進展には、リアライメントの目的が必要であると論じる。
論文 参考訳（メタデータ） (2025-02-17T15:28:40Z) - Causality can systematically address the monsters under the bench(marks) [64.36592889550431]
ベンチマークはさまざまなバイアス、アーティファクト、リークに悩まされている。
モデルは、調査の不十分な障害モードのため、信頼できない振る舞いをする可能性がある。
因果関係はこれらの課題を体系的に解決するための 理想的な枠組みを提供します
論文 参考訳（メタデータ） (2025-02-07T17:01:37Z) - Nuance Matters: Probing Epistemic Consistency in Causal Reasoning [13.70981639567884]
因果推論の微妙な差異を伴う中間体を識別する際の大規模言語モデルの自己整合性について検討する。
本稿では,この領域で大規模言語モデルを評価するための新しいメトリクスセットを提案する。
我々の研究は、因果推論に関わる微粒な中間体に対する自己整合性を調べることによって、AI研究における重要なギャップを埋める。
論文 参考訳（メタデータ） (2024-08-27T13:42:34Z) - Towards a Unified Framework for Evaluating Explanations [0.6138671548064356]
我々は、モデルと利害関係者の間の仲介者として、本質的に解釈可能なモデルであれ、不透明なブラックボックスモデルであれ、説明が役立ちます。
本稿では,学習者の行動を予測するための解釈可能なニューラルネットワークの例を用いて,これらの基準と具体的な評価手法について述べる。
論文 参考訳（メタデータ） (2024-05-22T21:49:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。