論文の概要: EcoAlign: An Economically Rational Framework for Efficient LVLM Alignment
- arxiv url: http://arxiv.org/abs/2511.11301v1
- Date: Fri, 14 Nov 2025 13:38:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-17 22:42:18.631915
- Title: EcoAlign: An Economically Rational Framework for Efficient LVLM Alignment
- Title(参考訳): EcoAlign: 効率的なLVLMアライメントのための経済合理的フレームワーク
- Authors: Ruoxi Cheng, Haoxuan Ma, Teng Ma, Hongyi Zhang,
- Abstract要約: LVLM(Large Vision-Language Models)は強力な推論能力を持つが、高度なジェイルブレイク脆弱性に悩まされている。
現在のアライメント手法は、安全性、実用性、運用コストのトレードオフに苦慮している。
我々は、経済的に合理的な探索としてアライメントを再構成する推論時フレームワークであるEcoAlignを提案する。
- 参考スコア(独自算出の注目度): 10.19569722114043
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Vision-Language Models (LVLMs) exhibit powerful reasoning capabilities but suffer sophisticated jailbreak vulnerabilities. Fundamentally, aligning LVLMs is not just a safety challenge but a problem of economic efficiency. Current alignment methods struggle with the trade-off between safety, utility, and operational costs. Critically, a focus solely on final outputs (process-blindness) wastes significant computational budget on unsafe deliberation. This flaw allows harmful reasoning to be disguised with benign justifications, thereby circumventing simple additive safety scores. To address this, we propose EcoAlign, an inference-time framework that reframes alignment as an economically rational search by treating the LVLM as a boundedly rational agent. EcoAlign incrementally expands a thought graph and scores actions using a forward-looking function (analogous to net present value) that dynamically weighs expected safety, utility, and cost against the remaining budget. To prevent deception, path safety is enforced via the weakest-link principle. Extensive experiments across 3 closed-source and 2 open-source models on 6 datasets show that EcoAlign matches or surpasses state-of-the-art safety and utility at a lower computational cost, thereby offering a principled, economical pathway to robust LVLM alignment.
- Abstract(参考訳): LVLM(Large Vision-Language Models)は強力な推論能力を持つが、高度なジェイルブレイク脆弱性に悩まされている。
基本的に、LVLMの整列は単なる安全性の問題ではなく、経済効率の問題である。
現在のアライメント手法は、安全性、実用性、運用コストのトレードオフに苦慮している。
批判的に言えば、最終的なアウトプット(プロセスの盲点)にのみ焦点をあてることは、安全でない熟考に多大な計算予算を浪費する。
この欠陥により、有害な推論を良心的な正当化で偽装することができ、単純な加算安全スコアを回避できる。
そこで本稿では,LVLMを有界合理的なエージェントとして扱うことにより,アライメントを経済的合理的な探索として再編成する推論時フレームワークであるEcoAlignを提案する。
EcoAlignは、思考グラフを漸進的に拡張し、期待される安全性、実用性、および残りの予算に対するコストを動的に測定する前方の関数(ネットの現在値に類似)を使用してアクションをスコアする。
騙しを防止するため、最も弱いリンク原理を介して経路安全性を強制する。
6つのデータセット上の3つのクローズドソースモデルと2つのオープンソースモデルにわたる大規模な実験は、EcoAlignが最先端の安全性とユーティリティをより低い計算コストで一致または超え、それによって、ロバストなLVLMアライメントに対する原則化された経済的経路を提供することを示している。
関連論文リスト
- Certifiable Safe RLHF: Fixed-Penalty Constraint Optimization for Safer Language Models [7.422627253922975]
我々は,大規模コーパスでトレーニングされたコストモデルであるCertifiable Safe-RLHFを導入し,セマンティックグラウンドの安全性スコアを割り当てる。
適切にスケールされたペナルティにより、二重変数更新の必要性を排除し、安全制約の実現性を保証することができる。
経験的評価により、CS-RLHFは、名目や脱獄のプロンプトに対して、最先端のモデル応答よりも5倍効率が高いことが示されている。
論文 参考訳(メタデータ) (2025-10-03T21:24:41Z) - Towards Safe Reasoning in Large Reasoning Models via Corrective Intervention [53.25106308403173]
既存の手法は、安全推論の独特な重要性を軽視し、信頼性を損なうとともに、悪質なユーザに対して安全でない推論がアクセス可能で、悪質なユーザによって悪用された場合、アプリケーションに潜在的なリスクを生じさせることを示す。
我々は、安全トリガー付きコンプライアンスステップを代入し、強い信号による優先学習のためのペアを構築することで、安全推論を強制するアライメント手法であるIntervened Preference Optimization (IPO)を提案する。
論文 参考訳(メタデータ) (2025-09-29T07:41:09Z) - PRISM: Robust VLM Alignment with Principled Reasoning for Integrated Safety in Multimodality [41.04710068888387]
PRISM (Principled Reasoning for Integrated Safety in Multimodality) は、視覚言語モデル(VLM)を協調するシステム2のようなフレームワークである。
我々のフレームワークは2つの重要なコンポーネントで構成されている。PRISM-CoTは安全を意識したチェーン・オブ・プリート推論を教えるデータセットであり、PRISM-DPOはモンテカルロ木探索(MCTS)によって生成される。
総合的な評価は、PRISMの有効性を示し、Qwen2-VLのJailbreakV-28Kの0.15%、LLaVA-1.5のVLBreakの以前のベストメソッドよりも90%改善した。
論文 参考訳(メタデータ) (2025-08-26T03:45:19Z) - Computational Economics in Large Language Models: Exploring Model Behavior and Incentive Design under Resource Constraints [1.00707850217229]
大規模言語モデル(LLM)は計算コストによって制限される。
我々は, LLMを資源制約されたエージェントの内部経済として扱う「計算経済学」の枠組みを導入する。
計算が不十分な場合、標準LLMは精度を保ちながら高価値トークンに注意を向ける。
論文 参考訳(メタデータ) (2025-08-14T07:55:45Z) - Scalable Chain of Thoughts via Elastic Reasoning [61.75753924952059]
Elastic Reasoningは、スケーラブルな思考の連鎖のための新しいフレームワークである。
推論は、独立して割り当てられた予算で、思考と解決の2つのフェーズに分けられる。
我々のアプローチは、制約のない設定でもより簡潔で効率的な推論をもたらす。
論文 参考訳(メタデータ) (2025-05-08T15:01:06Z) - Cannot See the Forest for the Trees: Invoking Heuristics and Biases to Elicit Irrational Choices of LLMs [83.11815479874447]
本研究では,人間の認知における認知的分解と偏見に触発された新しいジェイルブレイク攻撃フレームワークを提案する。
我々は、悪意のあるプロンプトの複雑さと関連バイアスを減らし、認知的分解を用いて、プロンプトを再編成する。
また、従来の二分的成功または失敗のパラダイムを超越したランキングベースの有害度評価指標も導入する。
論文 参考訳(メタデータ) (2025-05-03T05:28:11Z) - Fundamental Safety-Capability Trade-offs in Fine-tuning Large Language Models [92.38300626647342]
タスク固有のデータセット上でのLLM(Fun-tuning Large Language Model)は、LLMの第一の用途である。
本稿では,LLMファインチューニング戦略の安全性と能力の相互作用を理解するための理論的枠組みを提案する。
論文 参考訳(メタデータ) (2025-03-24T20:41:57Z) - An Economic Framework for 6-DoF Grasp Detection [28.25609101289935]
本研究では,訓練における資源コストの低減と効果的な把握性能の維持を目的とした,6-DoFグリップ検出のための経済的な枠組みを提案する。
EconomicGrasp は SOTA の把握法を平均 3AP で上回り,資源コストが極端に低い。
論文 参考訳(メタデータ) (2024-07-11T10:19:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。