論文の概要: When More Objectives Make Identification Easier: The Role of Preferences and Feedback
- arxiv url: http://arxiv.org/abs/2610.18577v1
- Date: Tue, 13 Oct 2026 15:42:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.659467
- Title: When More Objectives Make Identification Easier: The Role of Preferences and Feedback
- Title（参考訳）: より多くの目的が識別を容易にするとき--選好とフィードバックの役割
- Abstract要約: ベストアーム識別(BAI)は、できるだけ少数のサンプルを用いて最適な腕を特定することを目的としている。
本稿では,複数の目的がBAIをより容易にするためのタイミングと理由を特徴付ける。
- 参考スコア（独自算出の注目度）: 22.00731129192197
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Best-arm identification (BAI) aims to identify the optimal arm using as few samples as possible. While most existing work focuses on a single objective, many real-world applications involve multiple criteria, which motivates the study of BAI in multi-objective bandits. Intuitively, multi-objective identification seems harder, since the learner must identify optimal arms in a higher-dimensional reward space; however, the additional objectives also provide richer feedback that can reduce the required exploration. In this paper, we characterize when and why multiple objectives can make BAI easier. For Gaussian bandits, we establish a characteristic-time lower bound for fixed-confidence identification that holds uniformly across preference orders. Through explicit comparisons under Pareto, linear, and lexicographic preferences, we reveal three phenomena: (i) identifying a larger optimal set can require fewer samples than identifying a unique optimum; (ii) the advantage of vector feedback over coordinate feedback depends fundamentally on the preference order; and (iii) multi-objective identification can require fewer samples than even the easiest corresponding single-objective problem. Finally, we propose Order-Aware Track-and-Stop (OATS), an algorithm that is correct at any prescribed confidence level and asymptotically matches the lower bound.
- Abstract（参考訳）: ベストアーム識別(BAI)は、できるだけ少数のサンプルを用いて最適な腕を特定することを目的としている。
既存のほとんどの研究は単一の目的に焦点を絞っているが、多くの現実世界の応用には複数の基準が含まれており、これは多目的の包帯におけるBAIの研究を動機付けている。
直感的には、学習者は高次元の報酬空間において最適な腕を識別しなければならないため、多目的識別は困難であるように思われるが、追加の目的はまた、必要な探索を減らすためのよりリッチなフィードバックを提供する。
本稿では,複数の目的がBAIをより容易にするためのタイミングと理由を特徴付ける。
ガウスの盗賊に対しては、優先順序を越えて一様に保持される固定信頼識別のための特性時間下限を確立する。
Pareto, linear and lexicographic preferencesの下での明示的な比較を通じて、我々は3つの現象を明らかにした。
i) より大きな最適集合を識別するには、一意の最適化を識別するよりも、サンプルを少なくすることができる。
(二)座標フィードバックに対するベクトルフィードバックの利点は、基本的に優先順序に依存する。
三 多目的識別は、最も簡単な単目的問題よりも少ないサンプルを必要とすることがある。
最後に、任意の信頼度で正し、漸近的に下界にマッチするアルゴリズムであるオーダー・アウェア・トラック・アンド・ストップ(OATS)を提案する。
関連論文リスト
- Few-for-Many Best-Arm Identification in Multi-Objective Bandits [14.12644903516567]
現実世界のシステムは、しばしば多くの目的を達成するが、ノイズの多いフィードバックからパフォーマンスを学ばなければならないいくつかのオプションしか展開できない。
目的的最適度から重み付けられた最悪の劣化を最小限に抑えるために,小セットの腕を求めるEmphfew-for-Manyベストアーム識別を導入する。
本研究は, 実環境における実環境および実環境における実験により, 対象物間での観測結果の共有が, サンプリングコストを大幅に削減できることを実証した。
論文 参考訳（メタデータ） (2026-10-12T14:18:08Z) - Before Thinking, Learn to Decide: Proactive Routing for Efficient Visual Reasoning [87.18590662029432]
本稿では,プロアクティブルーティングパラダイムであるPRPを提案する。このパラダイムは,ドラフトモデルとターゲットモデルの両方の能力を評価することで,早期意思決定を可能にする。
筆者らの試案であるレーティング学習 (DRL) は内部信頼度推定器を内蔵し, 共同レーティング学習 (JRL) は対象モデルが与えられたクエリをどの程度処理できるかを予測する。
これらの評価により、詳細なインスタンスレベルの textbfProactive Routing が可能になり、全体的なパフォーマンスを損なうことなく、推論を大幅に高速化できる。
論文 参考訳（メタデータ） (2026-06-29T12:30:24Z) - Efficient Multi-objective Prompt Optimization via Pure-exploration Bandits [17.812798971915218]
本研究では,2つの実践的条件下での多目的的プロンプト選択問題について検討する。
多目的バンディットから証明可能なアルゴリズムを適応する。
本稿では,構造バンドにおける腕の識別に最適な新しい設計を提案する。
論文 参考訳（メタデータ） (2026-05-14T08:31:17Z) - Beyond the Lower Bound: Bridging Regret Minimization and Best Arm Identification in Lexicographic Bandits [38.6018343928571]
多目的意思決定において、レキシコグラフィーの帯域幅は、優先順位付けされた順序で複数の目的を最適化するための自然な枠組みを提供する。
本稿では,この共同目的に対処する2つの除去アルゴリズムを提案する。
注目すべきは、シングルオブジェクトのバンディット問題に対する既知の下界よりも優れていることである。
論文 参考訳（メタデータ） (2025-11-08T02:22:33Z) - Multi-Level Aware Preference Learning: Enhancing RLHF for Complex Multi-Instruction Tasks [81.44256822500257]
RLHFは、人工知能システムと人間の好みを結びつける主要なアプローチとして登場した。
RLHFは、複雑なマルチインストラクションタスクに直面すると、不十分なコンプライアンス機能を示す。
本稿では,マルチインストラクション能力を向上させる新しいMAPL(Multi-level Aware Preference Learning)フレームワークを提案する。
論文 参考訳（メタデータ） (2025-05-19T08:33:11Z) - Controllable Preference Optimization: Toward Controllable Multi-Objective Alignment [103.12563033438715]
人工知能におけるアライメントは、モデル応答と人間の好みと値の一貫性を追求する。
既存のアライメント技術は、主に一方向であり、様々な目的に対して、最適以下のトレードオフと柔軟性の低下につながる。
制御可能な選好最適化(CPO)を導入し、異なる目的に対する選好スコアを明確に指定する。
論文 参考訳（メタデータ） (2024-02-29T12:12:30Z) - Bi-objective Ranking and Selection Using Stochastic Kriging [0.0]
両目的のランク付けと選択の問題について検討し,その2つの目的が不確実性をもって観測された。
そこで本研究では,競合する解に対して逐次サンプルを割り当てるバイーシアン双対象ランクと選別法を提案する。
実験結果から,提案手法は標準的なアロケーション手法よりも優れており,また,よく知られた最先端のアルゴリズムも優れていることがわかった。
論文 参考訳（メタデータ） (2022-09-05T23:51:07Z) - Choosing the Best of Both Worlds: Diverse and Novel Recommendations
through Multi-Objective Reinforcement Learning [68.45370492516531]
本稿では,Recommender Systems (RS) 設定のための拡張多目的強化学習(SMORL)を紹介する。
SMORLエージェントは、標準レコメンデーションモデルを拡張し、RLレイヤーを追加し、3つの主要な目的(正確性、多様性、新しいレコメンデーション)を同時に満たすように強制する。
実世界の2つのデータセットに対する実験結果から,集約的多様性の顕著な増加,精度の適度な向上,レコメンデーションの反復性の低下,および相補的目的としての多様性と新規性の強化の重要性が示された。
論文 参考訳（メタデータ） (2021-10-28T13:22:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。