論文の概要: Conformal Alignment: Knowing When to Trust Foundation Models with Guarantees

• arxiv url: http://arxiv.org/abs/2405.10301v3
• Date: Tue, 05 Nov 2024 01:55:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-06 14:57:56.170099
• Title: Conformal Alignment: Knowing When to Trust Foundation Models with Guarantees
• Title（参考訳）: コンフォーマルアライメント: 保証者による基礎モデルの信頼の時期を知る
• Authors: Yu Gui, Ying Jin, Zhimei Ren,
• Abstract要約: 放射線学レポート生成では、ビジョン言語モデルによって生成された報告は、医学的意思決定に使用する前に人間の評価と一致しなければならない。 本稿では、出力がアライメント基準を満たす単位を識別する一般的なフレームワークであるConformal Alignmentを提案する。 基本モデルやデータ分布にかかわらず、選択された単位の所定の割合がアライメント基準を満たすことが保証される。
• 参考スコア（独自算出の注目度）: 5.348310708453905
• License:
• Abstract: Before deploying outputs from foundation models in high-stakes tasks, it is imperative to ensure that they align with human values. For instance, in radiology report generation, reports generated by a vision-language model must align with human evaluations before their use in medical decision-making. This paper presents Conformal Alignment, a general framework for identifying units whose outputs meet a user-specified alignment criterion. It is guaranteed that on average, a prescribed fraction of selected units indeed meet the alignment criterion, regardless of the foundation model or the data distribution. Given any pre-trained model and new units with model-generated outputs, Conformal Alignment leverages a set of reference data with ground-truth alignment status to train an alignment predictor. It then selects new units whose predicted alignment scores surpass a data-dependent threshold, certifying their corresponding outputs as trustworthy. Through applications to question answering and radiology report generation, we demonstrate that our method is able to accurately identify units with trustworthy outputs via lightweight training over a moderate amount of reference data. En route, we investigate the informativeness of various features in alignment prediction and combine them with standard models to construct the alignment predictor.
• Abstract（参考訳）: ファンデーションモデルからのアウトプットを高精細なタスクにデプロイする前には、それらが人間の価値と一致していることを保証することが不可欠である。 例えば、放射線学レポート生成では、ビジョン言語モデルによって生成された報告は、医学的意思決定に使用する前に人間の評価と一致しなければならない。 本稿では,ユーザが指定したアライメント基準を満たす出力単位を識別する一般的なフレームワークであるConformal Alignmentを提案する。 基本モデルやデータ分布にかかわらず、選択された単位の所定の割合がアライメント基準を満たすことが保証される。 事前訓練されたモデルとモデル生成出力を持つ新しいユニットが与えられた場合、コンフォーマルアライメントは、アライメント予測器をトレーニングするために、接地トラストアライメント状態の参照データのセットを活用する。 次に、予測アライメントスコアがデータ依存しきい値を超えた新しいユニットを選択し、対応するアウトプットを信頼できるものとして認定する。 質問応答や放射線学レポート生成の応用を通して,本手法は軽度基準データを用いた軽量トレーニングにより,信頼性の高い出力を持つ単位を正確に識別できることを実証する。 そこで我々は,アライメント予測における様々な特徴の有意性について検討し,それらを標準モデルと組み合わせてアライメント予測器を構築する。

関連論文リスト

• Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning [53.42244686183879]
  コンフォーマル予測は、モデルに依存しない、分布のない不確実性定量化を提供する。 しかし、敵が訓練データと校正データを操作した場合の毒殺攻撃では、共形予測は信頼性が低い。 信頼性予測セット (RPS): 汚染下での信頼性保証を証明可能な共形予測セットを構築するための最初の効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-13T15:37:11Z)
• Stochastic Online Conformal Prediction with Semi-Bandit Feedback [29.334511328067777]
  実例が時間とともに現れるオンライン学習環境について検討し、その目標は予測セットを動的に構築することである。 本稿では,この設定を対象とする新しい共形予測アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-22T00:42:49Z)
• Confidence on the Focal: Conformal Prediction with Selection-Conditional Coverage [6.010965256037659]
  コンフォーマル予測は、ランダムに描画された新しいテストポイントの未知の結果を所定の確率でカバーする、わずかに有効な予測間隔を構築する。 そのようなケースでは、選択バイアスによる焦点単位に対する正当性予測間隔は、選択バイアスによる有効なカバレッジを提供できない。 本稿では、選択した単位に対して、有限サンプルの正確なカバレッジ条件を持つ予測セットを構築するための一般的な枠組みを提案する。
  論文  参考訳（メタデータ） (2024-03-06T17:18:24Z)
• Predicting generalization performance with correctness discriminators [64.00420578048855]
  未確認データに対して,金のラベルを必要とせず,精度の上下境界を確立する新しいモデルを提案する。 予測された上境界と下限の間に金の精度が確実に成立する様々なタグ付け、構文解析、意味解析タスクを示す。
  論文  参考訳（メタデータ） (2023-11-15T22:43:42Z)
• Estimating Uncertainty in Multimodal Foundation Models using Public Internet Data [15.365603519829088]
  ファンデーションモデルは、自己教師付き学習を使用して、大規模に大量のデータをトレーニングする。 本稿では,ゼロショット予測における不確実性を定量化する問題に対処する。 ウェブデータとの共形予測を用いたゼロショット設定における不確実性推定手法を提案する。
  論文  参考訳（メタデータ） (2023-10-15T19:24:52Z)
• Robust Ordinal Regression for Subsets Comparisons with Interactions [2.6151761714896122]
  本稿では,サブセット間の意思決定者の好みを学習するための厳密な順序付け手法を提案する。 Fishburn と LaValle から派生した決定モデルは、部分集合上の厳密な弱順序と互換性を持つほど一般である。 予測された嗜好が、すべての最も単純なモデル(オッカムのカミソリ)がその嗜好データに一致する場合、信頼できると考えられる。
  論文  参考訳（メタデータ） (2023-08-07T07:54:33Z)
• Conformal Language Modeling [61.94417935386489]
  生成言語モデル(LM)の共形予測のための新しい手法を提案する。 標準共形予測は厳密で統計的に保証された予測セットを生成する。 我々は,オープンドメイン質問応答,テキスト要約,ラジオロジーレポート生成において,複数のタスクに対するアプローチの約束を実証する。
  論文  参考訳（メタデータ） (2023-06-16T21:55:08Z)
• Robust Flow-based Conformal Inference (FCI) with Statistical Guarantee [4.821312633849745]
  本研究では,予測集合の構築や,複雑なデータや高次元データに対するアウトレイラの推測など,一連の共形推論手法を開発する。 ベンチマークデータセットを用いて,ロバストなフローベース共形推論手法の評価を行った。
  論文  参考訳（メタデータ） (2022-05-22T04:17:30Z)
• Conformal prediction for the design problem [72.14982816083297]
  機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。 このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。 このような環境で予測の不確実性を定量化する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-08T02:59:12Z)
• Summary-Source Proposition-level Alignment: Task, Datasets and Supervised Baseline [94.0601799665342]
  資料の参照要約における文のアライメントは,補助的な要約作業として有用であった。 本稿では,2つの重要な新機能を導入しながら,要約ソースアライメントを明示的なタスクとして確立することを提案する。 我々は提案レベルのアライメントのための新しいトレーニングデータセットを作成し、利用可能な要約評価データから自動的に抽出する。 教師なしアプローチよりも優れたアライメント品質を示す教師付き命題アライメントベースラインモデルを提案する。
  論文  参考訳（メタデータ） (2020-09-01T17:27:12Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。