論文の概要: CALMA: A Process for Deriving Context-aligned Axes for Language Model Alignment

• arxiv url: http://arxiv.org/abs/2507.09060v2
• Date: Tue, 15 Jul 2025 17:48:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-16 13:21:48.450281
• Title: CALMA: A Process for Deriving Context-aligned Axes for Language Model Alignment
• Title（参考訳）: CALMA:言語モデルアライメントのためのコンテキスト整列軸の導出プロセス
• Authors: Prajna Soni, Deepika Raman, Dylan Hadfield-Menell,
• Abstract要約: 評価とアライメントのための文脈関連軸を抽出するための基礎的,参加的手法であるCALMAを紹介する。 その結果,オープンエンドおよびユースケース駆動プロセスに基づく評価実践の価値が示された。
• 参考スコア（独自算出の注目度）: 4.732046558763803
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Datasets play a central role in AI governance by enabling both evaluation (measuring capabilities) and alignment (enforcing values) along axes such as helpfulness, harmlessness, toxicity, quality, and more. However, most alignment and evaluation datasets depend on researcher-defined or developer-defined axes curated from non-representative samples. As a result, developers typically benchmark models against broad (often Western-centric) values that overlook the varied contexts of their real-world deployment. Consequently, models trained on such proxies can fail to meet the needs and expectations of diverse user communities within these deployment contexts. To bridge this gap, we introduce CALMA (Context-aligned Axes for Language Model Alignment), a grounded, participatory methodology for eliciting context-relevant axes for evaluation and alignment. In a pilot with two distinct communities, CALMA surfaced novel priorities that are absent from standard benchmarks. Our findings demonstrate the value of evaluation practices based on open-ended and use-case-driven processes. Our work advances the development of pluralistic, transparent, and context-sensitive alignment pipelines.
• Abstract（参考訳）: データセットは、有用性、無害性、毒性、品質などの軸に沿って評価(測定能力)とアライメント(付加価値)の両方を可能にすることで、AIガバナンスにおいて中心的な役割を果たす。 しかし、ほとんどのアライメントと評価データセットは、非表現的なサンプルから算出された研究者定義または開発者定義の軸に依存している。 その結果、開発者は一般的に、実際のデプロイメントのさまざまな状況を見渡すような、広い(西洋中心の)値に対してモデルをベンチマークします。 したがって、このようなプロキシでトレーニングされたモデルは、これらのデプロイメントコンテキストにおける多様なユーザコミュニティのニーズと期待を満たすことができません。 このギャップを埋めるために、我々はCALMA (Context-aligned Axes for Language Model Alignment)を導入する。 2つの異なるコミュニティを持つパイロットにおいて、CALMAは標準ベンチマークにはない新しい優先順位を提示した。 その結果,オープンエンドおよびユースケース駆動プロセスに基づく評価実践の価値が示された。 我々の研究は、多元的、透明で、文脈に敏感なアライメントパイプラインの開発を進める。

関連論文リスト

• Datasets for Fairness in Language Models: An In-Depth Survey [8.198294998446867]
  本調査では,現在の言語モデル研究において,最も広く用いられている公平性データセットについて検討する。 我々は、データセットとスコアリングメソッド間の人口格差の一貫したパターンを明らかにする統一評価フレームワークを導入する。 モデルフェアネスに関する結論に影響を与えることがしばしば見過ごされるバイアスを強調し、これらのデータセットを選択し、組み合わせ、解釈するための実践的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2025-06-29T22:11:58Z)
• Adapting Vision-Language Models for Evaluating World Models [24.813041196394582]
  データおよび計算制約下でのシミュレーション環境におけるロールアウトに対する視覚言語評価手法であるUNIVERSEを提案する。 本研究では,タスク形式,コンテキスト長,サンプリング戦略,データ構成を網羅した,完全,部分的,パラメータ効率の微調整を大規模に検討する。 その結果得られた統合評価器は、単一のチェックポイントを使用してタスク固有のベースラインのパフォーマンスにマッチする。
  論文  参考訳（メタデータ） (2025-06-22T09:53:28Z)
• SEOE: A Scalable and Reliable Semantic Evaluation Framework for Open Domain Event Detection [70.23196257213829]
  オープンドメインイベント検出のためのスケーラブルで信頼性の高いセマンティックレベルの評価フレームワークを提案する。 提案フレームワークはまず,現在7つの主要ドメインをカバーする564のイベントタイプを含む,スケーラブルな評価ベンチマークを構築した。 次に,大言語モデル(LLM)を自動評価エージェントとして活用し,意味的類似ラベルのきめ細かい定義を取り入れた意味的F1スコアを計算する。
  論文  参考訳（メタデータ） (2025-03-05T09:37:05Z)
• MixEval-X: Any-to-Any Evaluations from Real-World Data Mixtures [28.130008435669865]
  我々はMixEval-Xを紹介した。これは、様々な入力と出力のモダリティで評価を最適化するように設計された、世界初の実世界ベンチマークである。 実世界のタスク分布を再構築するために,マルチモーダルベンチマークと適応修正パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-10-17T16:52:28Z)
• Detecting Multimodal Situations with Insufficient Context and Abstaining from Baseless Predictions [75.45274978665684]
  VLU(Vision-Language Understanding)ベンチマークには、提供されたコンテキストによってサポートされない仮定に答えが依存するサンプルが含まれている。 サンプル毎にコンテキストデータを収集し,エビデンスに基づくモデル予測を促進するためにコンテキスト選択モジュールをトレーニングする。 我々は,十分なコンテキストを欠いたサンプルを同定し,モデル精度を向上させる汎用なコンテキスト・アワレ認識検出器を開発した。
  論文  参考訳（メタデータ） (2024-05-18T02:21:32Z)
• Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
  我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。 このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
  論文  参考訳（メタデータ） (2024-02-16T13:53:26Z)
• Learning Evaluation Models from Large Language Models for Sequence Generation [61.8421748792555]
  本稿では,大規模言語モデルを用いた3段階評価モデルトレーニング手法を提案する。 SummEval ベンチマークによる実験結果から,CSEM は人間ラベルデータなしで評価モデルを効果的に訓練できることが示された。
  論文  参考訳（メタデータ） (2023-08-08T16:41:16Z)
• FLASK: Fine-grained Language Model Evaluation based on Alignment Skill Sets [69.91340332545094]
  FLASKは、人間に基づく評価とモデルに基づく評価の両方のためのきめ細かい評価プロトコルである。 モデル性能の全体像を得るためには,評価の微粒化が重要であることを実験的に観察する。
  論文  参考訳（メタデータ） (2023-07-20T14:56:35Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。