論文の概要: SPRI: Aligning Large Language Models with Context-Situated Principles

• arxiv url: http://arxiv.org/abs/2502.03397v1
• Date: Wed, 05 Feb 2025 17:32:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:28:54.995220
• Title: SPRI: Aligning Large Language Models with Context-Situated Principles
• Title（参考訳）: SPRI: コンテキスト指定原則による大規模言語モデルの調整
• Authors: Hongli Zhan, Muneeza Azmat, Raya Horesh, Junyi Jessy Li, Mikhail Yurochkin,
• Abstract要約: Situated-PRInciples (SPRI) は、各入力クエリに対して、リアルタイムでガイド原則を自動生成し、各レスポンスを整合させるように設計されている。 我々は,SPRIを3つのタスクで評価し,SPRIが複雑なドメイン固有のタスクの原理を導出できることを示す。
• 参考スコア（独自算出の注目度）: 53.07731637246485
• License:
• Abstract: Aligning Large Language Models to integrate and reflect human values, especially for tasks that demand intricate human oversight, is arduous since it is resource-intensive and time-consuming to depend on human expertise for context-specific guidance. Prior work has utilized predefined sets of rules or principles to steer the behavior of models (Bai et al., 2022; Sun et al., 2023). However, these principles tend to be generic, making it challenging to adapt them to each individual input query or context. In this work, we present Situated-PRInciples (SPRI), a framework requiring minimal or no human effort that is designed to automatically generate guiding principles in real-time for each input query and utilize them to align each response. We evaluate SPRI on three tasks, and show that 1) SPRI can derive principles in a complex domain-specific task that leads to on-par performance as expert-crafted ones; 2) SPRI-generated principles lead to instance-specific rubrics that outperform prior LLM-as-a-judge frameworks; 3) using SPRI to generate synthetic SFT data leads to substantial improvement on truthfulness. We release our code and model generations at https://github.com/honglizhan/SPRI-public.
• Abstract（参考訳）: 人間の価値の統合と反映のための大規模言語モデルの調整、特に複雑な人間の監視を必要とするタスクは、リソース集約的で時間を要するため、コンテキスト固有のガイダンスのために人間の専門知識に依存するため、困難である。 以前の作業では、事前定義されたルールや原則を利用してモデルの振る舞いを制御している(Bai et al , 2022; Sun et al , 2023)。 しかしながら、これらの原則は汎用的であり、個々の入力クエリやコンテキストにそれらを適用するのは難しい。 本研究では,入力クエリ毎の誘導原理をリアルタイムで自動生成し,各応答の整合性を確保するために,最小限あるいは不要な最小限の努力を必要とするフレームワークであるSituated-PRInciples(SPRI)を提案する。 我々はSPRIを3つのタスクで評価し、そのことを示す。 1) SPRIは、専門家が作成したものとしてのオンパーパフォーマンスにつながる複雑なドメイン固有のタスクにおいて原則を導出することができる。 2) SPRI による原則は,従来の LLM-as-a-judge フレームワークより優れたインスタンス固有なルーブリックにつながる。 3)SPRIを用いて合成SFTデータを生成することにより,真理性に大きな改善がもたらされた。 コードとモデル世代はhttps://github.com/honglizhan/SPRI-public.comで公開しています。

関連論文リスト

• Optimizing Large Language Models for Dynamic Constraints through Human-in-the-Loop Discriminators [0.0]
  大規模言語モデル(LLM)は、最近、様々な現実世界のアプリケーションにまたがる印象的な機能を実証した。 本稿では,LLMがシステムインターフェースと相互作用し,制約概念を要約し,性能指標を継続的に最適化するフレキシブルなフレームワークを提案する。 我々のフレームワークは、人間の識別器で7.78%のパスレート、LSMベースの識別器で6.11%のパスレートを達成した。
  論文  参考訳（メタデータ） (2024-10-19T17:27:38Z)
• P-RAG: Progressive Retrieval Augmented Generation For Planning on Embodied Everyday Task [94.08478298711789]
  Embodied Everyday Taskは、インボディードAIコミュニティで人気のあるタスクである。 自然言語命令は明示的なタスクプランニングを欠くことが多い。 タスク環境に関する知識をモデルに組み込むには、広範囲なトレーニングが必要である。
  論文  参考訳（メタデータ） (2024-09-17T15:29:34Z)
• Value FULCRA: Mapping Large Language Models to the Multidimensional Spectrum of Basic Human Values [47.779186412943076]
  本稿では,新しい基本値アライメントパラダイムと,基本値次元にまたがる値空間を提案する。 人文科学における人文科学と社会科学の基本的価値観に触発され、この研究は、新しい基本的価値アライメントパラダイムと、基本的価値次元にまたがる価値空間を提案する。 今後の研究を促進するために、代表的シュワルツの基本値理論を例として応用し、5k(LLM出力、値ベクトル)ペアからなるデータセットであるFULCRAを構築する。
  論文  参考訳（メタデータ） (2023-11-15T10:29:28Z)
• SALMON: Self-Alignment with Instructable Reward Models [80.83323636730341]
  本稿では,基本言語モデルと人間の監督を最小限に整合させる新しいアプローチ,すなわちSALMONを提案する。 私たちはDromedary-2という名のAIアシスタントを開発しており、コンテキスト内学習には6つの例と31の人間定義原則しかありません。
  論文  参考訳（メタデータ） (2023-10-09T17:56:53Z)
• Principle-Driven Self-Alignment of Language Models from Scratch with Minimal Human Supervision [84.31474052176343]
  ChatGPTのような最近のAIアシスタントエージェントは、人間のアノテーションと人間のフィードバックからの強化学習を教師付き微調整(SFT)に頼り、アウトプットを人間の意図に合わせる。 この依存は、人間の監督を得るために高いコストがかかるため、AIアシスタントエージェントの真の可能性を大幅に制限することができる。 本稿では,AIエージェントの自己調整と人間監督の最小化のために,原則駆動推論とLLMの生成能力を組み合わせたSELF-ALIGNという新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-04T17:59:28Z)
• IXA/Cogcomp at SemEval-2023 Task 2: Context-enriched Multilingual Named Entity Recognition using Knowledge Bases [53.054598423181844]
  3つのステップからなる新しいNERカスケードアプローチを提案する。 我々は、細粒度および新興物質を正確に分類する上で、外部知識基盤の重要性を実証的に示す。 本システムは,低リソース言語設定においても,マルチコネラ2共有タスクにおいて頑健な性能を示す。
  論文  参考訳（メタデータ） (2023-04-20T20:30:34Z)
• Machine Learning Approaches for Principle Prediction in Naturally Occurring Stories [9.652610879417326]
  本研究では,自然発生ストーリーデータに対する規範的原理予測の課題に対する機械学習モデルの利用について検討する。 個別の原則は分類できるが、「道徳的原則」が表すもののあいまいさは、人間の参加者と自律システムの両方に課題をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-11-19T03:14:23Z)
• LMPriors: Pre-Trained Language Models as Task-Specific Priors [78.97143833642971]
  適切な事前条件でモデルを拡張するための原則的手法を開発した。 これは、世界に対する私たちの理解と相容れない方法で学ぶことを奨励するものです。 我々は,近年の大規模言語モデル(LM)の成功から着想を得た。
  論文  参考訳（メタデータ） (2022-10-22T19:09:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。