論文の概要: Inference-Time Intervention in Large Language Models for Reliable Requirement Verification

• arxiv url: http://arxiv.org/abs/2503.14130v1
• Date: Tue, 18 Mar 2025 10:49:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-19 14:18:12.756483
• Title: Inference-Time Intervention in Large Language Models for Reliable Requirement Verification
• Title（参考訳）: 信頼性要求検証のための大規模言語モデルにおける推論時間干渉
• Authors: Paul Darm, James Xie, Annalisa Riccardi,
• Abstract要約: 推論時間介入技術は微調整に代わる有望な手段である。 我々は、介入が通常時間を要する要求検証プロセスを自動化するためのきめ細かい制御を可能にする方法を実証する。 提案手法は, ベースラインモデルと微調整手法の両方において, 頑健で信頼性の高い出力を実現する。
• 参考スコア（独自算出の注目度）: 2.3759432635713895
• License:
• Abstract: Steering the behavior of Large Language Models (LLMs) remains a challenge, particularly in engineering applications where precision and reliability are critical. While fine-tuning and prompting methods can modify model behavior, they lack the dynamic and exact control necessary for engineering applications. Inference-time intervention techniques provide a promising alternative, allowing targeted adjustments to LLM outputs. In this work, we demonstrate how interventions enable fine-grained control for automating the usually time-intensive requirement verification process in Model-Based Systems Engineering (MBSE). Using two early-stage Capella SysML models of space missions with associated requirements, we apply the intervened LLMs to reason over a graph representation of the model to determine whether a requirement is fulfilled. Our method achieves robust and reliable outputs, significantly improving over both a baseline model and a fine-tuning approach. By identifying and modifying as few as one to three specialised attention heads, we can significantly change the model's behavior. When combined with self-consistency, this allows us to achieve perfect precision on our holdout test set.
• Abstract（参考訳）: 大規模言語モデル(LLM)の動作のステアリングは、特に精度と信頼性が重要なエンジニアリングアプリケーションにおいて、依然として課題である。 微調整とプロンプト手法はモデルの振る舞いを変更できるが、エンジニアリングアプリケーションに必要な動的かつ正確な制御は欠如している。 推論時間介入技術は、LLM出力のターゲット調整を可能にする、有望な代替手段を提供する。 本稿では,モデルベースシステム工学(MBSE)における通常時間集約的な要求検証プロセスを自動化するために,介入がどのようにしてきめ細かな制御を可能にするかを実証する。 関連する要件を持つ宇宙ミッションの2つの初期のCapella SysMLモデルを用いて、モデルのグラフ表現を推論し、要求が満たされているかどうかを判断する。 提案手法は, ベースラインモデルと微調整手法の両方において, 頑健で信頼性の高い出力を実現する。 1から3つの特別な注意ヘッドを識別し、修正することで、モデルの振る舞いを大きく変えることができる。 自己整合性(self-consistency)と組み合わせることで、ホールドアウトテストセットで完全な精度を達成できます。

関連論文リスト

• Merging Models on the Fly Without Retraining: A Sequential Approach to Scalable Continual Model Merging [75.93960998357812]
  ディープモデルマージ(Deep Modelmerging)は、複数の微調整モデルを組み合わせて、さまざまなタスクやドメインにまたがる能力を活用する、新たな研究方向を示すものだ。 現在のモデルマージ技術は、全ての利用可能なモデルを同時にマージすることに集中しており、重量行列に基づく手法が主要なアプローチである。 本稿では,モデルを逐次処理するトレーニングフリーなプロジェクションベース連続マージ手法を提案する。
  論文  参考訳（メタデータ） (2025-01-16T13:17:24Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Aligning Large Language Models with Representation Editing: A Control Perspective [38.71496554018039]
  人間の目的に合わせて微調整された大規模言語モデル(LLM)は、現実世界のアプリケーションには不可欠である。 プロンプトやガイドデコードといったテスト時のアライメント技術は、基礎となるモデルを変更しない。 表現編集によるLLMの整合性を提案する。
  論文  参考訳（メタデータ） (2024-06-10T01:21:31Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Calibrating Large Language Models with Sample Consistency [76.23956851098598]
  本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。 その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。 種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-02-21T16:15:20Z)
• InferAligner: Inference-Time Alignment for Harmlessness through Cross-Model Guidance [56.184255657175335]
  我々は,無害アライメントのためのクロスモデルガイダンスを利用する新しい推論時間アライメント手法であるtextbfInferAligner を開発した。 実験結果から,本手法はファイナンス,医学,数学の分野特化モデルに極めて効果的に適用可能であることが示された。 これは有害な命令とジェイルブレイク攻撃の両方のアタック成功率(ASR)を著しく低下させ、下流タスクではほとんど変化のないパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2024-01-20T10:41:03Z)
• Correct-by-Construction Control for Stochastic and Uncertain Dynamical Models via Formal Abstractions [44.99833362998488]
  我々は、様々なモデリングの前提の下でこの問題を解決するために使用できる抽象フレームワークを開発する。 我々は、与えられた仕様を満たすための保証とともに、iMDPの最適ポリシーを計算するために最先端の検証技術を使用します。 そして、このポリシーを構築によって、これらの保証が動的モデルに受け継がれるフィードバックコントローラに改良できることを示します。
  論文  参考訳（メタデータ） (2023-11-16T11:03:54Z)
• MOSEL: Inference Serving Using Dynamic Modality Selection [4.849058875921672]
  モデル品質を維持しながら、推論入力からモダリティを適応的に選択するダイナミズム、モダリティ選択という形式を導入する。 MOSELはマルチモーダルMLモデルのための自動推論システムであり,ユーザ定義の性能と精度の要求に基づいて,要求毎の入力モダリティを慎重に選択する。
  論文  参考訳（メタデータ） (2023-10-27T20:50:56Z)
• Variable Importance Matching for Causal Inference [73.25504313552516]
  これらの目標を達成するためのModel-to-Matchと呼ばれる一般的なフレームワークについて説明する。 Model-to-Matchは、距離メートル法を構築するために変数重要度測定を使用する。 LASSO を用いて Model-to-Match フレームワークを運用する。
  論文  参考訳（メタデータ） (2023-02-23T00:43:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。