論文の概要: Sparse Activation Editing for Reliable Instruction Following in Narratives

• arxiv url: http://arxiv.org/abs/2505.16505v1
• Date: Thu, 22 May 2025 10:41:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:48.230589
• Title: Sparse Activation Editing for Reliable Instruction Following in Narratives
• Title（参考訳）: ナラティブによる信頼性教育のためのスパースアクティベーション編集
• Authors: Runcong Zhao, Chengyu Cao, Qinglin Zhu, Xiucheng Lv, Shun Shao, Lin Gui, Ruifeng Xu, Yulan He,
• Abstract要約: そこで本研究では,命令関連ニューロンの同定と編集により,命令追従を改善する学習自由フレームワークを提案する。 1,212例のベンチマークであるFreeInstructを紹介した。
• 参考スコア（独自算出の注目度）: 36.40275592773449
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Complex narrative contexts often challenge language models' ability to follow instructions, and existing benchmarks fail to capture these difficulties. To address this, we propose Concise-SAE, a training-free framework that improves instruction following by identifying and editing instruction-relevant neurons using only natural language instructions, without requiring labelled data. To thoroughly evaluate our method, we introduce FreeInstruct, a diverse and realistic benchmark of 1,212 examples that highlights the challenges of instruction following in narrative-rich settings. While initially motivated by complex narratives, Concise-SAE demonstrates state-of-the-art instruction adherence across varied tasks without compromising generation quality.
• Abstract（参考訳）: 複雑な物語の文脈は言語モデルの指示に従う能力に挑戦することが多く、既存のベンチマークはこれらの困難を捉えていない。 そこで本研究では,自然言語命令のみを用いて命令関連ニューロンを識別・編集し,ラベル付きデータを必要としない学習自由フレームワークであるConcise-SAEを提案する。 提案手法を徹底的に評価するために,1,212例の多彩で現実的なベンチマークであるFreeInstructを導入する。 最初は複雑な物語に動機付けられたが、Concise-SAEは、生成品質を損なうことなく、様々なタスクにまたがる最先端の命令順守を示す。

関連論文リスト

• Context-dependent Instruction Tuning for Dialogue Response Generation [61.21790201307179]
  最近の言語モデルは、微調整中にタスク入力に命令を組み込むことで、自然言語計算タスクにおいて顕著なパフォーマンスを実現している。 マルチターン対話のためのコンテキストベース命令微調整フレームワークを提案する。 評価中、モデルは以前の文脈に基づいて指示を生成し、応答を自己導出する。
  論文  参考訳（メタデータ） (2023-11-13T01:25:30Z)
• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)
• Evaluating the Instruction-Following Robustness of Large Language Models to Prompt Injection [70.28425745910711]
  LLM(Large Language Models)は、命令追従に非常に熟練した言語である。 この能力は、迅速なインジェクション攻撃のリスクをもたらす。 このような攻撃に対する命令追従LDMの堅牢性を評価する。
  論文  参考訳（メタデータ） (2023-08-17T06:21:50Z)
• Evaluating the Zero-shot Robustness of Instruction-tuned Language Models [23.488398944358643]
  新規な(観測されていない)が適切な命令表現を用いることで、モデル性能は一貫して低下することがわかった。 本稿では,ソフトプロンプトの埋め込みパラメータを導入することで,この問題を軽減するための簡単な手法を提案する。 本手法は命令調整モデルのロバスト性を常に改善することを示す。
  論文  参考訳（メタデータ） (2023-06-20T03:48:51Z)
• Learning Action Conditions from Instructional Manuals for Instruction Understanding [48.52663250368341]
  本稿では,行動条件推論というタスクを提案し,命令マニュアルにおける行動条件の事前条件と後条件の高品質なアノテートデータセットを収集する。 本稿では,オンライン指導マニュアルから大規模トレーニングインスタンスを自動構築する弱い教師付きアプローチを提案し,人間に注釈を付けて検証したデータセットをキュレートし,現在のNLPモデルが命令テキストの動作条件依存性をいかに推測できるかを検証した。
  論文  参考訳（メタデータ） (2022-05-25T00:19:59Z)
• Contrastive Instruction-Trajectory Learning for Vision-Language Navigation [66.16980504844233]
  視覚言語ナビゲーション(VLN)タスクでは、エージェントが自然言語の指示でターゲットに到達する必要がある。 先行研究は、命令-軌道対間の類似点と相違点を識別できず、サブ命令の時間的連続性を無視する。 本稿では、類似したデータサンプル間の分散と、異なるデータサンプル間の分散を探索し、ロバストなナビゲーションのための独特な表現を学習するContrastive Instruction-Trajectory Learningフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-08T06:32:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。