論文の概要: Focus On This, Not That! Steering LLMs With Adaptive Feature Specification

• arxiv url: http://arxiv.org/abs/2410.22944v2
• Date: Thu, 16 Jan 2025 11:26:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-17 15:08:31.900893
• Title: Focus On This, Not That! Steering LLMs With Adaptive Feature Specification
• Title（参考訳）: 適応的な特徴仕様でLLMをステアリングする
• Authors: Tom A. Lamb, Adam Davies, Alasdair Paren, Philip H. S. Torr, Francesco Pinto,
• Abstract要約: Focus Instruction Tuning (FIT)は、大きな言語モデルを訓練し、他を無視しながら特定の特徴に注目して応答を条件付けする。 焦点調整されたモデルは、推論時に異なる特徴に焦点を合わせることで適応的に操縦できることを示す。
• 参考スコア（独自算出の注目度）: 48.27684487597968
• License:
• Abstract: Despite the success of Instruction Tuning (IT) in training large language models (LLMs) to perform arbitrary user-specified tasks, these models often still leverage spurious or biased features learned from their training data, leading to undesired behaviours when deploying them in new contexts. In this work, we introduce Focus Instruction Tuning (FIT), which trains LLMs to condition their responses by focusing on specific features whilst ignoring others, leading to different behaviours based on what features are specified. Across several experimental settings, we show that focus-tuned models can be adaptively steered by focusing on different features at inference-time: for instance, robustness can be improved by focusing on task-causal features and ignoring spurious features, and social bias can be mitigated by ignoring demographic categories. Furthermore, FIT can steer behaviour in new contexts, generalising under distribution shift and to new unseen features at inference time, and thereby facilitating more robust, fair, and controllable LLM applications in real-world environments.
• Abstract（参考訳）: 大規模言語モデル(LLM)をトレーニングして、任意のユーザ指定のタスクを実行する上で、IT(Instruction Tuning)の成功にもかかわらず、これらのモデルはトレーニングデータから学んだ、あるいはバイアスのある機能を活用することが多く、新しいコンテキストにデプロイする際の望ましくない振る舞いにつながります。 本研究では,FIT(Focus Instruction Tuning)を導入し,特定の特徴を無視しながら,特定の特徴に焦点を合わせ,その応答を条件づけるようにLCMを訓練する。 例えば、タスクの因果的特徴に着目し、刺激的な特徴を無視し、社会的偏見を無視することで頑健性を改善することができ、また、階層的カテゴリーを無視して社会的偏見を緩和することができる。 さらに、FITは、新しいコンテキストにおける振る舞いを操り、分散シフトの下で一般化し、推論時に新しい見えない機能に移行し、現実の環境でより堅牢で公平で制御可能なLLMアプリケーションを容易にする。

関連論文リスト

• The Inherent Limits of Pretrained LLMs: The Unexpected Convergence of Instruction Tuning and In-Context Learning Capabilities [51.594836904623534]
  本研究は,インコンテキストの例を用いて誘導されるベースモデルと,命令調整モデルが根本的に異なる機能を持つかどうかを考察する。 命令調整モデルの性能は,基本モデルのコンテキスト内性能と大きく相関していることを示す。 具体的には、この理解を命令付きモデルに拡張し、事前学習データも同様に、解決可能なタスクの制限境界を設定することを示唆する。
  論文  参考訳（メタデータ） (2025-01-15T10:57:55Z)
• Fresh-CL: Feature Realignment through Experts on Hypersphere in Continual Learning [3.708456605408296]
  連続学習(Fresh-CL)におけるハイパーSpHereのエキスパートによる特徴認識手法を提案する。 本研究では,ETFの動的拡張を専門家の混合により提案し,様々な部分空間への適応射影を可能とし,特徴表現を向上する。 11のデータセットの実験では、最強のベースラインに比べて精度が2%向上した。
  論文  参考訳（メタデータ） (2025-01-04T05:20:53Z)
• Separable Mixture of Low-Rank Adaptation for Continual Visual Instruction Tuning [16.873306091966693]
  視覚的インストラクションチューニングにより、大規模な言語モデル(MLLM)は、言語ベースのインストラクションとしてフレーミングすることで、幅広い視覚タスクを処理できる。 CVITでは,MLLMが学習した視覚的理解を忘れると同時に,学習能力の低下を経験する。 本稿では2つの異なるモジュール間の分離可能なルーティングを利用するSMOLoRAフレームワークについて紹介する。 このデュアルルーチン設計により、両方のドメインに特別な適応が可能となり、性能を改善しながら、忘れることを防ぐことができる。
  論文  参考訳（メタデータ） (2024-11-21T09:00:15Z)
• Fully Fine-tuned CLIP Models are Efficient Few-Shot Learners [8.707819647492467]
  視覚言語モデル全体(VLM)の精巧な精細化によるタスク固有情報の取得について検討する。 これらの問題を緩和するために,識別的視覚テキストタスクを設計するCLIP-CITEというフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-04T15:22:54Z)
• DETAIL: Task DEmonsTration Attribution for Interpretable In-context Learning [75.68193159293425]
  インコンテキスト学習(ICL)により、トランスフォーマーベースの言語モデルでは、パラメータを更新することなく、いくつかの"タスクデモ"で特定のタスクを学習することができる。 ICLの特徴に対処する影響関数に基づく帰属手法DETAILを提案する。 ホワイトボックスモデルで得られた属性スコアがブラックボックスモデルに転送可能であることを示すことにより、モデル性能を向上させる上で、DETAILの広範な適用性を実験的に証明する。
  論文  参考訳（メタデータ） (2024-05-22T15:52:52Z)
• Unveiling the Generalization Power of Fine-Tuned Large Language Models [81.70754292058258]
  大規模言語モデル(LLM)に固有の内在的一般化能力に微調整が及ぼす影響について検討する。 本研究の主目的は、生成タスクと分類タスクを微調整したモデルが、異なる領域やタスクに一般化する際に異なる振る舞いを示すことである。 生成タスクの微調整中にコンテキスト内学習戦略を統合することで、モデルの一般化能力を高めることができる。
  論文  参考訳（メタデータ） (2024-03-14T08:18:59Z)
• Transformer-based Causal Language Models Perform Clustering [20.430255724239448]
  簡単な指示追従タスクを導入し、合成データセットを用いてトランスフォーマーに基づく因果言語モデルを分析する。 本研究は,本モデルが隠れ空間内のデータをクラスタリングすることで,タスク固有の情報を学習し,学習中にこのクラスタリングプロセスが動的に進化することを示唆している。
  論文  参考訳（メタデータ） (2024-02-19T14:02:31Z)
• On Task Performance and Model Calibration with Supervised and Self-Ensembled In-Context Learning [71.44986275228747]
  In-context Learning (ICL) は、近年の大規模言語モデル(LLM)の進歩により、効率的なアプローチとなっている。 しかし、両方のパラダイムは、過信の批判的な問題(すなわち、誤校正)に苦しむ傾向にある。
  論文  参考訳（メタデータ） (2023-12-21T11:55:10Z)
• Active Instruction Tuning: Improving Cross-Task Generalization by Training on Prompt Sensitive Tasks [101.40633115037983]
  インストラクションチューニング(IT)は,大規模言語モデル(LLM)を命令付き多種多様なタスクで訓練することにより,印象的なゼロショット一般化を実現する。 ITモデルの性能と一般化性を改善するために、新しいタスクをどのように選択するかは、未解決の問題である。 本稿では,情報的タスクを識別する新しいフレームワークである即時不確実性に基づくアクティブな指導チューニングを提案し,選択したタスク上でモデルをアクティブにチューニングする。
  論文  参考訳（メタデータ） (2023-11-01T04:40:05Z)
• FoCL: Feature-Oriented Continual Learning for Generative Models [9.732863584750179]
  逐次到着タスクにおける分布変化へのFoCLの適応が速いことを示す。 また、モデルが忘れることに苦しむ程度を正確に評価する忘れやすさ尺度も導入する。
  論文  参考訳（メタデータ） (2020-03-09T00:38:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。