論文の概要: Mitigating the Problem of Strong Priors in LMs with Context Extrapolation

• arxiv url: http://arxiv.org/abs/2401.17692v1
• Date: Wed, 31 Jan 2024 09:28:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-01 15:18:17.643218
• Title: Mitigating the Problem of Strong Priors in LMs with Context Extrapolation
• Title（参考訳）: 文脈外挿によるlmsにおける強先行問題の緩和
• Authors: Raymond Douglas, Andis Draguns, Tom\'a\v{s} Gaven\v{c}iak
• Abstract要約: 我々は,強い先行性の問題を軽減するための新しい手法を開発した。 我々は、元の命令セットを取り、元のプロンプトの弱化バージョンを生成し、継続を弱化プロンプトから外挿する。 これにより、モデルがどのように仮説的に強化された命令セットを継続するかを推測できる。
• 参考スコア（独自算出の注目度）: 0.6629765271909505
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models (LMs) have become important tools in a variety of applications, from data processing to the creation of instruction-following assistants. But despite their advantages, LMs have certain idiosyncratic limitations such as the problem of `strong priors', where a model learns to output typical continuations in response to certain, usually local, portions of the input regardless of any earlier instructions. For example, prompt injection attacks can induce models to ignore explicit directives. In some cases, larger models have been shown to be more susceptible to these problems than similar smaller models, an example of the phenomenon of `inverse scaling'. We develop a new technique for mitigating the problem of strong priors: we take the original set of instructions, produce a weakened version of the original prompt that is even more susceptible to the strong priors problem, and then extrapolate the continuation away from the weakened prompt. This lets us infer how the model would continue a hypothetical strengthened set of instructions. Our technique conceptualises LMs as mixture models which combine a family of data generation processes, reinforcing the desired elements of the mixture. Our approach works at inference time, removing any need for retraining. We apply it to eleven models including GPT-2, GPT-3, Llama 2, and Mistral on four tasks, and find improvements in 41/44. Across all 44 combinations the median increase in proportion of tasks completed is 40%.
• Abstract（参考訳）: 言語モデル(LM)は、データ処理から命令追従アシスタントの作成に至るまで、様々なアプリケーションにおいて重要なツールとなっている。 しかし、その利点にもかかわらず、lms は 'strong priors' という問題のような特殊な制約を持ち、モデルが以前の命令に関係なく入力の特定の局所的な部分に応じて典型的な継続を出力することを学習する。 例えば、プロンプトインジェクション攻撃は、明示的なディレクティブを無視するモデルを引き起こす可能性がある。 場合によっては、「逆スケーリング」という現象の例のように、より大きなモデルは同様のより小さなモデルよりもこれらの問題により影響を受けやすいことが示されている。 我々は、強優先問題の問題を緩和するための新しい手法を開発した:我々は、元の命令セットを取り、強優先問題にさらに影響を受けやすい元のプロンプトの弱化バージョンを生成し、その後、弱化したプロンプトから継続を外挿する。 これにより、モデルがどのように仮説的に強化された命令セットを継続するかを推測できる。 本手法は,データ生成プロセスのファミリを組み合わせた混合モデルとしてLMを概念化し,混合の望ましい要素を補強する。 私たちのアプローチは推論時に動作し、再トレーニングの必要性をなくします。 GPT-2, GPT-3, Llama 2, Mistralを含む11種類のモデルに適用し, 41/44。 44の組合せ全体を通して、完了したタスクの割合の中央値は40%である。

関連論文リスト

• Predictor-Corrector Enhanced Transformers with Exponential Moving Average Coefficient Learning [73.73967342609603]
  トラクションエラーを最小限に抑えるための予測-相関学習フレームワークを提案する。 また、高次予測器を強化するために、指数関数的移動平均ベース係数学習法を提案する。 我々のモデルは3.8BのDeepNetを平均2.9のSacreBLEUで上回り、1/3のパラメータしか使用していない。
  論文  参考訳（メタデータ） (2024-11-05T12:26:25Z)
• PIVOT-R: Primitive-Driven Waypoint-Aware World Model for Robotic Manipulation [68.17081518640934]
  ロボット操作のためのPrIrmitive-driVen waypOinT-aware world model(PIVOT-R)を提案する。 PIVOT-RはWAWM(Waypoint-aware World Model)と軽量アクション予測モジュールで構成される。 私たちのPIVOT-RはSeaWaveベンチマークで最先端のオープンソースモデルより優れており、4段階の命令タスクで平均19.45%の相対的な改善を実現しています。
  論文  参考訳（メタデータ） (2024-10-14T11:30:18Z)
• MAP: Low-compute Model Merging with Amortized Pareto Fronts via Quadratic Approximation [80.47072100963017]
  Amortized Pareto Front (MAP) を用いた新しい低演算アルゴリズム Model Merging を導入する。 MAPは、複数のモデルをマージするためのスケーリング係数のセットを効率的に識別し、関連するトレードオフを反映する。 また,タスク数が比較的少ないシナリオではベイジアンMAP,タスク数の多い状況ではNested MAPを導入し,計算コストを削減した。
  論文  参考訳（メタデータ） (2024-06-11T17:55:25Z)
• Enhancing the General Agent Capabilities of Low-Parameter LLMs through Tuning and Multi-Branch Reasoning [56.82041895921434]
  オープンソースの事前訓練された大規模言語モデル(LLM)は、強力な言語理解と生成能力を示す。 現実世界の複雑な問題に対処するエージェントとして使用される場合、ChatGPTやGPT-4のような大型の商用モデルに比べてパフォーマンスははるかに劣る。
  論文  参考訳（メタデータ） (2024-03-29T03:48:12Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)
• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)
• ReWOO: Decoupling Reasoning from Observations for Efficient Augmented Language Models [32.95155349925248]
  本稿では,外部観測から推論プロセスを取り除き,トークン消費量を大幅に削減するモジュラーパラダイムReWOOを提案する。 マルチステップ推論ベンチマークであるHotpotQAにおいて,ReWOOは5倍のトークン効率と4%の精度向上を実現している。 本稿では,175B GPT3.5から7B LLaMAへの推論能力をオフロードし,真に効率的でスケーラブルなALMシステムの可能性を示す。
  論文  参考訳（メタデータ） (2023-05-23T00:16:48Z)
• Mixture of Soft Prompts for Controllable Data Generation [21.84489422361048]
  直接予測ではなく,データ拡張のためのツールとして,ソフトプロンプトの混合(MSP)を提案する。 提案手法は, 強いベースラインと比較した場合の3つのベンチマークに対して, 最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-03-02T21:13:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。