論文の概要: Position Engineering: Boosting Large Language Models through Positional Information Manipulation
- arxiv url: http://arxiv.org/abs/2404.11216v1
- Date: Wed, 17 Apr 2024 10:00:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-18 14:35:31.420148
- Title: Position Engineering: Boosting Large Language Models through Positional Information Manipulation
- Title(参考訳): 位置工学:位置情報操作による大規模言語モデルの構築
- Authors: Zhiyuan He, Huiqiang Jiang, Zilong Wang, Yuqing Yang, Luna Qiu, Lili Qiu,
- Abstract要約: 位置工学と呼ばれる新しい手法を導入し,大規模言語モデルをより効率的にガイドする方法を提案する。
LLMに提供されるテキストを変更するのにかなりの労力を要するプロンプトエンジニアリングとは異なり、位置エンジニアリングは単にテキスト自体を変更することなくプロンプト内の位置情報を変更するだけである。
- 参考スコア(独自算出の注目度): 11.289417429037563
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The performance of large language models (LLMs) is significantly influenced by the quality of the prompts provided. In response, researchers have developed enormous prompt engineering strategies aimed at modifying the prompt text to enhance task performance. In this paper, we introduce a novel technique termed position engineering, which offers a more efficient way to guide large language models. Unlike prompt engineering, which requires substantial effort to modify the text provided to LLMs, position engineering merely involves altering the positional information in the prompt without modifying the text itself. We have evaluated position engineering in two widely-used LLM scenarios: retrieval-augmented generation (RAG) and in-context learning (ICL). Our findings show that position engineering substantially improves upon the baseline in both cases. Position engineering thus represents a promising new strategy for exploiting the capabilities of large language models.
- Abstract(参考訳): 大規模言語モデル(LLM)の性能は、提供されたプロンプトの品質に大きく影響される。
これに対し、研究者らは、タスクパフォーマンスを向上させるために、プロンプトテキストを変更することを目的とした、膨大なプロンプトエンジニアリング戦略を開発した。
本稿では,大規模言語モデルをより効率的にガイドする方法として,位置工学と呼ばれる新しい手法を提案する。
LLMに提供されるテキストを変更するのにかなりの労力を要するプロンプトエンジニアリングとは異なり、位置エンジニアリングは単にテキスト自体を変更することなくプロンプト内の位置情報を変更するだけである。
我々は、検索強化生成(RAG)とテキスト内学習(ICL)の2つの広く使われているLCMシナリオにおいて、位置エンジニアリングを評価した。
以上の結果から,両症例とも位置工学がベースラインを大幅に改善することが明らかとなった。
位置エンジニアリングは、大きな言語モデルの能力を活用するための有望な新しい戦略である。
関連論文リスト
- Efficient Prompting Methods for Large Language Models: A Survey [50.171011917404485]
プロンプティングは、特定の自然言語処理タスクに大規模言語モデル(LLM)を適用するための主流パラダイムとなっている。
このアプローチは、LLMの振る舞いをガイドし、制御するために、モデル推論と人間の努力のさらなる計算負担をもたらす。
本稿では, 今後の研究の方向性を明らかにするため, 促進, 効率的な促進のための進歩を概説する。
論文 参考訳(メタデータ) (2024-04-01T12:19:08Z) - Generative Software Engineering [23.584814591463406]
本稿では,事前学習モデルと大規模言語モデル(LLM)を用いたソフトウェア工学における生成タスクの文献レビューを行う。
LLMには強力な言語表現と文脈認識能力があり、多様なトレーニングデータを活用し、生成タスクに適応することができる。
我々は、既存のアプローチにおける重要な強み、弱点、ギャップを特定し、潜在的研究の方向性を提案する。
論文 参考訳(メタデータ) (2024-03-05T01:37:37Z) - Machine Translation with Large Language Models: Prompt Engineering for
Persian, English, and Russian Directions [0.0]
生成型大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて、例外的な習熟性を示している。
我々は,ペルシャ語,英語,ロシア語の言語間組み合わせに着目した2つの普及促進手法とその組み合わせについて調査を行った。
論文 参考訳(メタデータ) (2024-01-16T15:16:34Z) - Unleashing the potential of prompt engineering in Large Language Models:
a comprehensive review [1.7486006087564807]
大規模言語モデル(LLM)の能力を解き放つ上で,迅速なエンジニアリングが果たす重要な役割について論じる。
この調査は、ロールプロンプト、ワンショット、少数ショットプロンプトといった、プロンプトエンジニアリングの基本原則を解明する。
本稿では,異なる視点からプロンプト手法の有効性を評価し,異なる手法を用いて評価する方法について議論する。
論文 参考訳(メタデータ) (2023-10-23T09:15:18Z) - Instruction Tuning for Large Language Models: A Survey [52.86322823501338]
我々は、ITの一般的な方法論、ITデータセットの構築、ITモデルのトレーニング、異なるモダリティ、ドメイン、アプリケーションへのアプリケーションを含む、文献を体系的にレビューする。
また、ITの潜在的な落とし穴とそれに対する批判、および既存の戦略の現在の欠陥を指摘し、実りある研究の道筋を提案する。
論文 参考訳(メタデータ) (2023-08-21T15:35:16Z) - Revisiting Prompt Engineering via Declarative Crowdsourcing [16.624577543520093]
大規模言語モデル(LLM)は、テキスト形式でデータを解釈し、生成するのに驚くほど強力ですが、脆弱でエラーを起こします。
私たちは宣言的な急進的なエンジニアリングのビジョンを打ち出した。
ソート、実体分解、計算に関する予備的ケーススタディは、我々のアプローチの可能性を実証している。
論文 参考訳(メタデータ) (2023-08-07T18:04:12Z) - Exploring Large Language Model for Graph Data Understanding in Online
Job Recommendations [63.19448893196642]
本稿では,大規模言語モデルが提供するリッチな文脈情報と意味表現を利用して行動グラフを解析する新しいフレームワークを提案する。
この機能を利用することで、個々のユーザに対してパーソナライズされた、正確なジョブレコメンデーションが可能になる。
論文 参考訳(メタデータ) (2023-07-10T11:29:41Z) - Deliberate then Generate: Enhanced Prompting Framework for Text
Generation [70.10319005141888]
Deliberate then Generate (DTG) プロンプトフレームワークはエラー検出命令とエラーを含む可能性のある候補で構成されている。
我々は、要約、翻訳、対話など、7つのテキスト生成タスクにまたがる20以上のデータセットに関する広範な実験を行う。
本稿では,DTGが既存のプロンプト手法を一貫して上回り,複数のテキスト生成タスクにおける最先端性能を実現することを示す。
論文 参考訳(メタデータ) (2023-05-31T13:23:04Z) - A Survey of Large Language Models [81.06947636926638]
言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。
近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。
パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
論文 参考訳(メタデータ) (2023-03-31T17:28:46Z) - Large Language Models in the Workplace: A Case Study on Prompt
Engineering for Job Type Classification [58.720142291102135]
本研究では,実環境における職種分類の課題について検討する。
目標は、英語の求職が卒業生やエントリーレベルの地位に適切かどうかを判断することである。
論文 参考訳(メタデータ) (2023-03-13T14:09:53Z) - Deep Transfer Learning & Beyond: Transformer Language Models in
Information Systems Research [0.913755431537592]
トランスフォーマー言語モデル(TLM)を含む自然言語処理の最近の進歩は、AI駆動型ビジネスと社会変革の潜在的な道を提供する。
本稿は、IS研究がこれらの新技術にどのような恩恵をもたらすかを概観する上で、最近の研究動向と、上位IS誌のテキストマイニングを活用した最近の文献を概観する。
論文 参考訳(メタデータ) (2021-10-18T02:01:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。