論文の概要: Position Engineering: Boosting Large Language Models through Positional Information Manipulation

• arxiv url: http://arxiv.org/abs/2404.11216v2
• Date: Tue, 22 Oct 2024 05:45:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:26:39.264596
• Title: Position Engineering: Boosting Large Language Models through Positional Information Manipulation
• Title（参考訳）: 位置工学:位置情報操作による大規模言語モデルの構築
• Authors: Zhiyuan He, Huiqiang Jiang, Zilong Wang, Yuqing Yang, Luna Qiu, Lili Qiu,
• Abstract要約: 位置工学と呼ばれる新しい手法を導入し,大規模言語モデルをより効率的にガイドする方法を提案する。 LLMに提供されるテキストを変更するのにかなりの労力を要するプロンプトエンジニアリングとは異なり、位置エンジニアリングは単にテキスト自体を変更することなくプロンプト内の位置情報を変更するだけである。
• 参考スコア（独自算出の注目度）: 11.289417429037563
• License:
• Abstract: The performance of large language models (LLMs) is significantly influenced by the quality of the prompts provided. In response, researchers have developed enormous prompt engineering strategies aimed at modifying the prompt text to enhance task performance. In this paper, we introduce a novel technique termed position engineering, which offers a more efficient way to guide large language models. Unlike prompt engineering, which requires substantial effort to modify the text provided to LLMs, position engineering merely involves altering the positional information in the prompt without modifying the text itself. We have evaluated position engineering in two widely-used LLM scenarios: retrieval-augmented generation (RAG) and in-context learning (ICL). Our findings show that position engineering substantially improves upon the baseline in both cases. Position engineering thus represents a promising new strategy for exploiting the capabilities of large language models.
• Abstract（参考訳）: 大規模言語モデル(LLM)の性能は、提供されたプロンプトの品質に大きく影響される。 これに対し、研究者らは、タスクパフォーマンスを向上させるために、プロンプトテキストを変更することを目的とした、膨大なプロンプトエンジニアリング戦略を開発した。 本稿では,大規模言語モデルをより効率的にガイドする方法として,位置工学と呼ばれる新しい手法を提案する。 LLMに提供されるテキストを変更するのにかなりの労力を要するプロンプトエンジニアリングとは異なり、位置エンジニアリングは単にテキスト自体を変更することなくプロンプト内の位置情報を変更するだけである。 我々は、検索強化生成(RAG)とテキスト内学習(ICL)の2つの広く使われているLCMシナリオにおいて、位置エンジニアリングを評価した。 以上の結果から,両症例とも位置工学がベースラインを大幅に改善することが明らかとなった。 位置エンジニアリングは、大きな言語モデルの能力を活用するための有望な新しい戦略である。

関連論文リスト

• Do Advanced Language Models Eliminate the Need for Prompt Engineering in Software Engineering? [18.726229967976316]
  本稿では,高度大言語モデル (LLM) の文脈における様々な迅速な工学的手法を再評価する。 以上の結果から, 先進モデルに適用した場合, 先進モデルに適用した場合, 早期のLLM開発技術により, メリットが低下したり, 性能が低下する可能性が示唆された。
  論文  参考訳（メタデータ） (2024-11-04T13:56:37Z)
• A Survey of Small Language Models [104.80308007044634]
  小言語モデル (SLM) は, 計算資源の最小化による言語タスクの効率化と性能の向上により, ますます重要になってきている。 本稿では,SLMのアーキテクチャ,トレーニング技術,モデル圧縮技術に着目した総合的な調査を行う。
  論文  参考訳（メタデータ） (2024-10-25T23:52:28Z)
• SpeechPrompt: Prompting Speech Language Models for Speech Processing Tasks [94.10497337235083]
  我々はまず,音声処理分野における音声 LM の促進の可能性を探る。 音声処理タスクを音声単位生成タスクに再構成する。 提案手法は, 強い微調整法と比較して, 競争性能を向上できることを示す。
  論文  参考訳（メタデータ） (2024-08-23T13:00:10Z)
• APEER: Automatic Prompt Engineering Enhances Large Language Model Reranking [39.649879274238856]
  APEERという新しい自動プロンプトエンジニアリングアルゴリズムを導入する。 APEERはフィードバックと好みの最適化を通じて改良されたプロンプトを反復的に生成する。 実験では、既存の最先端(SoTA)マニュアルプロンプトよりもAPEERの性能が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2024-06-20T16:11:45Z)
• Efficient Prompting Methods for Large Language Models: A Survey [50.171011917404485]
  プロンプティングは、特定の自然言語処理タスクに大規模言語モデル(LLM)を適用するための主流パラダイムとなっている。 このアプローチは、LLMの振る舞いをガイドし、制御するために、モデル推論と人間の努力のさらなる計算負担をもたらす。 本稿では, 今後の研究の方向性を明らかにするため, 促進, 効率的な促進のための進歩を概説する。
  論文  参考訳（メタデータ） (2024-04-01T12:19:08Z)
• Generative Software Engineering [23.584814591463406]
  本稿では,事前学習モデルと大規模言語モデル(LLM)を用いたソフトウェア工学における生成タスクの文献レビューを行う。 LLMには強力な言語表現と文脈認識能力があり、多様なトレーニングデータを活用し、生成タスクに適応することができる。 我々は、既存のアプローチにおける重要な強み、弱点、ギャップを特定し、潜在的研究の方向性を提案する。
  論文  参考訳（メタデータ） (2024-03-05T01:37:37Z)
• Instruction Tuning for Large Language Models: A Survey [52.86322823501338]
  我々は、ITの一般的な方法論、ITデータセットの構築、ITモデルのトレーニング、異なるモダリティ、ドメイン、アプリケーションへのアプリケーションを含む、文献を体系的にレビューする。 また、ITの潜在的な落とし穴とそれに対する批判、および既存の戦略の現在の欠陥を指摘し、実りある研究の道筋を提案する。
  論文  参考訳（メタデータ） (2023-08-21T15:35:16Z)
• Revisiting Prompt Engineering via Declarative Crowdsourcing [16.624577543520093]
  大規模言語モデル(LLM)は、テキスト形式でデータを解釈し、生成するのに驚くほど強力ですが、脆弱でエラーを起こします。 私たちは宣言的な急進的なエンジニアリングのビジョンを打ち出した。 ソート、実体分解、計算に関する予備的ケーススタディは、我々のアプローチの可能性を実証している。
  論文  参考訳（メタデータ） (2023-08-07T18:04:12Z)
• Deliberate then Generate: Enhanced Prompting Framework for Text Generation [70.10319005141888]
  Deliberate then Generate (DTG) プロンプトフレームワークはエラー検出命令とエラーを含む可能性のある候補で構成されている。 我々は、要約、翻訳、対話など、7つのテキスト生成タスクにまたがる20以上のデータセットに関する広範な実験を行う。 本稿では,DTGが既存のプロンプト手法を一貫して上回り,複数のテキスト生成タスクにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2023-05-31T13:23:04Z)
• Large Language Models in the Workplace: A Case Study on Prompt Engineering for Job Type Classification [58.720142291102135]
  本研究では,実環境における職種分類の課題について検討する。 目標は、英語の求職が卒業生やエントリーレベルの地位に適切かどうかを判断することである。
  論文  参考訳（メタデータ） (2023-03-13T14:09:53Z)
• Deep Transfer Learning & Beyond: Transformer Language Models in Information Systems Research [0.913755431537592]
  トランスフォーマー言語モデル(TLM)を含む自然言語処理の最近の進歩は、AI駆動型ビジネスと社会変革の潜在的な道を提供する。 本稿は、IS研究がこれらの新技術にどのような恩恵をもたらすかを概観する上で、最近の研究動向と、上位IS誌のテキストマイニングを活用した最近の文献を概観する。
  論文  参考訳（メタデータ） (2021-10-18T02:01:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。