論文の概要: Green Prompting

• arxiv url: http://arxiv.org/abs/2503.10666v1
• Date: Sun, 09 Mar 2025 19:49:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-23 06:38:29.983054
• Title: Green Prompting
• Title（参考訳）: グリーンプロンプティング
• Authors: Marta Adamska, Daria Smirnova, Hamid Nasiri, Zhengxin Yu, Peter Garraghan,
• Abstract要約: 大規模言語モデル (LLM) は、検索エンジン、コード生成、テキスト生成にまたがる様々な領域で広く使われている。 本研究は, LLM推定エネルギーコストに直接影響する刺激特性と応答特性の相違について実験的に検討した。
• 参考スコア（独自算出の注目度）: 2.377736044164336
• License:
• Abstract: Large Language Models (LLMs) have become widely used across various domains spanning search engines, code generation, and text creation. However, a major concern associated with their adoption is the high cost of inference, impacting both their sustainability and financial feasibility. In this study, we empirically study how different prompt and response characteristics directly impact LLM inference energy cost. We conduct experiments leveraging three open-source transformer-based LLMs across three task types$-$question answering, sentiment analysis, and text generation. For each inference, we analyzed prompt and response characteristics (length, semantic meaning, time taken, energy consumption). Our results demonstrate that even when presented with identical tasks, models generate responses with varying characteristics and subsequently exhibit distinct energy consumption patterns. We found that prompt length is less significant than the semantic meaning of the task itself. In addition, we identified specific keywords associated with higher or lower energy usage that vary between associated tasks. These findings highlight the importance of prompt design in optimizing inference efficiency. We conclude that the semantic meaning of prompts and certain task-related keywords significantly impact inference costs, leading the way for deeper exploration towards creating energy-adaptive LLMs.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、検索エンジン、コード生成、テキスト生成にまたがる様々な領域で広く使われている。 しかし、彼らの採用に伴う大きな懸念は、高い推論コストであり、その持続可能性と財政的実現可能性の両方に影響を与える。 本研究は,LLM推定エネルギーコストに直接影響を及ぼすプロンプト特性と応答特性の相違について実験的に検討する。 我々は,オープンソースのトランスフォーマーベースのLLMを3種類のタスクタイプ$$$questionの回答,感情分析,テキスト生成に活用する実験を行った。 各推論では,プロンプトと応答特性(長さ,意味的意味,時間,エネルギー消費)を解析した。 その結果、同一タスクを提示しても、モデルが様々な特性を持つ応答を生成し、その後、異なるエネルギー消費パターンを示すことを示した。 その結果,課題自体の意味的意味よりも,プロンプトの長さが重要でないことがわかった。 さらに,タスクによって異なる高次あるいは低次エネルギー使用量に関連する特定のキーワードを同定した。 これらの知見は,推論効率を最適化する上で,迅速な設計の重要性を浮き彫りにした。 提案手法では,プロンプトの意味や特定のタスク関連キーワードが推論コストに大きく影響し,エネルギー適応型LLMの創出への深い道のりを導いた。

関連論文リスト

• Benchmarking Prompt Sensitivity in Large Language Models [13.986971540998258]
  大規模言語モデル(LLM)は、迅速な定式化のバリエーションに非常に敏感である。 本稿では,LLMの性能に及ぼす短時間の即時変動の影響を調べるために,新しいタスクであるPrompt Sensitivity Predictionとデータセットを提案する。
  論文  参考訳（メタデータ） (2025-02-09T23:01:03Z)
• Towards Sustainable NLP: Insights from Benchmarking Inference Energy in Large Language Models [20.730898779471556]
  大きな言語モデル(LLM)は、その例外的な生成能力と汎用性によって、ますます認識されている。 本研究では,幅広いNLPタスクを対象としたLLM推論エネルギーの総合的なベンチマークを行う。 量子化と最適なバッチサイズは、目的のプロンプトフレーズとともに、エネルギー使用量を大幅に削減できることがわかった。
  論文  参考訳（メタデータ） (2025-02-08T15:34:52Z)
• Massive Values in Self-Attention Modules are the Key to Contextual Knowledge Understanding [58.364933651703524]
  注目クエリの特定の領域において、集中した巨大な値が一貫して現れることを示す。 これらの膨大な価値は文脈知識の解釈において重要な役割を担っている。 大量の値の出現を辿り、そのような濃度は回転位置によって引き起こされる。
  論文  参考訳（メタデータ） (2025-02-03T17:47:03Z)
• Investigating Energy Efficiency and Performance Trade-offs in LLM Inference Across Tasks and DVFS Settings [1.5749416770494706]
  大規模言語モデル(LLM)は多くの自然言語処理(NLP)タスクにおいて大幅に改善されている。 LLMはリソース集約型であり、トレーニングと推論の両方に広範な計算資源を必要とする。 導入が加速するにつれて、LLMの持続性は重要な問題となっている。
  論文  参考訳（メタデータ） (2025-01-14T16:02:33Z)
• Exploring Knowledge Boundaries in Large Language Models for Retrieval Judgment [56.87031484108484]
  大規模言語モデル(LLM)は、その実践的応用でますます認識されている。 Retrieval-Augmented Generation (RAG)はこの課題に取り組み、LLMに大きな影響を与えている。 中立あるいは有害な結果をもたらす検索要求を最小化することにより、時間と計算コストの両方を効果的に削減できる。
  論文  参考訳（メタデータ） (2024-11-09T15:12:28Z)
• Image First or Text First? Optimising the Sequencing of Modalities in Large Language Model Prompting and Reasoning Tasks [0.0]
  本稿では,マルチモーダル内における画像とテキストのシークエンシングが,大規模言語モデル(LLM)の推論性能にどのように影響するかを検討する。 単一の画像を含む単純なタスクに対して、モダリティシークエンシングは精度に明確な影響を及ぼした。 複数の画像と複雑な推論ステップを含むより複雑なタスクでは、シークエンシングの効果が減少し、おそらくタスクの認知的要求が増大したためである。
  論文  参考訳（メタデータ） (2024-10-04T00:55:15Z)
• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• Iterative Utility Judgment Framework via LLMs Inspired by Relevance in Philosophy [66.95501113584541]
  ユーティリティとトピック関連性は、情報検索において重要な手段である。 本稿では,リトリーバル拡張生成のサイクルの各ステップを促進させるために,反復的ユーティリティである JudgmEnt fraMework を提案する。
  論文  参考訳（メタデータ） (2024-06-17T07:52:42Z)
• Word Importance Explains How Prompts Affect Language Model Outputs [0.7223681457195862]
  本研究では,個々の単語をインプロンプトで変化させることにより,大規模言語モデルの説明可能性を向上させる手法を提案する。 古典的注目とは違って、単語の重要度は、任意に定義されたテキストスコアに対する急進的な単語の影響を測定する。 その結果,単語の重要度スコアは,複数のスコア機能において期待される接尾辞の重要度と密接に関連していることがわかった。
  論文  参考訳（メタデータ） (2024-03-05T15:04:18Z)
• INTERS: Unlocking the Power of Large Language Models in Search with Instruction Tuning [59.07490387145391]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて印象的な機能を示している。 情報検索(IR)タスクへのそれらの適用は、自然言語における多くのIR固有の概念の頻繁な発生のため、いまだに困難である。 我々は,3つの基本IRカテゴリにまたがる20のタスクを含む新しいインストラクションチューニングデータセット InterS を導入する。
  論文  参考訳（メタデータ） (2024-01-12T12:10:28Z)
• Task Formulation Matters When Learning Continually: A Case Study in Visual Question Answering [58.82325933356066]
  継続的な学習は、以前の知識を忘れずに、一連のタスクでモデルを漸進的にトレーニングすることを目的としている。 本稿では,視覚的質問応答において,異なる設定がパフォーマンスに与える影響について詳細に検討する。
  論文  参考訳（メタデータ） (2022-09-30T19:12:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。