論文の概要: Towards the Holographic Characteristic of LLMs for Efficient Short-text Generation

• arxiv url: http://arxiv.org/abs/2601.22546v1
• Date: Fri, 30 Jan 2026 04:36:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 18:28:15.223161
• Title: Towards the Holographic Characteristic of LLMs for Efficient Short-text Generation
• Title（参考訳）: 効率的な短文生成のためのLCMのホログラフィー特性に向けて
• Authors: Shun Qian, Bingquan Liu, Chengjie Sun, Zhen Xu, Baoxun Wang,
• Abstract要約: 本稿では,Large Language Models (LLM) による生成特性の探索を目的とする。 我々は,言語モデルが生成プロセスの開始時にターゲット側のキーワードをキャプチャする傾向があることを発見した。 この特徴を探求し、言語モデルの推論効率をさらに向上するために、HOLOと呼ばれるプラグインを提案する。
• 参考スコア（独自算出の注目度）: 13.328451260955644
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The recent advancements in Large Language Models (LLMs) have attracted interest in exploring their in-context learning abilities and chain-of-thought capabilities. However, there are few studies investigating the specific traits related to the powerful generation capacity of LLMs. This paper aims to delve into the generation characteristics exhibited by LLMs. Through our investigation, we have discovered that language models tend to capture target-side keywords at the beginning of the generation process. We name this phenomenon the Holographic Characteristic of language models. For the purpose of exploring this characteristic and further improving the inference efficiency of language models, we propose a plugin called HOLO, which leverages the Holographic Characteristic to extract target-side keywords from language models within a limited number of generation steps and complements the sentence with a parallel lexically constrained text generation method. To verify the effectiveness of HOLO, we conduct massive experiments on language models of varying architectures and scales in the short-text generation scenario. The results demonstrate that HOLO achieves comparable performance to the baselines in terms of both automatic and human-like evaluation metrics and highlight the potential of the Holographic Characteristic.
• Abstract（参考訳）: 近年のLarge Language Models(LLM)の進歩は、コンテキスト内学習能力とチェーンオブ思考能力の探求に関心を惹きつけている。 しかし、LLMの強力な生成能力に関連する特定の特性について研究する研究はほとんどない。 本稿は,LLMが示す生成特性を掘り下げることを目的としている。 調査の結果,言語モデルは生成プロセスの開始時にターゲット側のキーワードをキャプチャする傾向にあることがわかった。 この現象を言語モデルのホログラフィック特性と呼ぶ。 この特徴を探索し,さらに言語モデルの推論効率を向上させるために,ホログラフィック特性を利用して言語モデルからターゲット側キーワードを抽出し,並列語彙制約付きテキスト生成法で補完するHOLOというプラグインを提案する。 HOLOの有効性を検証するため,短文生成シナリオにおける様々なアーキテクチャやスケールの言語モデルに関する大規模な実験を行った。 その結果,HOLOは自動評価指標と人的評価指標の両方でベースラインに匹敵する性能を示し,ホログラフィック特性の可能性を強調した。

関連論文リスト

• Can LLM-Generated Textual Explanations Enhance Model Classification Performance? An Empirical Study [11.117380681219295]
  高品質なテキスト記述を自動生成するフレームワークを提案する。 自然言語生成(NLG)メトリクスの包括的スイートを用いて,これらの説明の質を厳格に評価する。 本実験により,自動説明は人手による説明に比べて高い競争力を示すことが示された。
  論文  参考訳（メタデータ） (2025-08-13T12:59:08Z)
• Applications of Large Language Model Reasoning in Feature Generation [0.0]
  大規模言語モデル(LLM)は、その技術推論能力を通じて自然言語処理に革命をもたらした。 本稿では,LLM推論手法の収束と,機械学習タスクの機能生成について考察する。 本論文は、金融、医療、テキスト分析など、さまざまな分野にまたがるLLMベースの特徴生成手法を分類する。
  論文  参考訳（メタデータ） (2025-03-15T04:18:01Z)
• Small Language Models Also Work With Small Vocabularies: Probing the Linguistic Abilities of Grapheme- and Phoneme-Based Baby Llamas [7.585433383340306]
  トークン化のない,音素および音素に基づく言語モデルにより,強力な言語性能が得られることを示す。 以上の結果から,より言語学的に妥当な言語モデルを作成する上で,有望な方向性が示唆された。
  論文  参考訳（メタデータ） (2024-10-02T12:36:08Z)
• L2CEval: Evaluating Language-to-Code Generation Capabilities of Large Language Models [102.00201523306986]
  大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。 モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。 モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
  論文  参考訳（メタデータ） (2023-09-29T17:57:00Z)
• From Text to Source: Results in Detecting Large Language Model-Generated Content [17.306542392779445]
  大きな言語モデル(LLM)は、人間に似たテキストを生成する能力によって祝われる。 本稿では,LLM生成テキストと人文テキストを区別するために訓練された分類器が,それ以上の訓練を行なわずに目標LLMからテキストを検出することができるかどうかを評価することで,Cross-Model Detectionについて検討する。 この研究では、量化と透かし検出に加えて、ソースモデル識別、モデルファミリー、モデルサイズ分類を含むモデル属性についても検討している。
  論文  参考訳（メタデータ） (2023-09-23T09:51:37Z)
• A Survey of Large Language Models [81.06947636926638]
  言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。 近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。 パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
  論文  参考訳（メタデータ） (2023-03-31T17:28:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。