論文の概要: Look Ahead Text Understanding and LLM Stitching

• arxiv url: http://arxiv.org/abs/2412.17836v1
• Date: Mon, 16 Dec 2024 03:32:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-29 07:32:26.187454
• Title: Look Ahead Text Understanding and LLM Stitching
• Title（参考訳）: テキスト理解とLCMスティッチ
• Authors: Junlin Julian Jiang, Xin Li,
• Abstract要約: 本稿では,先進部識別(LASI)を例として,先進部識別(LASI)を用いたテキスト理解問題を提案する。 変換器をベースとしたLLMを用いてこの問題に対処する。 我々は、双方向コンテキスト情報(BERTなど)と一方向予測能力(GPTなど)の両方が、このタスクの恩恵をもたらすと論じている。
• 参考スコア（独自算出の注目度）: 4.431087385310259
• License:
• Abstract: This paper proposes a look ahead text understanding problem with look ahead section identification (LASI) as an example. This problem may appear in generative AI as well as human interactions, where we want to understand the direction of a developing text or conversation. We tackle the problem using transformer-based LLMs. We show that LASI is more challenging than classic section identification (SI). We argue that both bidirectional contextual information (e.g., BERT) and unidirectional predictive ability (e.g., GPT) will benefit the task. We propose two approaches to stitch together BERT and GPT. Experiments show that our approach outperforms the established models, especially when there is noise in the text (which is often the case for developing text in generative AI). Our paper sheds light on other look ahead text understanding tasks that are important to social media, such as look ahead sentiment classification, and points out the opportunities to leverage pre-trained LLMs through stitching.
• Abstract（参考訳）: 本稿では,先進部識別(LASI)を例として,先進部識別(LASI)を用いたテキスト理解問題を提案する。 この問題は、進化するテキストや会話の方向を理解したいという人間のインタラクションと同様に、生成的AIにも現れます。 変換器をベースとしたLLMを用いてこの問題に対処する。 従来のセクション識別(SI)よりもLASIの方が難易度が高いことを示す。 我々は、双方向の文脈情報(例えばBERT)と一方向予測能力(例えばGPT)の両方が、このタスクに有効であると主張している。 BERTとGPTを縫合する2つの方法を提案する。 実験の結果,提案手法は確立されたモデル,特にテキストにノイズがある場合(生成AIでテキストを開発する場合が多い)に優れていた。 本稿は、ソーシャルメディアにとって重要なテキスト理解タスク、例えば、前向きの感情分類などの課題に光を当て、縫合による事前学習 LLM の活用の機会を指摘する。

関連論文リスト

• Leveraging Explainable AI for LLM Text Attribution: Differentiating Human-Written and Multiple LLMs-Generated Text [1.1137087573421256]
  本研究では,生成型AI大言語モデルを用いて生成されたテキストコンテンツの検出と識別を支援することを目的とする。 我々はランダムフォレスト(RF)やリカレントニューラルネットワーク(RNN)などの機械学習アルゴリズムを利用して、属性の重要な特徴を理解する。 本手法は,1) 人文とAIテキストを区別するバイナリ分類と,2) 人文と5種類のLDMツールで生成するテキストを区別するマルチ分類に分けられる。
  論文  参考訳（メタデータ） (2025-01-06T18:46:53Z)
• Harnessing Large Language Models for Knowledge Graph Question Answering via Adaptive Multi-Aspect Retrieval-Augmentation [81.18701211912779]
  本稿では,KG(Amar)フレームワーク上での適応型マルチアスペクト検索手法を提案する。 この方法は、エンティティ、リレーション、サブグラフを含む知識を検索し、検索した各テキストを即時埋め込みに変換する。 提案手法は2つの共通データセットに対して最先端の性能を達成した。
  論文  参考訳（メタデータ） (2024-12-24T16:38:04Z)
• GigaCheck: Detecting LLM-generated Content [72.27323884094953]
  本稿では,GigaCheckを提案することによって生成したテキスト検出の課題について検討する。 本研究は,LLM生成テキストとLLM生成テキストを区別する手法と,Human-Machine協調テキストにおけるLLM生成間隔を検出する手法について検討する。 具体的には,テキスト内のAI生成間隔をローカライズするために,コンピュータビジョンから適応したDETRのような検出モデルと組み合わせて,微調整の汎用LLMを用いる。
  論文  参考訳（メタデータ） (2024-10-31T08:30:55Z)
• Detecting Machine-Generated Texts: Not Just "AI vs Humans" and Explainability is Complicated [8.77447722226144]
  そこで本研究では,新たな3次テキスト分類手法を導入し,いずれの情報源にも起因する可能性のあるテキストの「未決定」カテゴリを追加する。 この研究は、単に分類から機械が生成したテキストの説明へとパラダイムをシフトさせ、ユーザーに対して明確で理解可能な説明を提供するための検出器の必要性を強調した。
  論文  参考訳（メタデータ） (2024-06-26T11:11:47Z)
• A Text is Worth Several Tokens: Text Embedding from LLMs Secretly Aligns Well with The Key Tokens [20.37803751979975]
  テキストを大きな言語モデルベースの埋め込み器に入力すると、得られたテキストの埋め込みは入力テキストのキートークンと一致させることができる。 この現象は普遍的であり,モデルアーキテクチャ,トレーニング戦略,埋め込み手法の影響を受けないことを示す。
  論文  参考訳（メタデータ） (2024-06-25T08:55:12Z)
• VLLMs Provide Better Context for Emotion Understanding Through Common Sense Reasoning [66.23296689828152]
  我々は、視覚・言語モデルの機能を活用し、文脈内感情分類を強化する。 第1段階では、VLLMが対象者の明らかな感情の自然言語で記述を生成できるように促すことを提案する。 第2段階では、記述を文脈情報として使用し、画像入力とともに、トランスフォーマーベースのアーキテクチャのトレーニングに使用する。
  論文  参考訳（メタデータ） (2024-04-10T15:09:15Z)
• Unsupervised Text Style Transfer via LLMs and Attention Masking with Multi-way Interactions [18.64326057581588]
  非教師付きテキストスタイル転送(UTST)が自然言語処理(NLP)分野における重要な課題として浮上している。 本稿では,命令を調整したパイプライン・フレームワークであるLarge Language Models (LLMs) から注目マスキング・モデルへの知識蒸留,構築された並列例を用いたコンテキスト内学習の4つの方法を提案する。 これらのマルチウェイインタラクションは、スタイルの強さ、コンテンツ保存、テキストの流布といった観点から、ベースラインを改善することを実証的に示しています。
  論文  参考訳（メタデータ） (2024-02-21T09:28:02Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• Concept-Guided Chain-of-Thought Prompting for Pairwise Comparison Scoring of Texts with Large Language Models [3.656114607436271]
  既存のテキストスコアリング手法では、大きなコーパス、短いテキストとの競合、手書きのデータが必要である。 生成的大言語モデル(LLM)を利用したテキストスコアリングフレームワークを開発した。 本稿では、Twitter上の特定の政党への反感を反映したスピーチをよりよく理解するために、このアプローチを適用する。
  論文  参考訳（メタデータ） (2023-10-18T15:34:37Z)
• SeqXGPT: Sentence-Level AI-Generated Text Detection [62.3792779440284]
  大規模言語モデル(LLM)を用いた文書の合成による文レベル検出の課題について紹介する。 次に,文レベルのAIGT検出機能として,ホワイトボックスLEMのログ確率リストを利用した textbfSequence textbfX (Check) textbfGPT を提案する。
  論文  参考訳（メタデータ） (2023-10-13T07:18:53Z)
• Towards AGI in Computer Vision: Lessons Learned from GPT and Large Language Models [98.72986679502871]
  大規模言語モデル(LLM)を利用したチャットシステムが出現し、人工知能(AGI)を実現するための有望な方向へと急速に成長する しかし、コンピュータビジョン(CV)におけるAGIへの道のりは未だに不明である。 CVアルゴリズムを世界規模で対話可能な環境に配置し、その動作に関する将来のフレームを予測するための事前トレーニングを行い、さまざまなタスクをこなすための命令で微調整するパイプラインを想像する。
  論文  参考訳（メタデータ） (2023-06-14T17:15:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。