論文の概要: Look Ahead Text Understanding and LLM Stitching

• arxiv url: http://arxiv.org/abs/2412.17836v1
• Date: Mon, 16 Dec 2024 03:32:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-29 07:32:26.187454
• Title: Look Ahead Text Understanding and LLM Stitching
• Title（参考訳）: テキスト理解とLCMスティッチ
• Authors: Junlin Julian Jiang, Xin Li,
• Abstract要約: 本稿では,先進部識別(LASI)を例として,先進部識別(LASI)を用いたテキスト理解問題を提案する。 変換器をベースとしたLLMを用いてこの問題に対処する。 我々は、双方向コンテキスト情報(BERTなど)と一方向予測能力(GPTなど)の両方が、このタスクの恩恵をもたらすと論じている。
• 参考スコア（独自算出の注目度）: 4.431087385310259
• License:
• Abstract: This paper proposes a look ahead text understanding problem with look ahead section identification (LASI) as an example. This problem may appear in generative AI as well as human interactions, where we want to understand the direction of a developing text or conversation. We tackle the problem using transformer-based LLMs. We show that LASI is more challenging than classic section identification (SI). We argue that both bidirectional contextual information (e.g., BERT) and unidirectional predictive ability (e.g., GPT) will benefit the task. We propose two approaches to stitch together BERT and GPT. Experiments show that our approach outperforms the established models, especially when there is noise in the text (which is often the case for developing text in generative AI). Our paper sheds light on other look ahead text understanding tasks that are important to social media, such as look ahead sentiment classification, and points out the opportunities to leverage pre-trained LLMs through stitching.
• Abstract（参考訳）: 本稿では,先進部識別(LASI)を例として,先進部識別(LASI)を用いたテキスト理解問題を提案する。 この問題は、進化するテキストや会話の方向を理解したいという人間のインタラクションと同様に、生成的AIにも現れます。 変換器をベースとしたLLMを用いてこの問題に対処する。 従来のセクション識別(SI)よりもLASIの方が難易度が高いことを示す。 我々は、双方向の文脈情報(例えばBERT)と一方向予測能力(例えばGPT)の両方が、このタスクに有効であると主張している。 BERTとGPTを縫合する2つの方法を提案する。 実験の結果,提案手法は確立されたモデル,特にテキストにノイズがある場合(生成AIでテキストを開発する場合が多い)に優れていた。 本稿は、ソーシャルメディアにとって重要なテキスト理解タスク、例えば、前向きの感情分類などの課題に光を当て、縫合による事前学習 LLM の活用の機会を指摘する。

関連論文リスト

• GigaCheck: Detecting LLM-generated Content [72.27323884094953]
  本稿では,GigaCheckを提案することによって生成したテキスト検出の課題について検討する。 本研究は,LLM生成テキストとLLM生成テキストを区別する手法と,Human-Machine協調テキストにおけるLLM生成間隔を検出する手法について検討する。 具体的には,テキスト内のAI生成間隔をローカライズするために,コンピュータビジョンから適応したDETRのような検出モデルと組み合わせて,微調整の汎用LLMを用いる。
  論文  参考訳（メタデータ） (2024-10-31T08:30:55Z)
• Detecting Machine-Generated Texts: Not Just "AI vs Humans" and Explainability is Complicated [8.77447722226144]
  そこで本研究では,新たな3次テキスト分類手法を導入し,いずれの情報源にも起因する可能性のあるテキストの「未決定」カテゴリを追加する。 この研究は、単に分類から機械が生成したテキストの説明へとパラダイムをシフトさせ、ユーザーに対して明確で理解可能な説明を提供するための検出器の必要性を強調した。
  論文  参考訳（メタデータ） (2024-06-26T11:11:47Z)
• A Text is Worth Several Tokens: Text Embedding from LLMs Secretly Aligns Well with The Key Tokens [20.37803751979975]
  テキストを埋め込みモデルに入力すると、得られたテキストの埋め込みは入力テキストのキートークンと一致します。 この現象は普遍的であり,モデルアーキテクチャ,トレーニング戦略,埋め込み手法の影響を受けないことを示す。 最初のプリンシパルコンポーネントを調整することで、テキストの埋め込みをキートークンと整列することができます。
  論文  参考訳（メタデータ） (2024-06-25T08:55:12Z)
• VLLMs Provide Better Context for Emotion Understanding Through Common Sense Reasoning [66.23296689828152]
  我々は、視覚・言語モデルの機能を活用し、文脈内感情分類を強化する。 第1段階では、VLLMが対象者の明らかな感情の自然言語で記述を生成できるように促すことを提案する。 第2段階では、記述を文脈情報として使用し、画像入力とともに、トランスフォーマーベースのアーキテクチャのトレーニングに使用する。
  論文  参考訳（メタデータ） (2024-04-10T15:09:15Z)
• TM-TREK at SemEval-2024 Task 8: Towards LLM-Based Automatic Boundary Detection for Human-Machine Mixed Text [0.0]
  本稿では,人文と機械生成の混合テキストにおける境界を識別する大規模言語モデルの能力について検討する。 LLMのアンサンブルモデルは,SemEval'24コンペティションタスク8の「Human-Machine Mixed Text Detection」サブタスクにおいて,第1位を獲得した。
  論文  参考訳（メタデータ） (2024-04-01T03:54:42Z)
• Unsupervised Text Style Transfer via LLMs and Attention Masking with Multi-way Interactions [18.64326057581588]
  非教師付きテキストスタイル転送(UTST)が自然言語処理(NLP)分野における重要な課題として浮上している。 本稿では,命令を調整したパイプライン・フレームワークであるLarge Language Models (LLMs) から注目マスキング・モデルへの知識蒸留,構築された並列例を用いたコンテキスト内学習の4つの方法を提案する。 これらのマルチウェイインタラクションは、スタイルの強さ、コンテンツ保存、テキストの流布といった観点から、ベースラインを改善することを実証的に示しています。
  論文  参考訳（メタデータ） (2024-02-21T09:28:02Z)
• Raidar: geneRative AI Detection viA Rewriting [42.477151044325595]
  大規模な言語モデル(LLM)は、書き直しのタスクを行う場合、AI生成テキストよりも人間の書き起こしテキストを変更する傾向にある。 テキストの書き直しを LLM に促し,出力の編集距離を計算することで,AI 生成コンテンツを検出する手法を提案する。 この結果から,機械自体のレンズを通した機械生成テキストのユニークなインプリントが明らかになった。
  論文  参考訳（メタデータ） (2024-01-23T18:57:53Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• SeqXGPT: Sentence-Level AI-Generated Text Detection [62.3792779440284]
  大規模言語モデル(LLM)を用いた文書の合成による文レベル検出の課題について紹介する。 次に,文レベルのAIGT検出機能として,ホワイトボックスLEMのログ確率リストを利用した textbfSequence textbfX (Check) textbfGPT を提案する。
  論文  参考訳（メタデータ） (2023-10-13T07:18:53Z)
• Towards AGI in Computer Vision: Lessons Learned from GPT and Large Language Models [98.72986679502871]
  大規模言語モデル(LLM)を利用したチャットシステムが出現し、人工知能(AGI)を実現するための有望な方向へと急速に成長する しかし、コンピュータビジョン(CV)におけるAGIへの道のりは未だに不明である。 CVアルゴリズムを世界規模で対話可能な環境に配置し、その動作に関する将来のフレームを予測するための事前トレーニングを行い、さまざまなタスクをこなすための命令で微調整するパイプラインを想像する。
  論文  参考訳（メタデータ） (2023-06-14T17:15:01Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。