論文の概要: Event Segmentation Applications in Large Language Model Enabled Automated Recall Assessments

• arxiv url: http://arxiv.org/abs/2502.13349v1
• Date: Wed, 19 Feb 2025 00:48:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 14:00:24.937022
• Title: Event Segmentation Applications in Large Language Model Enabled Automated Recall Assessments
• Title（参考訳）: 自動リコールアセスメントが可能な大規模言語モデルにおけるイベントセグメンテーション応用
• Authors: Ryan A. Panela, Alex J. Barnett, Morgan D. Barense, Björn Herrmann,
• Abstract要約: イベントセグメンテーションは、経験を知覚し、エンコードし、リコールする方法の中心です。 現在の研究手法は、セグメンテーションパターンとリコール能力を評価するために人間に大きく依存している。 大規模言語モデル(LLM)を利用してイベントセグメンテーションの自動化とリコールの評価を行う。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Understanding how individuals perceive and recall information in their natural environments is critical to understanding potential failures in perception (e.g., sensory loss) and memory (e.g., dementia). Event segmentation, the process of identifying distinct events within dynamic environments, is central to how we perceive, encode, and recall experiences. This cognitive process not only influences moment-to-moment comprehension but also shapes event specific memory. Despite the importance of event segmentation and event memory, current research methodologies rely heavily on human judgements for assessing segmentation patterns and recall ability, which are subjective and time-consuming. A few approaches have been introduced to automate event segmentation and recall scoring, but validity with human responses and ease of implementation require further advancements. To address these concerns, we leverage Large Language Models (LLMs) to automate event segmentation and assess recall, employing chat completion and text-embedding models, respectively. We validated these models against human annotations and determined that LLMs can accurately identify event boundaries, and that human event segmentation is more consistent with LLMs than among humans themselves. Using this framework, we advanced an automated approach for recall assessments which revealed semantic similarity between segmented narrative events and participant recall can estimate recall performance. Our findings demonstrate that LLMs can effectively simulate human segmentation patterns and provide recall evaluations that are a scalable alternative to manual scoring. This research opens novel avenues for studying the intersection between perception, memory, and cognitive impairment using methodologies driven by artificial intelligence.
• Abstract（参考訳）: 個人が自然環境においてどのように情報を知覚し、思い出しているかを理解することは、知覚障害(例えば、感覚喪失)と記憶障害(例えば、認知症)を理解するために重要である。 イベントセグメンテーション(Event segmentation)は、動的環境内で異なるイベントを識別するプロセスであり、経験を認識、エンコード、リコールする方法の中心である。 この認知過程は、モーメント間の理解に影響を及ぼすだけでなく、事象固有の記憶を形成する。 イベントセグメンテーションとイベント記憶の重要性にもかかわらず、現在の研究手法は、主観的で時間を要するセグメンテーションパターンとリコール能力を評価するために、人間の判断に大きく依存している。 イベントセグメンテーションとリコールスコアリングを自動化するためにいくつかのアプローチが導入されたが、人間の反応と実装の容易性にはさらなる進歩が必要である。 これらの問題に対処するため,我々はLarge Language Models (LLMs) を用いてイベントセグメンテーションの自動化とリコールの評価を行い,それぞれチャット補完モデルとテキスト埋め込みモデルを採用した。 我々は、これらのモデルを人間のアノテーションに対して検証し、LLMがイベント境界を正確に識別し、人間のイベントセグメンテーションは人間自身よりもLLMと一貫性があると判断した。 このフレームワークを用いて, セグメンテーションされた物語イベントと参加者リコールのセマンティックな類似性を明らかにするリコール評価の自動手法を考案し, リコール性能を推定する。 以上の結果から, LLMは手動によるスコアリングの代替として, 効果的に人間のセグメンテーションパターンをシミュレートし, リコール評価を行うことが可能であることが示唆された。 この研究は、人工知能によって駆動される手法を用いて、知覚、記憶、認知障害の交差を研究するための新しい道を開く。

関連論文リスト

• Episodic Memories Generation and Evaluation Benchmark for Large Language Models [7.660368798066376]
  我々は、人間のような認知に向けてAIを前進させるためには、エピソード記憶能力を大規模言語モデルに統合することが不可欠であると主張している。 本研究では,時間的・空間的文脈をカプセル化し,関連する実体を包含し,詳細な記述を行うための構造的アプローチを開発する。 我々は、汚染のない独自のエピソードメモリベンチマークを合成し、LLM性能を評価するためにオープンソースコードとデータセットをリリースする。
  論文  参考訳（メタデータ） (2025-01-21T02:16:13Z)
• Detecting Memorization in Large Language Models [0.0]
  大規模言語モデル(LLM)は自然言語処理において驚くべき結果を得たが、トレーニングデータの一部を記憶する傾向にある。 従来の暗記検出方法は出力確率や損失関数に依存している。 LLM内のニューロンの活性化を調べることによって,記憶を正確に検出する解析手法を提案する。
  論文  参考訳（メタデータ） (2024-12-02T00:17:43Z)
• MADial-Bench: Towards Real-world Evaluation of Memory-Augmented Dialogue Generation [15.64077949677469]
  メモリ拡張対話システム(MADS)の有効性を評価するための新しいメモリ拡張対話ベンチマーク(MADail-Bench)を提案する。 このベンチマークは2つのタスクを別々に評価する: メモリ検索とメモリ認識は、パッシブとプロアクティブの両方のメモリリコールデータを組み込んだものである。 このベンチマークにおける最先端の埋め込みモデルと大規模言語モデルの結果は、さらなる進歩の可能性を示している。
  論文  参考訳（メタデータ） (2024-09-23T17:38:41Z)
• Modeling User Preferences via Brain-Computer Interfacing [54.3727087164445]
  我々はBrain-Computer Interface技術を用いてユーザの好みを推測し、その注意力は視覚的コンテンツと感情的体験との関連性に相関する。 我々はこれらを,情報検索,生成モデルのパーソナライズされたステアリング,感情経験のクラウドソーシング人口推定など,関連するアプリケーションにリンクする。
  論文  参考訳（メタデータ） (2024-05-15T20:41:46Z)
• In-Memory Learning: A Declarative Learning Framework for Large Language Models [56.62616975119192]
  本研究では,人間ラベルデータに頼らずにエージェントが環境に整合できる新しい学習フレームワークを提案する。 このプロセス全体がメモリコンポーネント内で変換され、自然言語で実装される。 フレームワークの有効性を実証し、この問題に対する洞察を提供する。
  論文  参考訳（メタデータ） (2024-03-05T08:25:11Z)
• Saliency-Guided Hidden Associative Replay for Continual Learning [13.551181595881326]
  継続学習(Continuous Learning)は、人間の学習に似た一連のタスクを通じてニューラルネットワークをトレーニングすることに焦点を当てた、次世代AIの急成長する領域である。 本稿では,継続的学習のためのSaliency Guided Hidden Associative Replayを提案する。 この新しいフレームワークは、アソシエイトメモリをリプレイベースの戦略でシナジする。SHARCは主にスパースメモリエンコーディングを通じて、有能なデータセグメントをアーカイブする。
  論文  参考訳（メタデータ） (2023-10-06T15:54:12Z)
• Are All Steps Equally Important? Benchmarking Essentiality Detection of Events [92.92425231146433]
  本稿では,現在のモデルが目標イベントに関連するステップイベントの本質をどの程度理解しているかについて検討する。 コミュニティガイドサイトWikiHowから収集した高品質なペア(ゴール,ステップ)コーパスをコントリビュートする。 高いアノテータ間の合意は、人間が事象の本質について一貫した理解を持っていることを証明している。
  論文  参考訳（メタデータ） (2022-10-08T18:00:22Z)
• Predictive Event Segmentation and Representation with Neural Networks: A Self-Supervised Model Assessed by Psychological Experiments [2.223733768286313]
  イベントセグメンテーションの自己教師型モデルを導入する。 我々のモデルは、次のタイミングで知覚信号を予測し、異なる事象を表現するニューラルネットワークで構成されています。 予測誤り信号を追跡するモデルでは,人間のような事象境界や事象表現が生成可能であることを示す。
  論文  参考訳（メタデータ） (2022-10-04T14:14:30Z)
• Pin the Memory: Learning to Generalize Semantic Segmentation [68.367763672095]
  本稿ではメタラーニングフレームワークに基づくセマンティックセグメンテーションのための新しいメモリ誘導ドメイン一般化手法を提案する。 本手法は,セマンティッククラスの概念的知識を,ドメインを超えて一定であるカテゴリ記憶に抽象化する。
  論文  参考訳（メタデータ） (2022-04-07T17:34:01Z)
• CoSeg: Cognitively Inspired Unsupervised Generic Event Segmentation [118.18977078626776]
  イベントセグメンテーション/バウンダリ検出のためのエンドツーエンドの自己教師型学習フレームワークを提案する。 本フレームワークは, イベント境界を再構成誤差で検出するトランスフォーマーに基づく特徴再構成手法を利用する。 私たちの研究の目標は、特定のイベントをローカライズするのではなく、ジェネリックイベントをセグメント化することです。
  論文  参考訳（メタデータ） (2021-09-30T14:40:32Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。