该项目采用多模式方法，包括对话分析和眼球追踪技术，旨在分析讲故事过程中的互动。
研究人员
研究背景
互相讲故事是日常交谈的重要组成部分。对话式讲故事本质上是多模态的，参与者在讲故事时使用凝视和手势来支持他们的口头互动(参见Rühlemann, Gee & Ptak 2019)．该项目是弗莱堡大学和BCU之间的合作，旨在调查这一现象。它汇集了对话分析、话语分析和语料库语言方法，以及最新的视频和眼球追踪技术，能够对讲故事过程中的多模态交互进行全面分析。
研究的目的是
本项目旨在构建一个创新的多模态语料库——讲故事互动语料库。语料库将由两人、三人或四人之间的对话转录而成。它将以XML格式结合多层注释，以捕捉凝视、手势和对话特征。对话将在BCU录制，XTranscript软件(由BCU开发)将用于语料库编译和注释。
研究方法
故事互动语料库包括与BCU合作进行的自发对话互动视频记录的数据。与仅使用正字法转录的语料库-语言多模态语料库不同，数据将按照对话分析(杰斐逊)惯例转录，以确保转录本中丰富的多模态细节。对话分析文本将使用XTranscript转换为XML文本，XTranscript是一款与BCU合作专门为该项目开发的软件。
除了会话分析转录和标注外，数据还将接受语料库-语言标注(part - speech tagging)，以捕捉言语行为的形态-句法功能，以及语篇分析标注，以掌握语篇结构、语篇表现和语篇角色。
在与弗莱堡大学德国语言学教授Auer的合作中，将使用眼球追踪技术收集关于注视行为的定量数据，并将其集成到XML中。语料库的XML结构将为多模式讲故事实践的统计检查提供基础。通过使用XML查询语言XPath和XQuery，可以处理和提取不受大小和复杂性限制的相关数据(Rühlemann & Gee 2018)．
研究成果
基于跨学科的方法，我们打算研究多模态讲故事互动，解决语料库语言学、话语分析和对话分析这三个学科孤立无法充分解决的创新研究问题。这些问题涉及语言的手势、凝视和口语特征如何与对话互动和讲故事的进程相结合。