2026-10-22 23:46:19
(71)申请人江苏中科小达人智能科技有限公司地址225300江苏省泰州市高港区核心港区科技孵化产业园永成科技2座3层301室
本发明公开了一种基于虚拟现实的交互式训练系统及方法,所述交互式训练模块提取测评案例库模块中各个测评案例对应的虚拟场景,通过人机交互的方式对用户进行训练,每次训练均生成相应的音频文件。本发明通过交互的方式对用户的创新素质进行训练,采用虚拟现实技术使得训练场景更加贴合实际情况,同时考虑到距离及角度因素对用户及虚拟人物所听内容的影响,进而使得训练过程更加真实,同时在训练的过程中直接过用户的创新素质进行测评,并根据测评结果推荐相应的测评案例,针对用户创新素质的薄弱点进行强化,相较于传统的纸质或者电子版调查问卷对用户创新素质进行测评,本发明的测评效果更加精准。
测评案例库模块,所述测评案例库模块用于存储交互式训练过程中需要用到的各个测评案例对应的虚拟场景,
交互式训练模块,所述交互式训练模块提取测评案例库模块中各个测评案例对应的虚拟场景,通过人机交互的方式对用户进行训练,每次训练均生成相应的音频文件,
测评分析模块,所述测评分析模块对用户训练生成的音频文件进行分析,得到用户创新素质的测评结果,
强化推荐模块,所述强化推荐模块根据用户创新素质的测评结果,锁定用户创新素质中的薄弱点,并针对用户创新素质中的薄弱点情况,推荐相应的测评案例对用户进行训练,
训练效果比对模块,所述训练效果对比模块构建用户训练对应的测评结果随时间变化的折线变化图,并将每个测评结果与折线变化图中的相应节点进行绑定。
2.根据权利要求1所述的一种基于虚拟现实的交互式训练系统,其特征在于,所述测评案例库模块存储的每个测评案例对应的虚拟场景是通过3D建模,并在VR设备中呈现的,
在3D建模过程中,会在虚拟场景中会分别标注出东、西、南、北四个方位,并以过虚拟场景中心点且从东至西的方向为x轴正方向,以过虚拟场景中心点且从南至北的方向为y轴正方向,以过虚拟场景中心点且从下至上的方向为z轴正方向,建立虚拟场景中的标准空间直角坐标系,
每个测评案例对应的是一个模拟的故事场景,每个故事场景中会包含一个虚拟人物,需要用户针对故事场景中虚拟人物提出的问题进行解答,测评案例考察用户的创新素质,所述创新素质包含分类比较能力、计算能力、记忆力及注意力,不同测评案例考察用户创新素质中分类比较能力、计算能力、记忆力及注意力分别对应偏重值不同。
3.根据权利要求2所述的一种基于虚拟现实的交互式训练系统,其特征在于,所述强化推荐模块获得用户创新素质的测评结果后,分类比较能力、计算能力、记忆力及注意力这四类分别对应的测评结果中的最小值对应的类别为用户创新素质中的薄弱点,
若用户创新素质的测评结果中,分类比较能力、计算能力、记忆力及注意力这四类对应的测评结果分别为k1、k2、k3及k4,则推荐的测评案例中分类比较能力、计算能力、记忆力及注意力分别对应偏重值的比值为
4.根据权利要求2所述的一种基于虚拟现实的交互式训练系统,其特征在于,所述训练效果比对模块分别获取用户每次训练时创新素质中各类别分别对应的测评结果,分别构建不同训练时间同一类别对应的测评结果随时间变化的折线变化图,每个测评结果与相应的折线变化图中的相应是时间节点进行绑定。
5.根据权利要求2所述的一种基于虚拟现实的交互式训练系统,其特征在于,所述交互式训练模块提取测评案例库模块中各个测评案例对应的虚拟场景时,以虚拟人物的头部在标准空间直角坐标系中的坐标点作为参照点,以用户头部所处位置在虚拟场景中标准空间直角坐标系中对应的坐标点为用户点,
将从用户点至参照点构成的向量记为标准向量,所述标准向量时可变的,标准向量随
6.根据权利要求5所述的一种基于虚拟现实的交互式训练系统,其特征在于,所述交互式训练模块通过人机交互的方式对用户进行训练的过程中,通过耳麦获取虚拟人物的提问内容,通过第一拾音器获取用户针对提问内容的解答,
将第一拾音器获取的训练过程中随时间变化的人机交互过程的音频文件,记为第一音频文件,所述第一音频文件只包含用户的声音,
将耳麦传递的训练过程中随时间变化的人机交互过程的音频文件,记为第二音频文件,所述第二音频文件只包含虚拟人物的提问内容,
所述交互式训练模块还获取训练过程中标准向量随时间变化的结果,将训练过程中时间t对应的标准向量的模长记为L(t),
获取训练过程中用户面部朝向的方向与标准向量的夹角记为β,并将训练过程中时间t对应的用户面部朝向的方向与标准向量的夹角记为β(t)。
7.根据权利要求6所述的一种基于虚拟现实的交互式训练系统,其特征在于,所述测评分析模块对用户训练生成的音频文件进行分析的过程中,会根据第一音频文件、第二音频文件及相应的L(t)、β(t),对人机交互过程中的声音强度随时间的变化情况进行模拟还原,预估出对方能够听到的音频内容,并识别出相应的文本内容,进而根据识别的文本内容得到用户创新素质的测评结果,
用户能够听到的音频内容不需要进行预估,为第二音频文件对应的内容,即第二音频文件为预估处理过的音频文件,
所述其中,a1为常数,L0为常数,表示标准向量的初始模长,b1也为常数且b1(L0)
S1.5、根据第二音频文件及相应的L(t)、β(t),获取声音强度偏差值Q,
S1 .7、分别将t为不同值时,G1 (t)与第一阈值进行比较,进而得到最终能够被虚拟人物
S1 .8、获取第一音频文件中声音强度G11 (t)大于或者小于0时对应的时间范围W,截取第一音频文件中时间范围W对应的音频部分内容,记为预估的虚拟人物能够听到的音频内容。
8.根据权利要求7所述的一种基于虚拟现实的交互式训练系统,其特征在于,所述测评分析模块中获取预估的虚拟人物能够听到的音频内容,并识别该音频内容对应的文本内容,对文本内容进行文本分割,得到用户训练过程中针对相应问题的答案,
所述对文本内容进行文本分割是依据文本内容中各部分内容在第一音频文件中对应的时间及第二音频文件中虚拟人物的各个提问内容对应的时间,将第二音频文件中相邻的提问内容分别对应的时间作为一个文本分割片段对应的分割时间范围中的起始端点和终止端点,
获取文本内容中在第一音频文件中对应的时间在分割时间范围内的文本部分内容,将获取的每个文本部分内容分别作为一个文本分割片段,
将每个文本分割片段与对应分割时间范围中起始端点在第二音频文件中虚拟人物相应的提问内容进行绑定,
进一步将各个文本分割片段进行关键词提取,分别将每个文本分割片段对应的关键词逐个录入到一个空白集合中,进而每个文本分割片段得到一个关键词集合,并分别将每个关键词集合与相应文本分割片段对应的提问内容进行绑定,所述关键词集合中相同关键词只录入一次,
在数据库中,分别获取第二音频文件中虚拟人物各个提问内容对应的标准答案,每个标准答案对应一个参考关键词集合,
统计针对同一个提问内容时,该提问内容绑定的关键词集合与该提问内容对应的标准答案中相同的关键词个数,记为c,将该提问内容对应的标准答案中参考关键词集合内的参考关键词的总个数记为c1,则用户针对该提问内容的测评结果为
测评分析模块按分类比较能力、计算能力、记忆力及注意力这四个方面将第二音频文件中虚拟人物的各个提问内容分为四类,分别计算每类对应的各个提问内容相应的测评结果的平均值,将所得平均值记为该类对应的测评结果,进而得到用户创新素质的测评结果。
9.根据权利要求7所述的一种基于虚拟现实的交互式训练系统,其特征在于,所述S1 .5中根据第二音频文件及相应的L(t) 、β(t) ,获取声音强度偏差值Q的方法包括以下步骤,
S1 .4. 1、获取第二音频文件中时间t为不同值时对应的声音强度g2(t) ,
S1 .4.2、获取第三音频文件中时间t为不同值时对应的声音强度g3(t) ,
S1 .4.3、根据第三音频文件,初步预估用户能够听到的声音强度G3(t) ,
10.应用权利要求1‑9任意一项所述的一种基于虚拟现实的交互式训练系统的基于虚拟现实的交互式训练方法,其特征在于,所述方法包括以下步骤,
S1、在测评案例库模块中,存储交互式训练过程中需要用到的各个测评案例对应的虚拟场景,
S2、通过交互式训练模块提取测评案例库模块中各个测评案例对应的虚拟场景,通过人机交互的方式对用户进行训练,每次训练均生成相应的音频文件,
S3、通过测评分析模块对用户训练生成的音频文件进行分析,得到用户创新素质的测评结果,
S4、在强化推荐模块中,根据用户创新素质的测评结果,锁定用户创新素质中的薄弱点,并针对用户创新素质中的薄弱点情况,推荐相应的测评案例对用户进行训练,
S5、通过训练效果对比模块构建用户训练对应的测评结果随时间变化的折线变化图,并将每个测评结果与折线变化图中的相应节点进行绑定。
[0001] 本发明涉及人机交互训练技术领域,具体为一种基于虚拟现实的交互式训练系统及方法。
[0002] 美国近百所顶尖私立高中成立的能力素养成绩单联盟(MTC)推出一种动态电子档案——“新模式”作为高中生评价新体系。其包括8项能力和61项子能力,通过持续追踪、记录学生的学习动态,全面评估学生能力。英国十分重视培养学生的创新素质和创造思维能力,在高校采用“基于项目的学习”培养模式,通过引导学生在实际项目中探究和解决复杂问题,培养学生的创新能力。
[0003] 当前我国对学生的创新素质培养也越来越重视,注重学生德、智、体、美、劳全面发展,但是现阶段对学生的创新素质测评方式及训练方式上存在较大的缺陷,当前的测评方式只是通过简单的纸质或者电子版的调查问卷实现对学生创新素质的测评,方式比较单
一,且测评结果比较片面,无法根据学生的实际表现(实践)实现对用户的测评,使得测评结果不精准,进而采用的训练方式无法精准锁定学生自身创新素质的薄弱点,使得训练效果不理想。
[0004] 针对上述情况,我们需要一种基于虚拟现实的交互式训练系统及方法。
[0005] 本发明的目的在于提供一种基于虚拟现实的交互式训练系统及方法,以解决上述背景技术中提出的问题。
[0006] 为了解决上述技术问题,本发明提供如下技术方案,一种基于虚拟现实的交互式训练系统,包括,
[0007] 测评案例库模块,所述测评案例库模块用于存储交互式训练过程中需要用到的各个测评案例对应的虚拟场景,
[0008] 交互式训练模块,所述交互式训练模块提取测评案例库模块中各个测评案例对应的虚拟场景,通过人机交互的方式对用户进行训练,每次训练均生成相应的音频文件,
[0009] 测评分析模块,所述测评分析模块对用户训练生成的音频文件进行分析,得到用户创新素质的测评结果,
[0010] 强化推荐模块,所述强化推荐模块根据用户创新素质的测评结果,锁定用户创新素质中的薄弱点,并针对用户创新素质中的薄弱点情况,推荐相应的测评案例对用户进行训练,
[001 1] 训练效果比对模块,所述训练效果对比模块构建用户训练对应的测评结果随时间变化的折线变化图,并将每个测评结果与折线变化图中的相应节点进行绑定。
[0012] 本发明通过采用虚拟现实技术,将对用户创新素质的训练过程场景化,通过一个场景实现对用户创新素质的全面的训练及测评,并根据测评案例中虚拟场景对应的创新素
质中各类别内容的偏重值,突出对用户创新素质薄弱点的强化训练,并采用折线变化图的方式,实现对用户训练效果的对比,并在此基础上,能够进一步的调整推荐的训练方案。
[0013] 进一步的,所述测评案例库模块存储的每个测评案例对应的虚拟场景是通过3D建模,并在VR设备中呈现的,
[0014] 在3D建模过程中,会在虚拟场景中会分别标注出东、西、南、北四个方位,并以过虚拟场景中心点且从东至西的方向为x九游体育,九游体育股份有限公司,九游体育官方网站,九游Sports轴正方向,以过虚拟场景中心点且从南至北的方向为y 轴正方向,以过虚拟场景中心点且从下至上的方向为z轴正方向,建立虚拟场景中的标准空间直角坐标系,
[0015] 每个测评案例对应的是一个模拟的故事场景,每个故事场景中会包含一个虚拟人物,需要用户针对故事场景中虚拟人物提出的问题进行解答,测评案例考察用户的创新素质,所述创新素质包含分类比较能力、计算能力、记忆力及注意力,不同测评案例考察用户创新素质中分类比较能力、计算能力、记忆力及注意力分别对应偏重值不同。
[0016] 本发明测评案例库模块在虚拟场景中会分别标注出东、西、南、北四个方位,是为了便于后续在虚拟场景中建立标准空间之间坐标系,在故事场景中设置一个虚拟人物,是为了通过对话的方式实现人机交互,进而使得模拟的场景更加贴近真实情况,进而通过模拟实践的方式实现对用户创新素质的训练及测评,创新素质是一个比较笼统的概念,是从多方面对用户进行测评的(包含分类比较能力、计算能力、记忆力及注意力) ,将测评案例中设置不同的偏重值是为了针对用户创新素质的薄弱点进行相应的训练,相应的,用户创新素质中某类能力越薄弱,则测评案例中该类别对应的偏重值越大。
[0017] 进一步的,所述强化推荐模块获得用户创新素质的测评结果后,分类比较能力、计算能力、记忆力及注意力这四类分别对应的测评结果中的最小值对应的类别为用户创新素质中的薄弱点,
[0018] 若用户创新素质的测评结果中,分类比较能力、计算能力、记忆力及注意力这四类对应的测评结果分别为k1、k2、k3及k4,则推荐的测评案例中分类比较能力、计算能力、记忆力及注意力分别对应偏重值的比值为
[0020] 本发明设置分类比较能力、计算能力、记忆力及注意力分别对应偏重值的比值的标准是,每个类别对应的测评结果越小,其相应的类别在推荐的测评案例中所占的偏重值越大,同时各类别偏重值之和确保为1。
[0021] 进一步的,所述训练效果比对模块分别获取用户每次训练时创新素质中各类别分别对应的测评结果,分别构建不同训练时间同一类别对应的测评结果随时间变化的折线变化图,每个测评结果与相应的折线变化图中的相应是时间节点进行绑定。
[0022] 进一步的,所述交互式训练模块提取测评案例库模块中各个测评案例对应的虚拟场景时,以虚拟人物的头部在标准空间直角坐标系中的坐标点作为参照点,以用户头部所处位置在虚拟场景中标准空间直角坐标系中对应的坐标点为用户点,
[0023] 将从用户点至参照点构成的向量记为标准向量,所述标准向量时可变的,标准向量随用户点及参照点的变化而变化。
[0024] 本发明交互式训练模块获取标准向量,是为了获取用户距离虚拟人物的距离,并为后续获取训练过程中用户面部朝向的方向与标准向量的夹角记为β,进而为后续训练过程中产生的音频文件进行分析、调整,使得训练过程中模拟的场景更加真实且贴合实际情况。
[0025] 进一步的,所述交互式训练模块通过人机交互的方式对用户进行训练的过程中,通过耳麦获取虚拟人物的提问内容,通过第一拾音器获取用户针对提问内容的解答,
[0026] 将第一拾音器获取的训练过程中随时间变化的人机交互过程的音频文件,记为第一音频文件,所述第一音频文件只包含用户的声音,
[0027] 将耳麦传递的训练过程中随时间变化的人机交互过程的音频文件,记为第二音频文件,所述第二音频文件只包含虚拟人物的提问内容,
[0028] 所述交互式训练模块还获取训练过程中标准向量随时间变化的结果,将训练过程中时间t对应的标准向量的模长记为L(t) ,
[0029] 获取训练过程中用户面部朝向的方向与标准向量的夹角记为β,并将训练过程中时间t对应的用户面部朝向的方向与标准向量的夹角记为β(t) 。
[0030] 本发明分别获取第一音频文件、第二音频文件、L(t)及β(t) ,是为了对第一音频文件中不同时间虚拟人物能够听到的声音强度进行分析、调整,进而模拟、预估出虚拟人物能够听到音频内容,该模拟方式是为了模拟出实际生活中两人互相交谈的场景(声音强度小的情况下,对方可能听不到,进而获取不到相应的信息) ,通常情况下,L(t)及β(t)均为分段函数。
[0031] 进一步的,所述测评分析模块对用户训练生成的音频文件进行分析的过程中,会根据第一音频文件、第二音频文件及相应的L(t) 、β(t) ,对人机交互过程中的声音强度随时间的变化情况进行模拟还原,预估出对方能够听到的音频内容,并识别出相应的文本内容,进而根据识别的文本内容得到用户创新素质的测评结果,
[0032] 用户能够听到的音频内容不需要进行预估,为第二音频文件对应的内容,即第二音频文件为预估处理过的音频文件,
[0034] 测评分析模块预估虚拟人物能够听到的音频内容的方法包括以下步骤,
[0035] S1 . 1、获取第一音频文件中时间t为不同值时对应的声音强度g1 (t) ,
[0037] 所述 其中,a1为常数,L0为常数,表示标准向量的初始模长,b1也为常数且b1(L0)
[0047] S1 .7、分别将t为不同值时,G1 (t)与第一阈值进行比较,进而得到最终能够被虚拟人物听到的声音强度G11 (t) ,
[0050] S1 .8、获取第一音频文件中声音强度G11 (t)大于或者小于0时对应的时间范围W,截取第一音频文件中时间范围W对应的音频部分内容,记为预估的虚拟人物能够听到的音频内容。
[0051] 本发明测评分析模块计算L(t)对听觉的影响系数f1 [L(t) ]时,计算L(t) ‑L0,是为了获取在时间t时用户与虚拟人物的距离与初始时(t为0时)用户与虚拟人物距离的差值,设置b1(L0)是为了确保L(t) ‑L0+b1的结果大于0,进而使得f1 [L(t) ]的结果为正数,因为在标准空间直角坐标系中,任意两个向量的夹角大于等于0且小于等于180度,进而cos (β(t) )对应的取值范围为[‑1 , 1] ,且cos (β(t) )的值随β(t)的增大而减小,设置b2(1)是为了确保cos (β(t) )+b2大于0,进而使得f2[β(t) ]的值为正数,获取G(t)时,计算g1 (t)*f1 [L (t) ]*f2[β(t) ] ,是为了获取在声音传播过程中,L(t)与β(t)对声音强度的影响,进而能够在一定程度上模拟出人物对话过程中受距离与面部朝向方向的影响,对方能够听到的音频内容,获取声音强度偏差值Q,是为了根据第二音频文件及相应的L(t) 、β(t) ,计算预估用户能够听到的内容与实际能够听到的内容之间的差异,进而获取相应的偏差值,其目的是为了对虚拟人物能够听到的声音强度进行二次预估,使得预估结果更加精准,将G1 (t)与第一阈值进行比较,是因为正常人物能够听到的声音强度是存在一定范围的,正常人对线分贝,通过阈值,能够预测出虚拟人物能够听到的音频内容。
[0052] 进一步的,所述测评分析模块中获取预估的虚拟人物能够听到的音频内容,并识别该音频内容对应的文本内容,对文本内容进行文本分割,得到用户训练过程中针对相应问题的答案,
[0053] 所述对文本内容进行文本分割是依据文本内容中各部分内容在第一音频文件中对应的时间及第二音频文件中虚拟人物的各个提问内容对应的时间,将第二音频文件中相邻的提问内容分别对应的时间作为一个文本分割片段对应的分割时间范围中的起始端点和终止端点,
[0054] 获取文本内容中在第一音频文件中对应的时间在分割时间范围内的文本部分内容,将获取的每个文本部分内容分别作为一个文本分割片段,
[0055] 将每个文本分割片段与对应分割时间范围中起始端点在第二音频文件中虚拟人物相应的提问内容进行绑定,
[0056] 进一步将各个文本分割片段进行关键词提取,分别将每个文本分割片段对应的关键词逐个录入到一个空白集合中,进而每个文本分割片段得到一个关键词集合,并分别将
每个关键词集合与相应文本分割片段对应的提问内容进行绑定,所述关键词集合中相同关键词只录入一次,
[0057] 在数据库中,分别获取第二音频文件中虚拟人物各个提问内容对应的标准答案,每个标准答案对应一个参考关键词集合,
[0058] 统计针对同一个提问内容时,该提问内容绑定的关键词集合与该提问内容对应的标准答案中相同的关键词个数,记为c,将该提问内容对应的标准答案中参考关键词集合内的参考关键词的总个数记为c1,则用户针对该提问内容的测评结果为
[0059] 测评分析模块按分类比较能力、计算能力、记忆力及注意力这四个方面将第二音频文件中虚拟人物的各个提问内容分为四类,分别计算每类对应的各个提问内容相应的测评结果的平均值,将所得平均值记为该类对应的测评结果,进而得到用户创新素质的测评结果。