k8凯发集团本申请提供一种同声传译系统、方法、设备及可读存储介质,本申请实施例提供的同声传译系统包括:同声传译服务器,云平台服务器、至少一个同声传译主机、至少一个会议主机以及至少一个麦克风;其中,同声传译服务器与云平台服务器连接;云平台服务器与各个同声传译主机连接;每个同声传译主机连接一个会议主机,每个会议主机连接至少一个麦克风,由此可知,本申请可以同时与至少两个会议主机连接,并可以同步同声传译多个会议主机收集的音频数据,可以有效实现多人与会的同声传译服务,同时还可以有效缩短同声传译的时延,可以高效地为多人
(19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 117119108 A (43)申请公布日 2023.11.24 (21)申请号 6.8 G10L 15/30 (2013.01) (22)申请日 2023.07.25 (71)申请人 广州市迪士普音响科技有限公司 地址 510450 广东省广州市白云区江高镇 夏荷路1号 (72)发明人 王恒郭远林黄梓华何永华 欧喜鹏 (74)专利代理机构 北京集佳知识产权代理有限 公司 11227 专利代理师 沈闯 (51)Int.Cl. H04M 3/56 (2006.01) G06F 40/58 (2020.01) G10L 13/02 (2013.01) G10L 15/00 (2013.01) 权利要求书3页 说明书11页 附图6页 (54)发明名称 同声传译系统、方法、设备及可读存储介质 (57)摘要 本申请提供一种同声传译系统、方法、设备 及可读存储介质,本申请实施例提供的同声传译 系统包括:同声传译服务器,云平台服务器、至少 一个同声传译主机、至少一个会议主机以及至少 一个麦克风;其中,同声传译服务器与云平台服 务器连接;云平台服务器与各个同声传译主机连 接;每个同声传译主机连接一个会议主机,每个 会议主机连接至少一个麦克风,由此可知,本申 请可以同时与至少两个会议主机连接,并可以同 步同声传译多个会议主机收集的音频数据,可以 有效实现多人与会的同声传译服务,同时还可以 有效缩短同声传译的时延,可以高效地为多人提 A 供不同语种的同声传译服务,有效提高了会议的 8 同声传译服务质量和效率。 0 1 9 1 1 7 1 1 N C CN 117119108 A 权利要求书 1/3页 1.一种同声传译系统,其特征在于,该系统包括:同声传译服务器,云平台服务器、至少 一个同声传译主机、至少一个会议主机以及至少一个麦克风; 其中, 所述同声传译服务器与所述云平台服务器连接; 所述云平台服务器与各个所述同声传译主机连接; 每个所述同声传译主机连接一个所述会议主机,每个所述会议主机连接至少一个所述 麦克风; 每个所述会议主机通过与其连接的各个所述麦克风采集发言人的目标音频数据; 每个所述会议主机将所述目标音频数据传到与其连接的同声传译主机; 各个所述同声传译主机将所述目标音频数据传送给所述云平台服务器; 所述云平台服务器在接收到所述目标音频数据后,向所述同声传译服务器发起一个目 标访问请求,其中,所述目标访问请求包括目标信息; 所述同声传译服务器接收所述目标访问请求,并解析所述目标访问请求之后,返回响 应信息给所述云平台服务器,并与其建立目标连接通道; 所述云平台服务器通过所述目标连接通道向所述同声传译服务器发送所述目标音频 数据; 所述同声传译服务器接收所述目标音频数据后,对所述目标音频数据进行处理后将与 所述目标音频数据对应的翻译结果发送给所述云平台服务器; 所述云平台服务器接收所述目标音频数据的翻译结果后,将其发送给与其对应的同声 传译主机; 与所述目标音频数据对应的同声传译主机接收所述目标音频数据的翻译结果后将所 述目标音频数据的翻译结果中的文字翻译结果显示,并将所述目标音频数据的翻译结果中 的音频翻译结果转发到与其连接的会议主机; 与所述目标音频数据对应的会议主机将所述目标音频数据的翻译结果中的音频翻译 结果进行播放。 2.根据权利要求1所述的系统,其特征在于,所述云平台服务器包括目标组件,基于此, 每个所述同声传译主机均与所述云平台服务器中的目标组件建立两个套接字,其中,一个 套接字用于传输文字信息,另一个套接字用于传输第一目标格式的音频流。 3.根据权利要求1所述的系统,其特征在于, 当所述云平台服务器中的线程从各个所述会议主机的套接字通道读写数据时,若发现 没有数据可读时,则该线所述的系统,其特征在于,所述云平台服务器通过所述目标连接通道 向所述同声传译服务器发送所述目标音频数据的过程,包括: 所述云平台服务器通过所述目标连接通道向所述同声传译服务器发送与所述目标音 频数据对应的同声传译数据包; 其中,所述同声传译数据包包括所述目标音频数据的开始帧、所述目标音频数据的语 种、所述目标音频数据的音频采样率以及所述目标音频数据的语音合成结果配置信息。 5.根据权利要求4所述的系统,其特征在于,所述同声传译服务器接收所述目标音频数 据后,对所述目标音频数据进行处理后将与所述目标音频数据对应的翻译结果发送给所述 2 2 CN 117119108 A 权利要求书 2/3页 云平台服务器的过程,包括: 所述同声传译服务器接收所述目标音频数据对应的同声传译数据包之后,识别所述目 标音频数据的开始帧、所述目标音频数据的语种、所述目标音频数据的音频采样率以及所 述目标音频数据的语音合成结果配置信息; 所述同声传译服务器依据所述目标音频数据的开始帧、所述目标音频数据的语种、所 述目标音频数据的音频采样率以及所述目标音频数据的语音合成结果配置信息,回调所述 目标音频数据的文字翻译结果以及第二目标格式的音频翻译结果; 所述同声传译服务器将所述目标音频数据的文字翻译结果以及第二目标格式的音频 翻译结果发送所述云平台服务器。 6.根据权利要求1所述的系统,其特征在于,所述同声传译服务器接收所述目标访问请 求,并解析所述目标访问请求之后,返回响应信息给所述云平台服务器,并与其建立目标连 接通道的过程,包括: 所述同声传译服务器接收所述目标访问请求; 所述同声传译服务器解析所述目标访问请求中的目标信息; 所述同声传译服务器依据所述目标信息,将当前与所述云平台服务器的连接方式升级 为目标连接方式; 所述同声传译服务器返回关于与所述云平台服务器的连接方式的响应信息给所述云 平台服务器,并依据所述目标连接方式与所述云平台服务器建立目标连接通道。 7.根据权利要求1‑6任一项所述的系统,其特征在于,所述会议主机支持至少两种不同 的语种传译,所述会议主机提供至少两种语种模式供用户选择。 8.一种同声传译方法,其特征在于,应用于权利要求1‑7任一项所述的同声传译系统, 该方法包括: 利用麦克风收集发言人的目标音频数据; 将所述目标音频数据传输给与所述麦克风连接的会议主机; 通过所述会议主机将所述目标音频数据传到与所述会议主机连接的同声传译主机; 通过所述同声传译主机将所述目标音频数据传送给与所述同声传译主机连接的云平 台服务器; 调用所述云平台服务器向同声传译服务器发起一个目标访问请求,其中,所述目标访 问请求包括目标信息; 通过所述同声传译服务器接收所述目标访问请求,并解析所述目标访问请求之后,返 回响应信息给所述云平台服务器,并为所述同声传译服务器与所述云平台服务器建立目标 连接通道,以供所述云平台服务器通过所述目标连接通道向所述同声传译服务器发送所述 目标音频数据; 利用所述同声传译服务器对所述目标音频数据进行处理,并将与所述目标音频数据的 翻译结果发送给所述云平台服务器; 通过所述云平台服务器接收所述同声传译服务器发送的所述目标音频数据的翻译结 果,并将其发送给与所述目标音频数据对应的同声传译主机; 利用与所述目标音频数据对应的同声传译主机接收所述目标音频数据的翻译结果,并 显示所述目标音频数据的翻译结果中的文字翻译结果,并将所述目标音频数据的翻译结果 3 3 CN 117119108 A 权利要求书 3/3页 中的音频翻译结果转发到与其连接的会议主机; 利用所述目标音频数据对应的会议主机播放所述目标音频数据的翻译结果中的音频 翻译结果。 9.一种同声传译设备,其特征在于,包括:一个或多个处理器,以及存储器; 所述存储器中存储有计算机可读指令,所述计算机可读指令被所述一个或多个处理器 执行时,实现如权利要求8所述同声传译方法的步骤。 10.一种可读存储介质,其特征在于:所述可读存储介质中存储有计算机可读指令,所 述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器实现如权利要求8 所述同声传译方法的步骤。 4 4 CN 117119108 A 说明书 1/11页 同声传译系统、方法、设备及可读存储介质 技术领域 [0001] 本申请涉及同声传译技术领域,尤其涉及一种同声传译系统、方法、设备及可读存 储介质。 背景技术 [0002] 随着科学技术的发展,同声传译技术发展得越来越好,衍生了不少同声传译产品, 基于智能语音和语言技术,常见的同声传译产品可以提供全场景不同语种实时翻译,可以 面向会议、展会、办公等场景提供标准服务、企业服务,构建多层次生态的服务体系,通过同 声传译的相关产品提供多国语种的实时转写翻译及上屏展示、多国语种同传、多国语种语 音合成、会议速记、会议记录分享等一体化同传服务。例如,有些常见的同声传译产品可以 支持悬浮字幕、移动终端直播、定制优化,以及提高更类似于演讲形式的同声传译服务。 [0003] 但是,传统的同声传译产品在应用在多人会议中时,一般仅能提供对主讲人一人 的同声传译服务,其他与会人员则很难使用该服务,无法实现音频多路复用,并且常见的同 声传译产品可以支持传译的语种的数量有限,无法满足多人会议的同声传译服务需求。 发明内容 [0004] 本申请旨在至少能解决上述的技术缺陷之一,有鉴于此,本申请提供了一种同声 传译系统、方法、设备及可读存储介质,用于解决现有技术中同声传译服务无法满足多人会 议的同声传译需求的技术缺陷。 [0005] 一种同声传译系统,该系统包括:同声传译服务器,云平台服务器、至少一个同声 传译主机、至少一个会议主机以及至少一个麦克风; [0006] 其中, [0007] 所述同声传译服务器与所述云平台服务器连接; [0008] 所述云平台服务器与各个所述同声传译主机连接; [0009] 每个所述同声传译主机连接一个所述会议主机,每个所述会议主机连接至少一个 所述麦克风; [0010] 每个所述会议主机通过与其连接的各个所述麦克风采集发言人的目标音频数据; [0011] 每个所述会议主机将所述目标音频数据传到与其连接的同声传译主机; [0012] 各个所述同声传译主机将所述目标音频数据传送给所述云平台服务器; [0013] 所述云平台服务器在接收到所述目标音频数据后,向所述同声传译服务器发起一 个目标访问请求,其中,所述目标访问请求包括目标信息; [0014] 所述同声传译服务器接收所述目标访问请求,并解析所述目标访问请求之后,返 回响应信息给所述云平台服务器,并与其建立目标连接通道; [0015] 所述云平台服务器通过所述目标连接通道向所述同声传译服务器发送所述目标 音频数据; [0016] 所述同声传译服务器接收所述目标音频数据后,对所述目标音频数据进行处理后 5 5 CN 117119108 A 说明书 2/11页 将与所述目标音频数据对应的翻译结果发送给所述云平台服务器; [0017] 所述云平台服务器接收所述目标音频数据的翻译结果后,将其发送给与其对应的 同声传译主机; [0018] 与所述目标音频数据对应的同声传译主机接收所述目标音频数据的翻译结果后 将所述目标音频数据的翻译结果中的文字翻译结果显示,并将所述目标音频数据的翻译结 果中的音频翻译结果转发到与其连接的会议主机; [0019] 与所述目标音频数据对应的会议主机将所述目标音频数据的翻译结果中的音频 翻译结果进行播放。 [0020] 优选地,所述云平台服务器包括目标组件,基于此,每个所述同声传译主机均与所 述云平台服务器中的目标组件建立两个套接字,其中,一个套接字用于传输文字信息,另一 个套接字用于传输第一目标格式的音频流。 [0021] 优选地,当所述云平台服务器中的线程从各个所述会议主机的套接字通道读写数 据时,若发现没有数据可读时,则该线] 优选地,所述云平台服务器通过所述目标连接通道向所述同声传译服务器发送所 述目标音频数据的过程,包括: [0023] 所述云平台服务器通过所述目标连接通道向所述同声传译服务器发送与所述目 标音频数据对应的同声传译数据包; [0024] 其中,所述同声传译数据包包括所述目标音频数据的开始帧、所述目标音频数据 的语种、所述目标音频数据的音频采样率以及所述目标音频数据的语音合成结果配置信 息。 [0025] 优选地,所述同声传译服务器接收所述目标音频数据后,对所述目标音频数据进 行处理后将与所述目标音频数据对应的翻译结果发送给所述云平台服务器的过程,包括: [0026] 所述同声传译服务器接收所述目标音频数据对应的同声传译数据包之后,识别所 述目标音频数据的开始帧、所述目标音频数据的语种、所述目标音频数据的音频采样率以 及所述目标音频数据的语音合成结果配置信息; [0027] 所述同声传译服务器依据所述目标音频数据的开始帧、所述目标音频数据的语 种、所述目标音频数据的音频采样率以及所述目标音频数据的语音合成结果配置信息,回 调所述目标音频数据的文字翻译结果以及第二目标格式的音频翻译结果; [0028] 所述同声传译服务器将所述目标音频数据的文字翻译结果以及第二目标格式的 音频翻译结果发送所述云平台服务器。 [0029] 优选地,所述同声传译服务器接收所述目标访问请求,并解析所述目标访问请求 之后,返回响应信息给所述云平台服务器,并与其建立目标连接通道的过程,包括: [0030] 所述同声传译服务器接收所述目标访问请求; [0031] 所述同声传译服务器解析所述目标访问请求中的目标信息; [0032] 所述同声传译服务器依据所述目标信息,将当前与所述云平台服务器的连接方式 升级为目标连接方式; [0033] 所述同声传译服务器返回关于与所述云平台服务器的连接方式的响应信息给所 述云平台服务器,并依据所述目标连接方式与所述云平台服务器建立目标连接通道。 [0034] 优选地,所述会议主机支持至少两种不同的语种传译,所述会议主机提供至少两 6 6 CN 117119108 A 说明书 3/11页 种语种模式供用户选择。 [0035] 一种同声传译方法,应用于前述介绍的任一项所述的同声传译系统,该方法包括: [0036] 利用麦克风收集发言人的目标音频数据; [0037] 将所述目标音频数据传输给与所述麦克风连接的会议主机; [0038] 通过所述会议主机将所述目标音频数据传到与所述会议主机连接的同声传译主 机; [0039] 通过所述同声传译主机将所述目标音频数据传送给与所述同声传译主机连接的 云平台服务器; [0040] 调用所述云平台服务器向同声传译服务器发起一个目标访问请求,其中,所述目 标访问请求包括目标信息; [0041] 通过所述同声传译服务器接收所述目标访问请求,并解析所述目标访问请求之 后,返回响应信息给所述云平台服务器,并为所述同声传译服务器与所述云平台服务器建 立目标连接通道,以供所述云平台服务器通过所述目标连接通道向所述同声传译服务器发 送所述目标音频数据; [0042] 利用所述同声传译服务器对所述目标音频数据进行处理,并将与所述目标音频数 据的翻译结果发送给所述云平台服务器; [0043] 通过所述云平台服务器接收所述同声传译服务器发送的所述目标音频数据的翻 译结果,并将其发送给与所述目标音频数据对应的同声传译主机; [0044] 利用与所述目标音频数据对应的同声传译主机接收所述目标音频数据的翻译结 果,并显示所述目标音频数据的翻译结果中的文字翻译结果,并将所述目标音频数据的翻 译结果中的音频翻译结果转发到与其连接的会议主机; [0045] 利用所述目标音频数据对应的会议主机播放所述目标音频数据的翻译结果中的 音频翻译结果。 [0046] 一种同声传译设备,包括:一个或多个处理器,以及存储器; [0047] 所述存储器中存储有计算机可读指令,所述计算机可读指令被所述一个或多个处 理器执行时,实现如前述介绍所述同声传译方法的步骤。 [0048] 一种可读存储介质:所述可读存储介质中存储有计算机可读指令,所述计算机可 读指令被一个或多个处理器执行时,使得一个或多个处理器实现如前述介绍所述同声传译 方法的步骤。 [0049] 从以上介绍的技术方案可以看出,当需要在多人会议中为多人提供不同语种的同 声传译服务实,本申请实施例可以提供一种同声传译系统,该同声传译系统可以包括:同声 传译服务器,云平台服务器、至少一个同声传译主机、至少一个会议主机以及至少一个麦克 风;其中,同声传译服务器可以与云平台服务器连接;云平台服务器可以与各个同声传译主 机连接;每个同声传译主机可以连接一个会议主机,而每个会议主机可以连接至少一个麦 克风;在实际应用过程中,每个会议主机可以通过与其连接的各个麦克风采集不同的发言 人的目标音频数据;每个会议主机在收集不同的发言人的目标音频数据之后,还可以将所 收集的目标音频数据传到与其连接的同声传译主机;各个同声传译主机在接收到与其连接 的会议主机发送的目标音频数据之后,可以进一步将目标音频数据传送给云平台服务器; 而云平台服务器在接收到与其连接的云平台服务器发送的目标音频数据之后,可以进一步 7 7 CN 117119108 A 说明书 4/11页 向同声传译服务器发起一个目标访问请求,其中,目标访问请求可以包括目标信息;通过该 目标信息,同声传译服务器在接收所述目标访问请求,可以解析目标访问请求,并返回响应 信息给云平台服务器,并可以与云平台服务器建立目标连接通道;以便云平台服务器可以 通过目标连接通道向同声传译服务器发送所接收的目标音频数据;同声传译服务器在接收 云平台服务器发送的目标音频数据之后,可以对目标音频数据进行处理,由此可以得到目 标音频数据对应的翻译结果,并在处理目标音频数据之后将与目标音频数据的翻译结果发 送给云平台服务器;云平台服务器在接收目标音频数据的翻译结果后,可以将目标音频数 据的翻译结果发送给与其对应的同声传译主机;目标音频数据对应的同声传译主机在接收 目标音频数据的翻译结果之后,可以进一步将目标音频数据的翻译结果中的文字翻译结果 显示在同声传译主机上,并可以将目标音频数据的翻译结果中的音频翻译结果转发到与其 连接的会议主机上;以便目标音频数据对应的会议主机可以播放目标音频数据的翻译结果 中的音频翻译结果。 [0050] 由上述介绍的技术方案可以看出,本申请实施例提供的同声传译系统,可以同时 与至少两个会议主机连接,并可以同步同声传译多个会议主机收集的音频数据,可以有效 实现多人与会的同声传译服务,同时还可以有效缩短同声传译的时延,可以高效地为多人 提供不同语种的同声传译服务,有效提高了会议的同声传译服务质量和效率。 附图说明 [0051] 为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本 申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可 以根据这些附图获得其它的附图。 [0052] 图1为本申请实施例提供的一种实现多人同声传译服务的系统架构示意图; [0053] 图2为本申请实施例提供的一种平台服务器与同时传译服务器的连接示意图; [0054] 图3为本申请实施例提供的一种netty组件的连接示意图; [0055] 图4为本申请实施例提供的一种实现同声传译方法的流程图; [0056] 图5为本申请实施例示例的一种同声传译装置结构示意图; [0057] 图6为本申请实施例公开的一种同声传译设备的硬件结构框图。 具体实施方式 [0058] 下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完 整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于 本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他 实施例,都属于本申请保护的范围。 [0059] 鉴于目前大部分的同声传译方案难以适应复杂多变的业务需求,为此,本申请人 研究了一种同声传译方案,该同声传译方案可以同时与至少两个会议主机连接,并可以同 步同声传译多个会议主机收集的音频数据,可以有效实现多人与会的同声传译服务,同时 还可以有效缩短同声传译的时延,可以高效地为多人提供不同语种的同声传译服务,有效 提高了会议的同声传译服务质量和效率。 8 8 CN 117119108 A 说明书 5/11页 [0060] 本申请实施例提供的方法可以用于众多通用或专用的计算装置环境或配置中。例 如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置、包括 以上任何装置或设备的分布式计算环境等等。 [0061] 本申请实施例提供一种同声传译方案,该方案可以应用于各种同声传译系统或会 议翻译系统中,亦可以应用在各种计算机终端或是智能终端中,其执行主体可以为计算机 终端或是智能终端的处理器或服务器。 [0062] 下面结合图1,介绍本申请实施例给出的可以实现多人同声传译服务的一种可选 系统架构,如图1所示,该同声传译系统可以包括:同声传译服务器,云平台服务器、至少一 个同声传译主机、至少一个会议主机以及至少一个麦克风; [0063] 其中, [0064] 同声传译服务器可以与云平台服务器连接; [0065] 其中, [0066] 图2示例一种平台服务器与同时传译服务器的连接示意图; [0067] 云平台服务器可以与各个同声传译主机连接; [0068] 每个同声传译主机可以连接一个会议主机,每个会议主机可以连接至少一个麦克 风; [0069] 每个会议主机可以通过与其连接的各个麦克风采集不同的发言人的目标音频数 据; [0070] 每个会议主机可以将目标音频数据传到与其连接的同声传译主机; [0071] 各个同声传译主机可以将目标音频数据传送给云平台服务器; [0072] 云平台服务器可以在接收到目标音频数据后,向述同声传译服务器发起一个目标 访问请求; [0073] 其中, [0074] 目标访问请求可以包括目标信息; [0075] 例如, [0076] 目标访问请求可以为HTTP访问请求; [0077] 其中, [0078] HTTP访问请求中包含了特殊的Upgrade:WebSocket信息,该Upgrade: WebSocket信息可以表明这是一个从HTTP访问请求升级到WebSocket的访问请求。 [0079] 其中, [0080] HTTP访问请求是指从客户端到服务器端的请求消息。 [0081] HTTP访问请求一般可以包括:消息首行中对资源的请求方法、资源的标识符及使 用的协议。 [0082] WebSocket为应用层协议,其定义在TCP/IP协议栈之上,WebSocket连接服务器的 URI通常以“ws”或者“wss”开头,ws开头的默认是TCP端口为80,wss开头的默认端口是443。 [0083] WebSocket协议是有RFC6455定义的,该协议分为两个部分:握手阶段和数据通信 阶段。 [0084] WebSocket是基于HTTP协议,或者说是借用了HTTP协议来完成一部分的握手。 [0085] 最初的握手阶段是HTTP协议,握手阶段完成之后,就可以切换到WebSocket协议, 9 9 CN 117119108 A 说明书 6/11页 并完全与HTTP协议脱离了。 [0086] WebSocket连接在建立通讯时,是由客户端主动发起连接请求,服务端被动监听。 [0087] 例如,本申请实施例中,云平台服务器就属于主动向同声传译服务器发起连接请 求,同声传译服务器属于被动监听。 [0088] 通讯一旦建立连接之后,通讯就是“全双工”模式了,也即是说服务端和客户端都 能在任何时间自由发送数据。 [0089] 因此,WebSocket连接特别适合服务端要主动向客户端推送实时数据的业务场景。 交互模式不再是“请求‑应答”的模式。 [0090] 通信的数据可以是基于帧的数据,也可以是传输文本数据,还可以直接传输二进 制数据。WebSocket连接传输数据的效率较高且比较稳定。 [0091] 因此,本申请中可以为云平台服务器与同声传译服务器之间建立WebSocket连接, 以便可以在云平台服务器与同声传译服务器之间高效地传输数据。 [0092] 同声传译服务器在接收所述目标访问请求之后,可以解析目标访问请求,并在解 析目标访问请求之后,返回响应信息给云平台服务器,并可以与云平台服务器建立目标连 接通道; [0093] 云平台服务器在与同声传译服务器建立了目标连接通道之后,可以进一步通过目 标连接通道向同声传译服务器高效地发送目标音频数据; [0094] 同声传译服务器在接收目标音频数据之后,可以对目标音频数据进行处理,由此 可以得到目标音频数据的翻译结果,并可以在得到目标音频数据的翻译结果后,再将与目 标音频数据对应的翻译结果发送给云平台服务器; [0095] 云平台服务器在接收目标音频数据的翻译结果之后,可以将目标音频数据的翻译 结果再发送给与其对应的同声传译主机。 [0096] 其中, [0097] 目标音频数据的翻译结果可以包括文字翻译结果和音频翻译结果。 [0098] 与目标音频数据对应的同声传译主机在接收目标音频数据的翻译结果之后,可以 将目标音频数据的翻译结果中的文字翻译结果显示,并可以将目标音频数据的翻译结果中 的音频翻译结果转发到与其连接的会议主机;以便与目标音频数据对应的会议主机可以播 放目标音频数据的翻译结果中的音频翻译结果。 [0099] 在实际应用过程中,云平台服务器可以包括目标组件; [0100] 其中, [0101] 目标组件可以为netty组件。 [0102] netty组件为可以提供异步的、基于事件驱动的网络应用程序框架组件,netty组 件可以用以快速开发高性能、高可靠性的网络IO程序,是目前最流行的NIO框架组件。 [0103] netty组件可以适用于各种传输类型的统一API阻塞和非阻塞Socket;基于灵活且 可扩展的事件模型,netty组件可以清晰地分离关注点;可以用于高度可定制的线程模型‑ 单线程,一个或多个线] netty组件相比于传统IO程序,netty组件提供的性能更高、吞吐量更高、延迟更 低;netty组件可以有利于减少资源消耗;最小化地降低不必要的内存复制。 [0105] netty组件相比于传统的IO程序,可以获得完整的SSL/TLS和StartTLS支持,有利 10 10 CN 117119108 A 说明书 7/11页 于提高安全性。 [0106] 基于netty组件具有以上优势,在本申请实施例中利用netty组件,可以为多个会 议主机的连接单独创建更性能更高、安全性更高、便于管理的线] 基于此,每个同声传译主机均可以与云平台服务器中的目标组件建立两个套接 字,其中,一个套接字用于传输文字信息,另一个套接字用于传输第一目标格式的音频流。 [0108] 其中, [0109] 第一目标格式的音频流可以为pcm格式的音频流; [0110] 所谓套接字(Socket),是指对网络中不同主机上的应用进程之间进行双向通信的 端点的抽象。一个套接字为网络上进程通信的一端,可以提供应用层进程利用网络协议交 换数据的机制。 [0111] 从套接字(Socket)所处的地位来讲,套接字上联应用进程,下联网络协议栈,是应 用程序通过网络协议进行通信的接口,是应用程序与网络协议栈进行交互的接口。 [0112] 例如, [0113] 同声传译主机可以与云平台服务器中的netty组件建立两个TCP Socket,分别可 以用来传输文字信息和pcm格式的音频流。 [0114] 进一步地,当云平台服务器中的线程从各个会议主机的套接字通道读写数据时, 若云平台服务器发现其中没有数据可读时,则该云平台服务器的线程可以先处理其他任 务。 [0115] 例如, [0116] 图3示例了一种netty组件的连接示意图。 [0117] 如图3所示,netty的IO线程NioEventLoop由于聚合了多路复用器Selector,可以 同时并发处理成百上千个会议主机连接。 [0118] 当线程从会议主机Socket通道进行读写数据时,若发现没有数据可用时,该线程 可以进行其他任务。 [0119] 在实际应用过程中,线程通常将非阻塞IO的空闲时间用于在其他通道上执行IO操 作,所以单独的线程可以管理多个输入和输出通道。 [0120] 进一步地, [0121] 由上述介绍可知,本申请实施例提供的系统中,云平台服务器可以通过目标连接 通道向所述同声传译服务器发送目标音频数据,接下来介绍该过程,该过程可以包括如下: [0122] 云平台服务器通过目标连接通道向同声传译服务器发送与目标音频数据对应的 同声传译数据包; [0123] 其中, [0124] 同声传译数据包可以包括目标音频数据的开始帧,目标音频数据的语种、目标音 频数据的音频采样率以及目标音频数据的语音合成结果配置信息。 [0125] 进一步地,本申请实施例提供的系统中的同声传译服务器可以在接收目标音频数 据后,进一步对目标音频数据进行处理,并在对目标音频数据进行处理后,将与目标音频数 据对应的翻译结果发送给云平台服务器,接下来介绍该过程,该过程可以包括如下几个步 骤: [0126] 步骤S101,同声传译服务器接收所述目标音频数据对应的同声传译数据包之后, 11 11 CN 117119108 A 说明书 8/11页 识别目标音频数据的开始帧、目标音频数据的语种、目标音频数据的音频采样率以及目标 音频数据的语音合成结果配置信息; [0127] 步骤S102,同声传译服务器可以依据目标音频数据的开始帧、目标音频数据的语 种、目标音频数据的音频采样率以及目标音频数据的语音合成结果配置信息,回调目标音 频数据的文字翻译结果以及第二目标格式的音频翻译结果; [0128] 其中, [0129] 第二目标格式的音频翻译结果可以为MP3格式的音频翻译结果。 [0130] 例如, [0131] 云平台服务器在接收到会议主机发送的pcm格式的音频流之后,可以将其发送至 同声传译服务器。经过同声传译服务器处理之后,可以分别通过onMessage重载的方法,回 调pcm格式的音频流中的文字翻译结果以及MP3格式的音频翻译结果。 [0132] 步骤S103,同声传译服务器可以将目标音频数据的文字翻译结果以及第二目标格 式的音频翻译结果发送云平台服务器。 [0133] 例如, [0134] 云平台服务器可以通过TCP Socket连接传输文字翻译回调结果以及MP3格式的音 频翻译结果,最终在同声传译上的软件上显示以及会议主机上播放音频。 [0135] 进一步地,本申请实施例提供的系统的同声传译服务器还可以接收目标访问请 求,并可以解析所接收的目标访问请求,并在解析所接收的目标访问请求之后,返回响应信 息给云平台服务器,并与其建立目标连接通道,接下来介绍该过程,该过程可以包括如下几 个步骤: [0136] 步骤S201,同声传译服务器接收目标访问请求。 [0137] 其中, [0138] 目标访问请求可以为HTTP访问请求。 [0139] 步骤S202,同声传译服务器解析目标访问请求中的目标信息。 [0140] 其中, [0141] 目标信息可以为HTTP访问请求中包含的特殊的Upgrade:WebSocket信息,该 Upgrade:WebSocket信息可以表明这是一个从HTTP访问请求升级到WebSocket的访问请 求。 [0142] 步骤S203,同声传译服务器依据目标信息,将当前与所述云平台服务器的连接方 式升级为目标连接方式。 [0143] 其中, [0144] 目标连接方式可以为WebSocket连接方式。 [0145] 步骤S204,同声传译服务器返回关于与云平台服务器的连接方式的响应信息给云 平台服务器,并依据目标连接方式与所述云平台服务器建立目标连接通道。 [0146] 例如, [0147] 如图2所示,云平台服务器在向同声传译服务器发起一个HTTP访问请求,这个访问 请求头中包含了特殊的Upgrade:WebSocket信息,该信息表明这是一个从HTTP访问升级 到WebSocket的请求,同声传译服务器在解析这个HTTP访问请求之后,可以返回响应信息给 云平台服务器,并与云平台服务器建立WebSocket连接通道。 12 12 CN 117119108 A 说明书 9/11页 [0148] 进一步地,本申请实施例提供的系统的会议主机可以支持至少两种不同的语种传 译,每个会议主机可以提供至少两种语种模式供用户选择,用户可以根据个人喜好来选择 所喜欢的语种模式。 [0149] 由上述介绍的技术方案来看,与现有技术相比,本申请实施例提供的方案同声传 译速度较快,延时可控制内2到3秒内传译出结果;使用不同串口以及多线程的方式,可以达 到多人与会以及最多10台会议主机多并发同时会议的效果;传译结果亦能直接在会议主机 上进行显示;支持多语种传译,语种亦能通过界面操作进行选择。 [0150] 接下来,结合图4介绍一种可以应用于前述介绍的同声传译系统的同声传译方法, 如图4所示,该方法可以包括如下几个步骤: [0151] 步骤S301,利用麦克风收集发言人的目标音频数据。 [0152] 步骤S302,将目标音频数据传输给与麦克风连接的会议主机。 [0153] 步骤S303,通过会议主机将目标音频数据传到与会议主机连接的同声传译主机。 [0154] 步骤S304,通过同声传译主机将目标音频数据传送给与同声传译主机连接的云平 台服务器。 [0155] 步骤S305,调用云平台服务器向同声传译服务器发起一个目标访问请求,其中,目 标访问请求包括目标信息。 [0156] 步骤S306,通过同声传译服务器接收所述目标访问请求,并解析目标访问请求之 后,返回响应信息给云平台服务器,并为同声传译服务器与所述云平台服务器建立目标连 接通道,以供云平台服务器通过目标连接通道向同声传译服务器发送目标音频数据。 [0157] 步骤S307,利用同声传译服务器对目标音频数据进行处理,并将与目标音频数据 的翻译结果发送给云平台服务器; [0158] 步骤S308,通过云平台服务器接收同声传译服务器发送的目标音频数据的翻译结 果,并将其发送给与目标音频数据对应的同声传译主机; [0159] 步骤S309,利用与目标音频数据对应的同声传译主机接收目标音频数据的翻译结 果,并显示目标音频数据的翻译结果中的文字翻译结果,并将目标音频数据的翻译结果中 的音频翻译结果转发到与其连接的会议主机。 [0160] 步骤S310,利用目标音频数据对应的会议主机播放目标音频数据的翻译结果中的 音频翻译结果。 [0161] 由上述介绍的技术方案可以看出,本申请实施例提供的同声传译系统,可以同时 与至少两个会议主机连接,并可以同步同声传译多个会议主机收集的音频数据,可以有效 实现多人与会的同声传译服务,同时还可以有效缩短同声传译的时延,可以高效地为多人 提供不同语种的同声传译服务,有效提高了会议的同声传译服务质量和效率。 [0162] 其中,上述同声传译方法的具体处理流程,可以参照前文同声传译系统部分相关 介绍,此处不再赘述。 [0163] 下面对本申请实施例提供的同声传译装置进行描述,下文描述的同声传译装置与 上文描述的同声传译方法可相互对应参照。 [0164] 参见图5,图5为本申请实施例公开的一种同声传译装置结构示意图。 [0165] 如图5所示,该同声传译装置可以包括: [0166] 第一处理单元101,用于利用麦克风收集发言人的目标音频数据; 13 13 CN 117119108 A 说明书 10/11页 [0167] 第二处理单元102,用于将所述目标音频数据传输给与所述麦克风连接的会议主 机; [0168] 第三处理单元103,用于通过所述会议主机将所述目标音频数据传到与所述会议 主机连接的同声传译主机; [0169] 第四处理单元104,用于通过所述同声传译主机将所述目标音频数据传送给与所 述同声传译主机连接的云平台服务器; [0170] 第五处理单元105,用于调用所述云平台服务器向同声传译服务器发起一个目标 访问请求,其中,所述目标访问请求包括目标信息; [0171] 第六处理单元106,用于通过所述同声传译服务器接收所述目标访问请求,并解析 所述目标访问请求之后,返回响应信息给所述云平台服务器,并为所述同声传译服务器与 所述云平台服务器建立目标连接通道,以供所述云平台服务器通过所述目标连接通道向所 述同声传译服务器发送所述目标音频数据; [0172] 第七处理单元107,用于利用所述同声传译服务器对所述目标音频数据进行处理, 并将与所述目标音频数据的翻译结果发送给所述云平台服务器; [0173] 第八处理单元108,用于通过所述云平台服务器接收所述同声传译服务器发送的 所述目标音频数据的翻译结果,并将其发送给与所述目标音频数据对应的同声传译主机; [0174] 第九处理单元109,用于利用与所述目标音频数据对应的同声传译主机接收所述 目标音频数据的翻译结果,并显示所述目标音频数据的翻译结果中的文字翻译结果,并将 所述目标音频数据的翻译结果中的音频翻译结果转发到与其连接的会议主机; [0175] 第十处理单元110,用于利用所述目标音频数据对应的会议主机播放所述目标音 频数据的翻译结果中的音频翻译结果。 [0176] 从以上介绍的技术方案可以看出,当需要在多人会议中为多人提供不同语种的同 声传译服务实,本申请实施例可以提供一种同声传译装置,该同声传译装置可以包括:同声 传译服务器,云平台服务器、至少一个同声传译主机、至少一个会议主机以及至少一个麦克 风;其中,同声传译服务器可以与云平台服务器连接;云平台服务器可以与各个同声传译主 机连接;每个同声传译主机可以连接一个会议主机,而每个会议主机可以连接至少一个麦 克风;在实际应用过程中,每个会议主机可以通过与其连接的各个麦克风采集不同的发言 人的目标音频数据;每个会议主机在收集不同的发言人的目标音频数据之后,还可以将所 收集的目标音频数据传到与其连接的同声传译主机;各个同声传译主机在接收到与其连接 的会议主机发送的目标音频数据之后,可以进一步将目标音频数据传送给云平台服务器; 而云平台服务器在接收到与其连接的云平台服务器发送的目标音频数据之后,可以进一步 向同声传译服务器发起一个目标访问请求,其中,目标访问请求可以包括目标信息;通过该 目标信息,同声传译服务器在接收所述目标访问请求,可以解析目标访问请求,并返回响应 信息给云平台服务器,并可以与云平台服务器建立目标连接通道;以便云平台服务器可以 通过目标连接通道向同声传译服务器发送所接收的目标音频数据;同声传译服务器在接收 云平台服务器发送的目标音频数据之后,可以对目标音频数据进行处理,由此可以得到目 标音频数据对应的翻译结果,并在处理目标音频数据之后将与目标音频数据的翻译结果发 送给云平台服务器;云平台服务器在接收目标音频数据的翻译结果后,可以将目标音频数 据的翻译结果发送给与其对应的同声传译主机;目标音频数据对应的同声传译主机在接收 14 14 CN 117119108 A 说明书 11/11页 目标音频数据的翻译结果之后,可以进一步将目标音频数据的翻译结果中的文字翻译结果 显示在同声传译主机上,并可以将目标音频数据的翻译结果中的音频翻译结果转发到与其 连接的会议主机上;以便目标音频数据对应的会议主机可以播放目标音频数据的翻译结果 中的音频翻译结果。 [0177] 由上述介绍的技术方案可以看出,本申请实施例提供的同声传译装置,可以同时 与至少两个会议主机连接,并可以同步同声传译多个会议主机收集的音频数据,可以有效 实现多人与会的同声传译服务,同时还可以有效缩短同声传译的时延,可以高效地为多人 提供不同语种的同声传译服务,有效提高了会议的同声传译服务质量和效率。 [0178] 其中,上述同声传译装置所包含的各个单元的具体处理流程,可以参照前文同声 传译方法部分相关介绍,此处不再赘述。 [0179] 本申请实施例提供的同声传译装置可应用于同声传译设备,如终端:手机、电脑 等。可选的,图6示出了同声传译设备的硬件结构框图,参照图6,同声传译设备的硬件结构 可以包括:至少一个处理器1,至少一个通信接口2,至少一个存储器3和至少一个通信总线] 在本申请实施例中,处理器1、通信接口2、存储器3、通信总线的数量为至少一个, 且处理器1、通信接口2、存储器3通过通信总线完成相互间的通信。 [0181] 处理器1可能是一个中央处理器CPU,或者是特定集成电路ASIC(Application Specific Integrated Circuit),或者是被配置成实施本申请实施例的一个或多个集成电 路等; [0182] 存储器3可能包含高速RAM存储器,也可能还包括非易失性存储器(non‑volatile memory)等,例如至少一个磁盘存储器; [0183] 其中,存储器存储有程序,处理器可调用存储器存储的程序,所述程序用于:实现 前述终端同声传译方案中的各个处理流程。 [0184] 本申请实施例还提供一种可读存储介质,该存储介质可存储有适于处理器执行的 程序,所述程序用于:实现前述终端在同声传译方案中的各个处理流程。 [0185] 最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将 一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作 之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意 在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那 些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者 设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排 除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。 [0186] 本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他 实施例的不同之处,各个实施例之间相同相似部分互相参见即可。 [0187] 对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。 对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的 一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。各个实施例 之间可以相互组合。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本 文所公开的原理和新颖特点相一致的最宽的范围。 15 15 CN 117119108 A 说明书附图 1/6页 图1 16 16 CN 117119108 A 说明书附图 2/6页 图2 17 17 CN 117119108 A 说明书附图 3/6页 图3 18 18 CN 117119108 A 说明书附图 4/6页 图4 19 19 CN 117119108 A 说明书附图 5/6页 图5 20 20 CN 117119108 A 说明书附图 6/6页 图6 21 21
2、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问加。
3、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
4、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
创业基础(暨南)中国大学MOOC慕课 章节测验期末(期末考试题目从章节测验中选出,题目没对上,可以在章节测验中查找).docx
2025至2030年中国可可豆市场规模现状及投资规划建议报告.docx
原创力文档创建于2008年,本站为文档C2C交易模式,即用户上传的文档直接分享给其他用户(可下载、阅读),本站只是中间服务平台,本站所有文档下载所得的收益归上传人所有。原创力文档是网络服务平台方,若您的权利被侵害,请发链接和相关诉求至 电线) ,上传者