珲春| 临澧| 崇信| 津南| 阜平| 青神| 冕宁| 衡南| 廉江| 金佛山| 屯留| 宝兴| 晋城| 互助| 元氏| 分宜| 龙州| 台州| 广元| 镇远| 南漳| 景泰| 沽源| 洛川| 泰和| 汉阳| 猇亭| 丹凤| 樟树| 施秉| 乌兰| 攸县| 吴堡| 孟村| 潜江| 锦州| 鲁甸| 白云矿| 阳春| 庆云| 沛县| 揭阳| 华容| 蒙阴| 宁县| 湖口| 巴里坤| 青岛| 衡水| 松阳| 阜新市| 肇源| 大余| 二连浩特| 柘荣| 广宗| 隆安| 容城| 永平| 威海| 玛曲| 大名| 额尔古纳| 西峡| 梁平| 云林| 吉木乃| 高县| 牙克石| 黔西| 香河| 蔚县| 宣化县| 泸水| 婺源| 桐梓| 奈曼旗| 双柏| 丁青| 渝北| 陵县| 正阳| 开江| 黔西| 银川| 盐田| 竹溪| 桦川| 凌海| 荣县| 宁夏| 黄梅| 钟山| 昌宁| 沂源| 绿春| 保靖| 宁强| 雅江| 临城| 永清| 揭东| 松潘| 信宜| 大荔| 滑县| 津市| 麟游| 浦口| 朝阳县| 呼伦贝尔| 都安| 崇左| 万州| 资溪| 陇川| 增城| 七台河| 筠连| 阳信| 扶绥| 石门| 扎兰屯| 内黄| 大宁| 黄石| 尉氏| 英山| 天峻| 将乐| 察哈尔右翼中旗| 南阳| 察哈尔右翼前旗| 让胡路| 长垣| 桂阳| 若羌| 新城子| 景东| 喀什| 蓬莱| 岐山| 清水| 宁安| 甘肃| 天峨| 济南| 嘉鱼| 伊川| 汕尾| 金平| 龙陵| 汉中| 富裕| 绵阳| 长顺| 中阳| 石河子| 万荣| 乳源| 临武| 陈巴尔虎旗| 东平| 武隆| 墨玉| 旬邑| 吴桥| 益阳| 察哈尔右翼中旗| 安徽| 杜尔伯特| 文登| 万宁| 四川| 三江| 海盐| 石屏| 来宾| 留坝| 宝清| 石柱| 郸城| 任丘| 鹤庆| 铜陵市| 德庆| 贡嘎| 垣曲| 安塞| 大城| 鞍山| 鞍山| 西沙岛| 上蔡| 阿荣旗| 彰武| 沛县| 都兰| 来宾| 新宾| 海阳| 札达| 永春| 营山| 循化| 屯留| 麻江| 郏县| 惠山| 德安| 新城子| 单县| 崇左| 零陵| 镶黄旗| 临朐| 莘县| 堆龙德庆| 番禺| 英山| 东莞| 广元| 德江| 长安| 香河| 普兰| 泉港| 大同县| 禹城| 吉水| 宁夏| 昂昂溪| 蒙山| 巴林右旗| 陵川| 南安| 马尔康| 永寿| 伊川| 屯昌| 蓬溪| 昌平| 齐齐哈尔| 夏津| 克东| 巍山| 漳县| 德钦| 洪洞| 平武| 芒康| 嘉禾| 赣县| 东兰| 察哈尔右翼中旗| 九龙| 河口| 阿勒泰| 绥化| 当阳| 勉县| 微山| 芜湖县| 宜兴| 棋牌娱乐网
|
|
51CTO旗下网站
|
|
移动端

看与说同享 虎牙采用人景分离技术打造不遮脸智能弹幕

近日,游戏直播平台虎牙发布了AI智能弹幕功能,满足了用户“看”与“说”同时进行的需求,当用户在弹幕设置中选择该功能后,弹幕就会自动躲避人像。也就是说,在直播过程中,用户可以清晰的看到主播的整个脸以及整个轮廓。

作者:王雪燕来源:51CTO|2018-11-14 14:47

【51CTO.com原创稿件】“(Dan)幕”这个词源于射击游戏,弹幕网站也源于此, Niconico视频网站是相对较早拥有弹幕功能的网站。随后,弹幕网站凭借共鸣性、易操作性,及人人都能享受的再创作娱乐化与对话语权等特性风靡。时至今日,我们在观影、追剧、直播时,发弹幕已成为大部分用户的行为习惯。常规弹幕目前实现了弹幕与视频分离,用户可二选一,很好的规避了弹幕满天飞的混沌状态。但在直播、二次元等诸多的场景中,用户更希望在不压缩视频质量的情况下同时享受“看”与“说”。

自动躲避人像的弹幕

近日,游戏直播平台虎牙发布了AI智能弹幕功能,满足了用户“看”与“说”同时进行的需求,当用户在弹幕设置中选择该功能后,弹幕就会自动躲避人像。也就是说,在直播过程中,用户可以清晰的看到主播的整个脸以及整个轮廓。

虎牙AI产品总监徐子豪表示,在“大主播直播间、上电视玩法进行时”等场景下,常常会出现高密度弹幕的现象,高密度弹幕会遮挡住主播,对于希望看到主播的用户来说是一种干扰,而关闭弹幕又让用户无法看到精彩弹幕内容且无法与其他用户进行互动交流。为了改善这种现状,许多视频企业开发出了精简弹幕、半屏显示以及调节弹幕透明度等多种手段,但这些依然不是最完美的解决方案。

虎牙直播采用背景分割技术,能较好处理人和背景分离,实现智能弹幕。这项功能在虎牙娱乐品类得以实践,而在有效分割了游戏主角和背景方面,虎牙表示后续该功能会继续在游戏品类进行尝试拓展。

AI智能弹幕背后的那些技术

虎牙AI技术负责人吴晓东表示,AI智能弹幕功能背后有两大核心技术,智能识别人像和人像掩码的智能压缩。

实时端上智能识别人像。实时端上智能人像动态识别的技术原理是利用计算机图像分析、模型理论、人工智能及模式识别技术的非接触性高端模式识别技术,从复杂的图像场景中检测出特征人脸信息,并进行匹配识别的智能分析过程。

人像掩码的智能压缩。 利用人工智能技术识别出 “人像”区域像素集掩码(mask),把掩码用智能压缩技术 压入视频流,观众端再把掩码跟视频帧同步解压。帧跟掩码一一对应,就可以知道帧中人像的精确位置。

在专访中,虎牙AI技术负责人吴晓东向我们介绍了AI智能弹幕功能的特点:

  1. 常规处理弹幕的做法是“离线(Offline)”和云上处理,需要面对的只是识别问题;而虎牙是针对直播进行实时端上处理;
  2. 有的网站采用类似PS蒙版技术,采用人工方式为特定视频添加蒙版来模糊弹幕;而虎牙则采用人景分离技术,让人物与场景分离,让弹幕在人物之后,场景之前;
  3. AI智能弹幕与传统直播弹幕相比,在几乎不增加带宽的前提下,把每帧的mask随视频流编码。而常规方法在视频点播的中则需要大量的流量来支撑弹幕传输;

用“黑科技“营造极致用户体验

当问及识别、掩码压缩、帧与掩码对应等一系列操作,尤其在直播环境下,运维方面是不是要花费很大精力,也就是说,怎样确保用户体验不受到智能弹幕功能的影响?

虎牙AI技术负责人吴晓东这样回答,端上对AI体验最大的影响是计算量。 在虎牙设计AI弹幕功能时,就考虑到了算力受限的问题。故把人像识别,mask编码放在主播端进行实时计算,不会影响到用户的体验。在用户端,仅需要增加计算解码mask和mask掩码生成,计算量非常小。但是涉及到AI背景分割技术,游戏直播中落地的可能性还有待研究。

当前,AI技术已经在直播行业内容的生产、分发、消费、商业变现等多个关键环节进行尝试和落地。前期主要的贡献在于提升内容分发的效率,未来则会进一步变革直播内容的生产方式,提升生产效率。AI的核心技术包括语音识别、图像识别、自然语言处理,虎牙也会进一步把这些技术落地到直播视频的生产和分发中。

直播行业发展至今,从“千播大战”到“大浪淘沙”,再到“激烈厮杀”,直播平台签约头部主播从来都不惜重金。经过很长时间争夺,游戏直播市场格局逐渐稳定,AI智能弹幕功能更是为虎牙直播锦上添花。

【51CTO原创稿件,合作站点转载请注明原文作者和出处为51CTO.com】

【责任编辑:王雪燕 TEL:(010)68476606】

点赞 0
大家都在看
猜你喜欢
24H热文
一周话题
本月最赞

读 书 +更多

Java面向对象编程

Java是当前最流行的程序设计语言之一。本书以Java最新版本Java SE5为基础,涵盖了Java SE5最新特性,由浅入深地介绍了Java SE5的主要内容。...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊
北欧 小溪塔高中 华山中心医院 祥贝乡 阜蒙农场
沙埔镇 城门头南 庙岭乡 银滩路街道 古城东街
上青乡 白芒山 龙街乡 鲜肉包子 东坝地区
南川县 沿海 观音寺镇 上温布壕 安徽和县历阳镇
老虎机定位器 澳门大富豪网址 现金三公注册网址 牛牛游戏下载 现金骰宝 年度十大电子游戏 大小点游戏 玩什么游戏可以挣钱 电子游戏厅 方法奇葩赌博网 巴黎人网站 pt电子游戏哪个最会爆 澳门巴黎人游戏 澳门龙虎斗注册 澳门大富豪网站 押大小排行 真钱打牌 明升网站 十三水技巧 电子游戏下载 二十一点平台 现金网游戏开户平台 澳门百老汇游戏官网 皇博压大小 真钱捕鱼 跑马机游戏 赌博技巧 巴比伦赌场官网 现金三公 地下网址 捕鱼游戏技巧 英皇网站 手机玩游戏赚钱平台 现金网排行 pt电子游戏注册 赌博技巧 电脑玩游戏赚钱平台 海立方游戏 ag电子游戏排行 希尔顿官网 太阳网上压大小 现金赌钱游戏 现金棋牌游戏 真人网站网址 地下开户 九五至尊娱乐网址 澳门梭哈游戏官网 奇葩袖赌博网 鸿胜国际压大小 博狗扑克游戏 德州扑克游戏规则 庄闲代理 奔驰宝马老虎机下载 现金三公开户注册 免费试玩电子游戏 GT压大小 新濠天地注册 现金老虎机网站 纸牌赌博种类 乐天堂开户 澳门永利平台 电脑版捕鱼达人 玩电子游戏入门 斗牛游戏 bbin压大小 网上电子游戏网址 澳门网络下注平台 明升国际网址 明升娱乐 捕鱼达人电子游戏 mg电子游戏试玩 二十一点游戏赌场 澳门万利赌场官网 大小对比网站 现金电子游戏 电子游戏实用技术 老虎机破解器 澳门梭哈官网 澳门百老汇赌场注册 千炮捕鱼兑换现金 网上合法赌场 PT电子游戏 波克棋牌官方下载 天天棋牌 凤凰棋牌 美少女战士电子游戏 什么游戏可以赚人民币 银河国际娱乐 澳门番摊官网 澳门梭哈官网 胜博发电子游戏 电子游戏打鱼机 澳门现金网 大三巴网站 PT电子游戏 澳门银河国际娱乐 皇冠比分 老虎机 真钱斗地主 德州扑克游戏下载 申博 澳门金沙 澳门金沙 澳门金沙 申博 申博 申博 申博 申博 申博 申博 申博 澳门葡京 澳门葡京 澳门永利赌场 澳门永利赌场 澳门永利赌场 澳门永利赌场 澳门永利赌场 澳门百家乐 澳门百家乐 威尼斯人注册 威尼斯人注册 威尼斯人注册 威尼斯人注册 澳门葡京赌场 澳门葡京赌场 澳门葡京赌场 澳门葡京赌场 澳门葡京赌场 澳门葡京赌场 澳门葡京赌场 澳门葡京赌场 澳门葡京赌场 葡京赌场 葡京赌场 葡京赌场 必赢亚洲 必赢亚洲 必赢亚洲 必赢亚洲 必赢亚洲 必赢亚洲 必赢亚洲 必赢亚洲 必赢亚洲 必赢亚洲 必赢亚洲 必赢亚洲 葡京网址 葡京网址 葡京网址 葡京网址 葡京网址 永利 永利棋牌 永利棋牌 永利棋牌 永利棋牌 永利棋牌 永利棋牌 永利棋牌 永利棋牌 永利棋牌 永利棋牌 永利棋牌 现金网 现金网 现金网