不想横屏看视频?谷歌开源框架AutoFlip一键截出最精彩竖版视频

摘要:北京时间20200214关于【不想横屏看视频?谷歌开源框架AutoFlip一键截出最精彩竖版视频】的具体情况和说明,让www.pccjzh.cn新闻频道的以图文形式为您慢慢道来。

原标题:不想横屏看视频?谷歌开源框架AutoFlip一键截出最精彩竖版视频

选自谷歌博客

机器之心编译

参与:一鸣、思

裁剪视频不用愁,谷歌 AutoFlip 实现自动剪辑。视频尺寸、精彩内容通通自动化。

因为手机平板等各种终端设备层出不穷,制作人拍个视频还要剪裁成各种尺寸,以便分发到各种渠道。然而,如果要聚焦于核心内容,那么能追踪主体,并剪裁视频长宽尺寸的能力就必不可少了。

近日,谷歌开源了 AutoFlip 工具。这是一个开源的智能视频剪裁框架,其基于谷歌 MediaPipe 框架。

项目地址:https://github.com/google/mediapipe

在使用过程中,只需要将一段视频和目标维度(如截取的长宽比类型)作为输入,AutoFlip 会分析视频内容并提出一个优化路径和裁剪策略,最后输出一段视频。如下动图所示,我们可以选择各种剪裁长宽比与剪裁模式:

AutoFlip 是什么

视频裁剪三步走,检测镜头级的视频边界、分析视频内容然后再根据需求进行剪裁。

镜头检测

视频可被视为是一段没有中断的镜头或场景序列。为了检测是否发生了镜头的变化,AutoFlip 计算每一帧的色彩值,并和前一帧进行对比。如果色值的分布发生了明显变化,则标记镜头的改变。在得出剪辑策略前,AutoFlip 会缓存整个视频,用于对整个场景进行优化。

视频内容分析

剪辑

在每一帧找到了兴趣目标后,AutoFlip 自动选择优化策略——静态的、追拍或追踪的,这些取决于目标在视频中的行为。如下图所示,第一行是 AutoFlip 根据帧级的边界框追踪到的相机路径,第二行是平滑后的相机路径。经过平滑处理后,追踪效果还是比较理想的。

左图目标在画面中移动需要追踪相机路径;右图几乎固定在画面相同的位置,静态相机路径就足够了。

AutoFlip 有一个属性图,可以提供最佳效果或自定义需求的剪辑。如果覆盖所有需要的区域不能实现(如目标在一帧视频中显得太大),AutoFlip 则会自动切换到相对不那么激进的策略上。它会应用「信箱效应:letterbox effect」,在保持原始视频尺寸的同时添加屏幕黑边,让画面更自然。

对于右图要求视频囊括所有人脸,AutoFlip 会自动填充半透明黑边以满足设定的视频长宽比。

因为 AutoFlip 是 MediaPipe 的一部分,所以对于具体怎么使用,读者可查阅介绍文档

文档地址:https://github.com/google/mediapipe/blob/master/mediapipe/docs/autoflip.md

最后,和其它机器学习算法一样,AutoFlip 的性能会随着目标检测等能力的提升而大大加强,尤其是衍生出来的能力,例如采访镜头中的说话人检测或动漫中的动物脸检测等等。

当然,目前 AutoFlip 还有挺多提升的地方,尤其是当视频边缘有比较重要的文本信息等。谷歌后续也希望 AutoFlip 能进一步融合自然语言处理等技术实现更合理的视频智能剪裁。

原文地址:https://ai.googleblog.com/2020/02/autoflip-open-source-framework-for.html

本 文为机器之心编译, 转载请联系本公众号获得授权 。


查看更多

实时推荐

祥云办事处:退伍不退军人本色 坚守一线再战“沙场”
推荐 国产av在线播放 2020-02-20 17:50 824 7035
汉源交警“四个第一”助力复工复产道路交通管理
推荐 国产av在线播放 2020-02-20 17:50 148 7349
厨房万万不要买这两种电器了,入住就知缺点不少,懊悔当初没听劝
推荐 国产av在线播放 2020-02-20 17:50 366 2720
中欧班列(成都)境外订单不降反增 开行量较去年同期增长80%
推荐 国产av在线播放 2020-02-20 17:50 514 9455
株洲景炎学校外教老师力挺中国抗击疫情
推荐 国产av在线播放 2020-02-20 17:50 770 5992
那些抗“疫”的夫妻
推荐 国产av在线播放 2020-02-20 17:50 686 1306
特拉奥雷:愿意效力西班牙国家队,为入选将尽一切可能
推荐 国产av在线播放 2020-02-20 17:50 921 3358
单日出院人数破百 江汉方舱123人出院创纪录
推荐 国产av在线播放 2020-02-20 17:50 217 3460
原创 再融资热点不易“蹭”,华平股份发布定增预案,信披合规性遭问询
推荐 国产av在线播放 2020-02-20 17:50 370 7748
华侨华人战“疫”:隔不开的赤子心,斩不断的同胞情
推荐 国产av在线播放 2020-02-20 17:50 470 4767
热竞技足球看点,英超莱切斯特vs曼城 心态是关键
推荐 国产av在线播放 2020-02-20 17:50 108 1108
国网茶陵供电公司:“三零”服务复工企业获赞
推荐 国产av在线播放 2020-02-20 17:50 231 3190
社区党委书记张鲸:争当疫情防控一线排头兵
推荐 国产av在线播放 2020-02-20 17:50 597 5144
邹正丁海峰即将离队,鲁能青训两将竞争富力左后卫首发
推荐 国产av在线播放 2020-02-20 17:50 192 1503
西班牙队前景被看衰:传控打法很难重新崛起,而且还有了克星
推荐 国产av在线播放 2020-02-20 17:50 149 4073
临沭街道:抗击疫情最前沿,军人担当展风采
推荐 国产av在线播放 2020-02-20 17:50 882 6681
从真实的清宫档案入手,带你还原一个真实的清朝历史
推荐 国产av在线播放 2020-02-20 17:50 816 931
@嘉定市民,这项业务每周六将暂停对外办理!
推荐 国产av在线播放 2020-02-20 17:50 837 5696
战“疫”一线党旗红|赤峰市巴林左旗勠力同心战疫情,共克时艰有温度
推荐 国产av在线播放 2020-02-20 17:50 184 6838
师灵镇:强宣传战疫情抓统筹保稳定
推荐 国产av在线播放 2020-02-20 17:50 748 8536
历经275年的清朝,为什么被称为最弱的王朝
推荐 国产av在线播放 2020-02-20 17:50 396 1248
新召唤兽不止一只《大话手游》召唤兽蠃鱼今日揭晓
推荐 国产av在线播放 2020-02-20 17:50 138 5782
恩昆库:客场取胜减轻了压力,但第二回合什么事都会发生
推荐 国产av在线播放 2020-02-20 17:50 251 5209
“疫”之所向,力之所及
推荐 国产av在线播放 2020-02-20 17:50 377 1413
自贡已送2579名农民工乘专车返岗务工
推荐 国产av在线播放 2020-02-20 17:50 891 2166
平安租赁线上服务不停歇 践行社会责任保障中小企业正常经营
推荐 国产av在线播放 2020-02-20 17:50 822 9896
年轻人买车,想要运动+操控?推荐奕歌
推荐 国产av在线播放 2020-02-20 17:50 379 6828
简美式三居,客厅与餐厅只用吊顶隔断,没想到更加宽敞了
推荐 国产av在线播放 2020-02-20 17:50 124 8148
国家医保局:单位和个人可延期缓缴医保费
推荐 国产av在线播放 2020-02-20 17:50 864 9396
吉利开始研发带有病毒防范功能汽车
推荐 国产av在线播放 2020-02-20 17:50 585 9925
车晓气质真出众,身穿不规则西装连衣裙秀曼妙身材,短发依旧少女
推荐 国产av在线播放 2020-02-20 17:50 919 7901
彻夜不眠为肝火扰心,多梦则是心脾两虚,中医解读失眠,你是哪种
推荐 国产av在线播放 2020-02-20 17:50 297 5320
橄榄核雕中的刀客,叶奇华用雕工诠释别样风采
推荐 国产av在线播放 2020-02-20 17:50 210 2010
大庆钻探钻井三公司:技术员王磊“转行”口罩质检员
推荐 国产av在线播放 2020-02-20 17:49 771 9255
原创 李易峰王者归来,新剧搭档江疏影CP感爆棚,对打孙俪罗晋无压力?
推荐 国产av在线播放 2020-02-20 17:49 590 5783
日照市岚山区高兴镇:简约的婚礼 永恒的爱情
推荐 国产av在线播放 2020-02-20 17:49 834 2017
全方位助力千万卡友复工 车旺大卡打出新功能组合拳
推荐 国产av在线播放 2020-02-20 17:49 685 5939
肃州区官北沟社区 保卫小区的“哨兵”
推荐 国产av在线播放 2020-02-20 17:49 218 9259
身在异地心系家乡
推荐 国产av在线播放 2020-02-20 17:49 192 2386
贺州防控疫情值班人员不戴口罩,围成一圈打牌娱乐?
推荐 国产av在线播放 2020-02-20 17:49 507 3863
广东发布首批疫情防控民事行政案例 一台企拖欠公积金案撤诉
推荐 国产av在线播放 2020-02-20 17:49 625 3314
垦利:家校携手战疫,师生同心促学
推荐 国产av在线播放 2020-02-20 17:49 522 1274
1月轿车市场跌幅超20%,朗逸成功夺冠,日系、德系继续鏖战
推荐 国产av在线播放 2020-02-20 17:49 125 2083
有钱有名又如何?导演冯小刚近况,身体健康才是最重要的
推荐 国产av在线播放 2020-02-20 17:49 473 7504
北大人民医院确诊3例,复兴医院累计确诊34例!北京19日新发病例活动场所看这里
推荐 国产av在线播放 2020-02-20 17:49 320 9928
英超 27 轮裁判安排:奥利弗将执法切尔西 vs 热刺
推荐 国产av在线播放 2020-02-20 17:49 390 845
吉利入股蔚来并为其代工?若传言为真,谁更值得期待?
推荐 国产av在线播放 2020-02-20 17:49 676 4209
石爱作督导检查疫情防控和企业复工复产
推荐 国产av在线播放 2020-02-20 17:49 737 6816
哪里需要,我的岗位就在哪里
推荐 国产av在线播放 2020-02-20 17:49 488 4856
西固区税务局“不见面”服务助力企业运转
推荐 国产av在线播放 2020-02-20 17:49 970 6880
她因为“相貌平平”逃过一劫,逆袭最终成功上位太后,权倾朝野
推荐 国产av在线播放 2020-02-20 17:49 868 9704
蒋崇华指导洪山镇疫情防控工作
推荐 国产av在线播放 2020-02-20 17:49 564 3339
玩得挺嗨!鹈鹕球员参加新奥尔良狂欢节派对沉迷拍照
推荐 国产av在线播放 2020-02-20 17:49 498 2381
【共同战“疫”】打好公交防疫阻击战 保障交通安全有序运转
推荐 国产av在线播放 2020-02-20 17:49 578 4594
【共同战“疫”】镇长深入教育系统调研疫情防控工作
推荐 国产av在线播放 2020-02-20 17:49 340 1825
【党旗飘扬】疫情当前,老党员争当防疫“守门人”
推荐 国产av在线播放 2020-02-20 17:49 937 8844
从LF-30概念车到UX300e,雷克萨斯日内瓦车展看点前瞻
推荐 国产av在线播放 2020-02-20 17:49 776 8713
从“一线”到“一线”,“我不带头,谁带头?”
推荐 国产av在线播放 2020-02-20 17:49 353 7738
布朗:要重新投入比赛,我会转换成季后赛模式
推荐 国产av在线播放 2020-02-20 17:49 621 6362
塞维利亚足球俱乐部自6月进军以来,已经进入一个难以置信的状态
推荐 国产av在线播放 2020-02-20 17:49 594 1286
驰援日记丨​横跨长江,陈亚岗带队挥师南下!武汉最大4500床位的方舱医院今晚启用
推荐 国产av在线播放 2020-02-20 17:49 970 7772
科尔称库里需花时间融入现有阵容,格林调侃想买断加盟季后赛球队
推荐 国产av在线播放 2020-02-20 17:49 170 2019
舍小家顾大家 郑州慈善志愿者用爱筑起疫情防控“保护网”
推荐 国产av在线播放 2020-02-20 17:49 380 6123
疫情过后再退休,不差这一会儿
推荐 国产av在线播放 2020-02-20 17:49 794 1196
湖北农民拿出85年前欠条,红军借款400大洋,如今应该还多少
推荐 国产av在线播放 2020-02-20 17:49 218 1805
黄冈交警战胜病魔重返防疫一线 身边人零感染
推荐 国产av在线播放 2020-02-20 17:49 999 4376
兴文县人民医院:全力以赴 防控疫情
推荐 国产av在线播放 2020-02-20 17:49 394 8349
党员带好头 商丘古宋办事处耄耋夫妇主动请缨同战“疫”
推荐 国产av在线播放 2020-02-20 17:49 572 6665
谈到家庭用车,这台值得考虑!空间够大,百公里油耗不超过6L
推荐 国产av在线播放 2020-02-20 17:49 399 3084
昼夜不息飞天河 | 中国民航筑起畅通的空中运输大通道
推荐 国产av在线播放 2020-02-20 17:49 740 1642
一线医护日记(11)“穿上防护服,就感觉自己成了有超能力的战士”
推荐 国产av在线播放 2020-02-20 17:49 882 5924
一线医护日记(10)“我很清楚,每一个样本的检测结果都很重要”
推荐 国产av在线播放 2020-02-20 17:49 687 653
2020年澳大利亚留学条件及费用详解
推荐 国产av在线播放 2020-02-20 17:49 580 5015
爸爸是娱乐大佬,妈妈是绝色美女,22岁的她过生日被吐槽太奢华
推荐 国产av在线播放 2020-02-20 17:49 757 667
【战疫情】胡阿姨的牵挂……
推荐 国产av在线播放 2020-02-20 17:49 815 3401
原创 发布会直击丨保供应、稳价格,确保百姓菜篮子供应
推荐 国产av在线播放 2020-02-20 17:49 767 1244
每公里油费 6 毛,百公里加速仅 7 秒,号称是“德国人最爱”
推荐 国产av在线播放 2020-02-20 17:49 287 2862
增援不断!山东第十二批援助湖北医疗队今日出征
推荐 国产av在线播放 2020-02-20 17:49 647 5809
复古时尚正流行,每个人都可以引领潮流
推荐 国产av在线播放 2020-02-20 17:49 336 550
不纠结!8万元落地的BEIJING
推荐 国产av在线播放 2020-02-20 17:49 901 3387
新房装修,旧房改造,衣柜照这么设计,你一定不会后悔
推荐 国产av在线播放 2020-02-20 17:49 395 8301
33名“长春好人”吹响战疫“集结号”
推荐 国产av在线播放 2020-02-20 17:49 145 9816
原创 援黄石感控专家程科萍:医护安全容不得半点闪失
推荐 国产av在线播放 2020-02-20 17:49 182 4921
守护 | 我们多担些风险 基层就少些负担
推荐 国产av在线播放 2020-02-20 17:49 914 5965
郑爽将重归《花少4》,嘉宾都很好说话,这次估计撕不起来!
推荐 国产av在线播放 2020-02-20 17:49 679 6083
高营收低毛利叠加应收账款高企 天影股份IPO如何跨越影视寒冬?​
推荐 国产av在线播放 2020-02-20 17:49 676 8425
杨毅再讽韦德!苏群却发文力挺!到头来或是一场戏?球迷被耍了?
推荐 国产av在线播放 2020-02-20 17:49 937 5308
15万左右,有哪些值得入手的合资品牌中型SUV?
推荐 国产av在线播放 2020-02-20 17:49 392 8456
西媒:莫德里奇今夏决定未来 国米美职联二选一
推荐 国产av在线播放 2020-02-20 17:49 440 5354
开启未来电动化布局 雪佛兰首款电动SUV畅巡15.99万起售
推荐 国产av在线播放 2020-02-20 17:49 721 5014
热点聚焦 | 欧冠不在意?瓜迪奥拉强势表态下赛季必留曼城
推荐 国产av在线播放 2020-02-20 17:49 468 6838
湘潭市生态环境局湘潭县分局志愿者 红马甲走进社区
推荐 国产av在线播放 2020-02-20 17:49 701 4291
共联未来:华为这场线上发布会即将召开,或有首款5G平板电脑现身
推荐 国产av在线播放 2020-02-20 17:48 705 6559
快乐大本营复播,中国作家刘信达:何炅、谢娜想娱乐至死吗
推荐 国产av在线播放 2020-02-20 17:48 970 9302
2020热狗纽约演唱会演出时间地点详情介绍
推荐 国产av在线播放 2020-02-20 17:48 392 3496
这就是山东|潍坊高新区“云”家访 架起战“疫”连心桥
推荐 国产av在线播放 2020-02-20 17:48 822 7401
7.18万买台省油王,一箱油能跑918KM,L2驾驶辅助外观上档次
推荐 国产av在线播放 2020-02-20 17:48 213 991
卡西利亚斯是白色永远的守护神,他一直在伯纳乌等待夏天
推荐 国产av在线播放 2020-02-20 17:48 854 4499
开季重磅大戏!Supreme 正式发布2020 春夏上装系列
推荐 国产av在线播放 2020-02-20 17:48 217 6018
湖人?勇士?绿衫军?你知道NBA哪支球队最值钱吗?
推荐 国产av在线播放 2020-02-20 17:48 256 8052