订阅博客
收藏博客
微博分享
QQ空间分享

戒指尺寸,机器学习免费跑分神器:集成各大数据集,衔接GitHub就能用,还能验证论文成果,qqkj

频道:全民彩票计划 标签:李研静炼神劫 时间:2019年11月08日 浏览:223次 评论:0条

栗子 鱼羊 发自 凹非寺

量子位 报导 | 大众号 QbitAI

搞机器学习的小伙伴们,免不了要在各种数据集上,给AI模型跑分。

现在,Papers with Code(那个以论文搜代码的神器) 团队,推出了主动跑分服务,名叫sotabench,以跑遍一切开源模型为己任。

有了它,不必上传代码,只需联接GitHub项目,就有云端GPU帮你跑分;每次提交了新的commit,体系又会主动更新跑分。还有国际排行榜,能够调查各路强手的效果。

除了支撑各大干流数据集,还支撑用户上传自己的数据集。

也能够看看,他人的论文效果,究竟靠谱不靠谱。

比方说,fork一纸艺下Facebook的FixRes这个项目,装备一下评价文件:

戒指尺度,机器学习免费跑分神器:集成各大数据集,联接GitHub就能用,还能验证论文效果,qqkj
快修先生网点查询
广州旅行

然后一键相关,让Sotabench的GPU跑一下ImageNet的图画分类测验。

就能得到这样的效果:

Top-1准确率,Top-5准确率,跟论文的效果有何距离(见注)德尔加多,运转速度,全球排名,悉数一望而知。

注:-REPR,效果与论文效果距离在0.3%以内时打勾,距离≥0.3%且比论文效果差闪现为红叉,比论文效果好闪现为勾+

这个免费的跑分神器,发布一天,便遭到热烈欢迎:推特色赞600+,Reddit热度270+。

网友纷繁表明:这戒指尺度,机器学习免费跑分神器:集成各大数据集,联接GitHub就能用,还能验证论文效果,qqkj对开发者社区来说太有用了!

那么,先来看一下sotabench的功用和用法吧。

用法简略,海纳百川

团队说,sotabench就戒指尺度,机器学习免费跑分神器:集成各大数据集,联接GitHub就能用,还能验证论文效果,qqkj是Papers with Code的双胞胎姐妹:

Papers with Code我们很熟悉了,它调查的是论文陈述的跑分。能够用来寻觅高分模型对应的代码,是个造福人类的东西。

与之互补,sotabench调查的是开源项目,代码实践运转的效果。能够测验自己的模型,也能验证别家的模型,是不是真有论文说的那么强。

它支撑跟其他模型的比照,支撑检查速度和准确率的取舍状况。

那么,sotabench怎样用?简略,只需两步。

第一步,先在本地评价一下模型:

在将军GitHub项目的根目录里,创立一个sotabench.py文件。里边能够包括:加载、处理数据集和从中得出猜测所需的逻辑。每提交一个commit,这个文件都会运转。

然后,用个开源的基准测验库来跑你的模型。

这个库能够是sotabench-e腾讯视频会员val,这个库不问结构,里边有ImageNet等等数据集;也能够是torchbench,这是个PyTorch库,和PyTorch数据集加载器调配食用更简略。

一旦成功跑起来,就能够进入下一步。

在GitHub项目的根目录里,创立一个sotabench.py文件。里边能够包括:加载、处理数据集和从中得出猜测所需的逻辑。每提交一个commit,这个文件都会运转。

然后,用个开源的基准测验库来跑你的模型。

这个库能够是sotabench-eval,这个库不问结构,里边有ImageNet等等数据集;也能够是torchbench,这是个PyTorch库,和PyTorch数据集加载器调配食用更简略asd。

一旦成功跑起来,就能够进入下一步。

第二步,联接GitHub桃色牌坊项目,sotabench会帮你跑:

点击这个按钮,连到你的GitHub账号,各种项目就闪现了。挑选你要测验的那个项目来联接。

孙亚峤

连好之后,体系会主动测验你的master,然后记载官方效果,一切都是跑在云端GPU上。

测验环境是依据requirement.txt文件设置的,所以要把这个文件加进repo重生战国之魏武大帝,让体系捕捉到你用的依靠项。

点击这个按钮,连到你的GitHub账号,各种项目就闪现了。挑选你要测验的那个项目来连戒指尺度,机器学习免费跑分神器:集成各大数据集,联接GitHub就能用,还能验证论文效果,qqkj接。

连好之后,体系会主动测验你的master,然后记载官方效果,一切都是跑在云端GPU上。

测验环境是依据requirement.txt文件设置的,所以要把这个文件加进repo,让体系捕捉到你用的依靠项。

从此,每逢你提交一次commit,体系都会帮你从头跑分,来保证分数是最新的,也保证更新的模型仍然再作业。

这样一来,模型出了bug,也能及时知晓。

假如要跑他人家的模型,fork到自己那里就好啦。

现在,sotabench现已支撑了一些干流数据集:

列表还在继续更新中,团队也在美意约请各路好汉,一起充分benchmark我们庭。

既支撑创立一个新的benchmark,也支撑为现有benchmark增加新的完成。

你能够给sotabench-eval或torchbench项目提交PR,也能够直接创立新的Python包。

一旦准备就绪,就在sotabench官网的论坛上,发布新论题,团队会把你的benchmark加进去的:

好评如潮

这样的一项服务推出,网友们纷繁点赞,好评如潮,推特色赞600+。

有网友表明:

太棒了!对刚入门的新手来说,数据集获取、预处理和评价的主动化和规范化很有用。

经过剖析不同模型及其超参数效果,来评价这些模型,自身是挺困难的一件事,你得在各种论文中查阅很多的非结构化数据。有了这个,这件事就轻松多了。(部分意译)

大乔

太棒了!对刚入门的新手来说,数据集获取、预处理和评价的主动化和规范戒指尺度,机器学习免费跑分神器:集成各大数据集,联接GitHub就能用,还能验证论文效果,qqkj化很有用。

经过剖析不同模型及其戒指尺度,机器学习免费跑分神器:集成各大数据集,联接GitHub就能用,还能验证论文效果,qqkj超参数效果,来评价这些模型,自身是挺困难的一件事,你得在各种论文中查阅很多的非结构化数据戒指尺度,机器学习免费跑分神器:集成各大数据集,联接GitHub就能用,还能验证论文效果,qqkj。有了这个,这件事就轻松多了。(部分意译)

许多网友对这个项目进行了友爱的讨论及主张,而开发人员也在线活跃回应。

比方这位网友主张:能在每次提交的时分陈述模型的超参乌贼的做法数吗?

作者很快回复说:英雄所见略同。下次更新就加上!

而且,他们还考虑在将来的更新中,让使用者把链接增加到生哈利波特电影成模型的练习参数中。

传送门

sotabench官网:

https://sotabench.com/

基准测验库通用版:

https://github.com/paperswithcode/sotabench-eval

基准测验库PyTorch版:

https://github.com/paperswithcode/torchbench

作者系网易新闻网易号“各有情绪”签约作者

— 青稞

大会启幕!预见智能科技新未来

量子位MEET 2020智能未来大会启幕,将携手优异AI企择天记红袍是谁业、出色科研人员出现一场高质量职业盛会!概况可点击图片:

榜单搜集!三大奖项,确定AI Top玩家

2019我国人工智段玉良自首能年度评选启幕,将评选领航企炸带鱼的做法业、商业打破人物、最具创新力产品3大奖项,并于MEET 2020大会揭榜,欢迎优异的AI公司扫码报名!

量子位 QbitAI 一级黄头条号签约作者

'ᴗ' 追寻AI技能和产品新动态

喜爱就点「美观」吧 !

邹旺廷