ubuntu开发tensorflow用什么脚本 如何用Docker成为更高效的数据科学家？

如何用docker成为更高效的数据科学家？

在用docker容器来的新机器学习模型的好处有很多。近日，github的资深专业机器学习科学家hamelhusain在towardsdatascience上发表了一篇入门级的docker容器教程，文章从都差不多的概念问起，清楚明白地可以介绍了docker容器的一些基本的操作和注意事项。机器之心对本文通过了编译介绍。本文所涉及的所有查找代码请访问：_tutorial

过去五年来，docker容器竟是成了一个太热门词汇，很显然我的所有软件工程师朋友都在不使用它们来开发应用。我想弄清这种技术可以不如何能让我更有效率，但我发现到我在网上找到的教程不是的话过于重视细节（请解释了一些我才是数据科学家绝不会在用的功能），要嘛就太浅显（没有相当的信息帮助我表述怎么快速比较有效地在用docker）。

因为我写了这篇快速入门，那样你不必自己去网上筛选信息就能学习到快速上手docker所必须的一切。

docker是什么？

你是可以把docker可以表示是轻量级的虚拟机——乾坤二卦你运行应用所要的一切。docker容器可以查看你的系统的状态的快照，这样其他人就可以不建议使用这个快照迅速重新修复你的计算环境。是对本教程而言，这就是你不需要知道一点的一切。更多详细能介绍可参阅：

为什么要使用docker？

1.再现昔日性：充当专业的数据科学家，让你的结果也能重塑是非常重要的。再现性不光有助于同行评议，但是这个可以确保你创建战队的模型、应用或分析也可以视障信息地运行程序，这能让你实际交付的成果更稳健，更能承受时间的考验。举个例子，若果你用python创建战队了一个模型，只是因为正常运行cprofilefreeze并将结果得到的requirements.txt文件发送中给你的上级是太少的，毕竟其中只乾坤二卦某个特定于python的依赖条件——而事实上的依赖条件不只有python，有操作系统、编译器、驱动程序、配置文件包括你的代码最终运行所需的其它数据。就算你只分享python依恋条件也能成功了，将所有东西都裸芯片到一个docker容器中我还是能能减轻其他人修葺你的环境的负担，并让他们能更顺利地ftp连接你的成果。

2.计算出环境的可移植性：才是一位数据科学家，尤其是机器学习领域内的数据科学家，飞速转变你的计算环境的能力也能如此大地影响不大你的生产力。数据科学的结束工作常常觉得是原型设计、探寻中和研究——这些工作的确一定马上就不需要某个特定的计算资源。这个工作来讲是在笔记本电脑或个人计算机上成功的。只不过在后面某个时候，你并不一定会不需要相同的计算资源来作用效果全速你的工作流程——比如说在用一些cpu或强大无比的gpu来执行深度学习等任务。我看见很多数据科学家导致感应到了在远程机器上修葺他们的本地环境的困难，就将自己思维禁锢在了本地计算环境内。而docker能让你的环境（你的所有库和文件等等）的移植的很很简单。在kaggle竞赛中，快速移植到可以计算环境也个庞大无比的竞争优势，只不过你可以成本又高效地凭借aws的即将到手计算资源。后来，修改docker文件让你能移植很多你喜欢的本地环境配置——.例如bash别名或vim插件。

3.武器锻造你的工程能力：非常熟练可以使用docker让你能将模型或分析部署成应用到（诸如广泛用于电子提供分析和预测的restapi），从而让其他人也能在用你的成果。当然了，你在数据科学工作流程中可能需要与未知于docker容器中的其它应用方法并且交互，诸如数据库。

docker术语

在我们一直深入之前，清楚再看看docker的术语会很有帮助：

·镜像（image）：是你的打算修改的东西的蓝图。.例如：ubuntutensorflow，带英伟达驱动程序和一个启动的jupyter服务器。

·容器（container）：是你的实现的运行的镜像的实例化。你也可以启动同一个镜像的多个副本。分清镜像和容器之间的差异非常重要，而且这是新入门者经常会混淆不清的两个概念。如果你不不清楚镜像和容器的差别，停住读了一次。

·dockerfile：用于创建角色镜像的配方。dockerfile中有特殊能量的docker语法。官方文档说：dockerfile是一个文本文档，其中包含了用户这个可以在命令行调用的用处买配件成镜像的所有命令。

·commit：和git带有，docker容器需要提供了版本控制。再一次发生的改变，你在任何时间都这个可以将你的docker容器的状态保存为一个新镜像。

·dockerhub/imageregistry：人们也可以公告可以公开（或私人经营）docker镜像的地方，应用于进一步促进合作与共享。

·层（layer）：对已近镜像的修改，由dockerfile中的一个指令来表示。层按次序应用形式到基础镜像上，以修改出终于的镜像。

本文将建议使用这些术语，如果没有你在阅读时不记得了，要先回去一栏！这些术语很易混淆，尤其是在镜像和容器之间——因此你在阅读时要保持警惕！

完全安装docker

你这个可以下载吧直接安装docker社区版（dockercommunityedition），地址：

修改你的第一个docker镜像

在创建docker容器之前，修改一个将主要用于定义镜像的dockerfile会很用处不大。我们先渐渐地阐述再看看下面的dockerfile。你也是可以在与本教程关联的github库中可以找到这个文件：

#reference:_/ubuntu/

outsideubuntu:16.04

#addsmetadatatotheimageasakeyvaluepairexamplelabelversion1.0

labelmaintainerhamelhusain

##setenvironmentvariables

env.utf-8lc_allc.utf-8

runapt-getsetup--fix-missingampampapt-getinstall-ywgetbzip2ca-certificates

build-essential

byobu

curl

git-core

htop

pkg-config

python3-dev

python-pip

python-setuptools

python-virtualenv

unzip

ampamp

apt-getcleanampamp

rm-rf/var/lib/apt/lists/*

runechoexportpath/opt/conda/bin:$pathrlmampamp

wget--quiet_-o~ampamp

/bin/bash~-b-p/opt/condaampamp

rm~

envpath/opt/conda/bin:$path

runvirtualenv--no-cache-dirinstall--upgrade

multiprocessing

sklearn-pandas

#openportsofjupyter

expose7745

#setupfilesystem

runmkdirds

envhome/ds

envshell/bin/bash

volume/ds

workdir/ds

addrun_/ds/move_

runchmodx/ds/run_

#runtheshell

cmd[./move_]

around语句

acrossubuntu:16.04

returning语句包涵了docker最如此神奇的部分。这个语句委托了你想在上面参与创建战队的基础镜像。按照不使用from更改一个基础镜像，docker可以说在你的本地环境中寻找风名为ubuntu:16.04的镜像——假如它没有找不到，它是会去搜索你指定的dockerregistry，默认是dockerhub：。如果不是你是需要经常在你的ubuntu等操作系统上安装程序，这样这种分层机制就相当方便。你不必您费心重头开始按装ubuntu，反而是可以然后在官方的ubuntu镜像上变更土地性质！dockerhub上托管档案着种类繁多的镜像，和那些不只不过是提供了一个操作系统的镜像，诸如如果你是想一个早就直接安装了anaconda的容器，你可以选择在官方的anacondadocker镜像上变更土地性质，地址：。最重要的是，你也是可以随时查找你构建的镜像，就算该镜像是通过在其它镜像上加层我得到的！这有无边无尽的可能性。

在这个案例中，我们指定基础镜像为ubuntu:16.04，它会收索名子ubuntu的dockerhub库（_/ubuntu/）。镜像名之后的部分16.04是指定了你想要安装好的最基础镜像的版本的标签（tag）。要是你检索到再看看ubuntudockerhub库，你会注意一点到差别版本的ubuntu不对应于完全不同的tag：

2017年12月的官方ubuntudockerhub库手机截屏

比如，ubuntu:16.04、ubuntu:xenial-20171201、ubuntu:xenial和ubuntu:latest一个个是指16.04版的ubuntu，它们全部是同一个镜像的别名。当然了，这里可以提供的链接朝了不对应的dockerfile，可用于构建体系每个版本的镜像。有时侯你难以在dockerhub中不能找到dockerfile，是因为魔兽维护者可以不自己选择如何确定将跪求这些镜像的修改的dockerfile中有进来。我个人总觉得写作一些dockerfile促进身体血液循环更合适地再理解dockerfile。（但千万不能急，读完这篇教程何况！）

你是需要不光尽量一个标签，即:latest标签。这确实是你在不为from语句指定你标签时设置成pull的镜像。比如如果不是你的across语句是这样：

aroundubuntu

接着你就将pullubuntu:16.04镜像。为什么不？——翻看看上面，你可以看见:latest关联的是16.04.

关与docker镜像结果是需要再注意的一点儿：在从dockerhubpull副本的docker镜像时要决定聪明的选择的判断。有恶意的人创建角色的镜像有可能会真包含恶意软件。

label语句

这个语句会为你的镜像先添加元数据，并且是彻底能选择的。我提高这个语句的目的是为了让别人明白也可以先联系谁，同样的也方便我搜索我的docker容器，尤其是在一个服务器上同样不运行着很多容器时。

labelmaintainerhamelhusainltyouremailgt

env语句

env.utf-8lc_allc.utf-8

这让你这个可以改环境变量，但是也是非常然后，去相关情况请戊戌变法档案史料：

run语句

这通常是最不需要花功夫的地方，给出了你形成完整该docker镜像所要想结束的任务。你可以不运行apt-get和pipinstall等正二十边形的shell命令来安装好你必须的软件包和依赖包。

runapt-getversion--fix-missingampampapt-getinstall-ywgetbzip2

build-essential

ca-certificates

git-core

...

在这里我安装了一些我喜欢的的实用工具，.例如tcpdump、htop、byobu，接着完全安装了anaconda，之后还安装好了一些基础anaconda中没有的其它库（你这个可以在求完整的dockerfile中查找其它run语句）。

run语句后的命令与docker其实没什么关系，仅仅一些你在安装好这些软件包时需要运行的都正常linux命令，所以我哪怕你不熟悉这些软件包或linux命令也别害怕。另，再给一个建议：当我初几就开始学习docker时，我打开系统了github或dockerhub上的其它dockerfile，后再将我是需要的部分直接复制粘贴到了我的dockerfile。

你很有可能注意一点到了run语句的格式。每个库或软件包都两排地通过了蜷进，不过就是为了可读性还按字母并且了排序。这是dockerfile的普遍惯例，因此我个人建议你也这样的做希望能够合作。

expose语句

如果不是你想为了公开一个端口，这个语句会很用处不大——诸如，如果你从该容器或某个网络服务内率先实施一个jupyternotebook。docker的文档也很好地请解释了expose语句：

expose指令虽然完全没有查找该端口。它的功能是另外创建家族该镜像的人和运行该容器的人之间的一类文档，内容是麻烦问下打算查找的端口。要不好算发布该端口，就要在运行该容器时在dockermove上在用-p标志但是映射三个或多个端口，或是也这个可以不使用-p标志查找所有端口并将它们反照到五阶端口。

volume语句

volume/ds

这个语句让你这个可以在docker容器和主机计算机之间互相访问数据。volume语句让你这个可以直接安装外部安装好的卷。主机目录仅有在容器运行时才后续声明（因为你可能会在完全不同的计算机上运行该容器），而不可能在符号表示镜像时声明*。目前你只委托了docker容器内你想与主机容器互相访问的文件夹的名称。

docker用户指南解释说：

主机目录是在容器正常运行时声明的：主机目录（挂载点）本质上取决于主机。这是目的是绝对的保证镜像的可移植性，是因为一个决策变量的主机目录无法绝对的保证在所有主机上都用下。由于这个原因，你肯定不能在dockerfile中武器挂架主机目录。volume指令不支持什么指定host-dir参数。你要在创建家族或运行容器时指定你挂载点。

至于，这些卷的目的是将数据能保存到容器的文件系统之外，当你要不能操作大量数据并且不期望你的镜像再次膨胀得不大时，这会很有用。当你保存一个docker镜像时，在这个volume目录中的任何数据都不会被能保存为该镜像的一部分，但是在这个容器目录之外的数据会被保存到。

workdir语句

workdir/ds

这个语句系统设置了工作目录，希望能够你在另一条下命令中可以不不需要使用那绝对是路径就能索引特定的文件。例如这个dockerfile中的结果一条语句是：

cmd[“./kick_”]

该语句就设置假设不成立工作目录是/ds

add语句

addrunning_/ds/kick_

这条命令让你也可以在docker容器运行时将文件从主机计算机复制到该docker容器。我可以使用这个命令来不能执行bash脚本以及将.bachrc文件等没有用东西再导入到容器中。

再注意这里的主机容器的路径却没全部指定，因为其主机路径是你在该容器正常运行时委托的背景路径（contextdirectory）的要比路径（后面会继续讨论）。

在我运行这个容器时，kick_正好在背景路径的根目录内，所以在该源文件前的没有路径。

用户指南中能介绍说：

add指令从ltsrcgt复制新文件、目录或远战文件url并将它们先添加到路径ltdestgt的镜像的文件系统中。

cmd语句

docker容器的设计思想是这些容器是非常短暂的，能保证运行完你想运行的应用就行了。但在数据科学方面，我们而不只希望一直保持这些容器始终正常运行，况且它们之中根本不会愿意地不运行着什么。很多人都运行bashshell来实现这一点（就算你终止它，否则不它就肯定不会开始）。

cmd[“./run_”]

在上面的命令中，我正常运行了一个实例化一个jupyternotebook服务器的shell脚本。只不过，要是你没有什么要不运行的某一特定应用而只不过想达到你的容器运行（而不后退），你可以真接运行bashshell，但是在用以上命令：

cmd[/bin/bash]

这种方法是管用的，而且就算你再次，不然bashshell就不会暂时终止；而该容器会一直持续运行。

用户指南中推荐说：

在一个dockerfile中只有有一个cmd指令。假如你列下了不只是一个cmd，那你唯有那一个才管用。

cmd的主要目的是为正在想执行的容器可以提供默认配置。这些设置成配置很有可能中有一个可执行文件，或者也可以省略可执行文件，在情况下你还要更改一个entrypoint指令。

创建你的docker镜像dockerfile中的信息可真够多的。不要害怕，后面的内容就低些很简单的了。现在我们早在dockerfile中创建了我们的配方，是时候创造出镜像了。你可以元以内命令完成：

github上也有：_tutorial/blob/master/language_tutorial/build_

这会修改一个docker镜像（而不是什么容器；假如你不记住这两者之间的差异，请相关的资料文章前面的术语介绍），你可以在后面运行程序这个镜像。

从你的docker镜像创建家族和运行容器现在你已经马上准备好让这一切工作下来了！我们这个可以先执行100元以内命令来主菜单环境：

同样github也有：_tutorial/blob/master/product_tutorial/kick_

运行完这个命令之后，你的容器就正常运行出声了！jupyter服务器也运行程序出声了，是因为在该dockerfile最后有这个命令：

cmd[“./kick_”]

现在你应该要这个可以实际其在用的端口ftp连接你的jupyternotebook了——在这个案例中可通过:7745/访问，密码是tutorial。假如你是通过远战的运行程序这个docker容器，你还需要设置本地端口转发消息，这样的话你才能你的浏览器不能访问你的jupyter服务器。端口再转发介绍：

与你的容器交互操作否则的话容器设置能完成并运行下来，下面这些命令就有用不：

·为容器叠加另一个新的终端会话。要是你不需要安装一些新软件或建议使用shell，这会很用处。

·将你的容器的状态能保存为新镜像。除非你一又开始就在dockerfile中配置了你想完全安装的所有库，紧接着时间的推移，你也很可能应该要对容器的状态进行不大的调整——是从交互来提高大量库和软件包。将你的容器的状态保存为镜像是很有用的，你后面也可以将其分享回去或在上面加层。你可以在用dockercommitcli命令将容器状态需要保存为新镜像：

dockercommitltcontainer_namegtfun_image_name:tag_name(可选的)

诸如，如果没有我想将名为container1的容器的状态需要保存为名为hamelsmu/tutorial:v2的镜像，我这个可以直接不运行这个命令：

dockercommitcontainer_1hamelsmu/tutorial:v2

你很有可能会好奇镜像名之前的hamelsmu/是什么——这只是因为是为让之后将该容器公众号推送到dockerhub的工作更稳当，毕竟hamelsmu是我的dockerhub用户名（后面会再谈这个问题）。要是你工作要使用docker，那你你的公司很肯定有一个内部国家所有制的docker库，你也这个可以将你的docker公众号推送到那里。

·列一运行中的容器。当我忘现在一直在正常运行的容器的名称时，我就经常会使用这个命令：

dockerps-a-fstatusrunning

如果没有你在使用该命令时没有算上statusrunning，这样你都会看到你系统上的所有容器的列表（况且也不再继续运行的容器也在）。这对中搜索旧容器而言很用处不大。

·列出你在本地保存的所有镜像。

dockerimages

·将你的镜像定时推送到dockerhub（或其它地方）。如果你想与其他人能分享你的工作内容或将镜像需要保存到云上，这个命令可能会很有用吗。尽量你在做这件事时可别分享任何私人信息（dockerhub上也有公有土地库）。

必须创建一个dockerhub库并给你的库起三个尽量多的名称，做个参考这里：。然后再要运行dockerlogin命令来再连接到你在dockerhub或其它注册位置的账户。比如说，要推送消息一个镜像到这个容器（），我简单前提是将我的本地镜像命令为hamelsmu/tutorial（我这个可以你选横竖斜标签名）。假如，这个cli命令就为：

dockerpushhamelsmu/tutorial:v2

将前说起的docker镜像推送内容到这个库，其标签为v2，相关参考：。要一针见血地指出：假如你公开了你的镜像，这样其他人就可以就在你的镜像上加层，看上去像本教程中我们在ubuntu镜像上加层差不多。对此想再现昔日或向上延伸你的研究的其他人来说，这太没有用。

你巳经掌握了现在你清楚要如何你操作docker了，你这个可以执行以下任务：

·与同事和朋友链接共享可再现的研究。

·是从将你的代码完全迁移到到所需的非常大的计算环境中，无中断地打胜kaggle竞赛。

·在你的笔记本电脑上的docker容器内并且本地的原型开发，然后把毫不费力地地将则是的计算过程无缝迁走到服务器上，同样又能可以保留你喜欢的本地环境配置（你的别名、vim插件、bash脚本、自定义提示等）。

·不使用nvidia-docker在gpu计算机上迅速类的对象运行tensorflow、pytorch或其它深度学习库所需的所有依赖包。（如果你重头来做，这个过程将相当艰辛。）参阅后面的彩蛋。

·将你的模型才是应用形式发布，.例如除用从docker容器提供给预测的restapi。当你的应用docker化了以后，就这个可以听从不需要随意地很随意地不能复制。

五阶阅读什么到这里我们也只学一点了docker的一点皮毛，前面还有很多东西愿意掌握。我很参与docker领域，我认为数据科学家会常常觉得碰到它，如果能这篇文章能让你有充足的信心就开始使用它。下面这些资源曾在我的docker之旅中为我能提供过帮助：

·用处的docker命令：_docker_containers/

·更用处不大的docker命令：

·dockerfile建议参考：

·如何创建角色和推带到dockerhub上的库：

彩蛋：nvidia-docker我学习docker最早的原因是要在单个gpu上做深度学习模型的原型开发，然后在我是需要更多算出资源时再迁移到到aws上。我当时也在学习jeremyhoward的出色的课程（），另外如果能与其他人分享我的原型设计。

但是，要将英伟达gpu的驱动程序等所有感情依赖包都包含以来，你没法在用docker，反而要用nvidia-docker（）。这比使用vanilladocker要多花一些功夫，但只需你理解了docker，做下来就很简单点。

我将我的nvidia-docker设置放进这里：_tutorial/tree/master/gpu_tutorial，你是可以用这个来接受练习。

python有多好用？为什么很热门？

自2016年，python变成java下一界了高校中最受欢迎的语言，从那个时候起它受欢迎的程度就也没减退过。也正如前段时间，上过热搜的潘石屹学python，其中潘石屹提及“编程语言也在断的地进化当中，越加逼近我们的日常注意语言。我们选择了高级进化好是的一种：python语言。”

python对于其他编程语言，更不容易被我们所理解，代码越来越以简洁，请解释执行，不需要程序编译。

至于，python另外目前极其比较流行全场景编程语言之一，其语法结构简单易学，但是能提供了丰富地的第三方库勉力支撑。目前在大数据开发、web开发、数据分析、人工智能、嵌入式、游戏开发、自动化运维、测试出来等领域都有吧越来越广泛的应用。

举三个很简单例子，诸如，我们在日常工作中，肯定会遇上从若干word文档中，提取更改的信息，.例如分离提取文档中的表格数据如下图表格。

我们是从文件导入docx第三方库，也可以非常简单的实现上列的需求，代码:：

如前述，我们将word文件中的表单信息，按行提取出来，先执行上述代码输出结果万分感谢：

docker容器镜像命令dockerfile