|
|
楼主
查看: 3756回复: 2
发表于 2020-8-5 09:39:13
只看该作者
本帖最后由 secret 于 2020-8-5 10:12 编辑
今天跟大家聊聊Python吧。
Python是什么呢？
Python是一种全栈的开发语言，你如果能学好Python，前端，后端，测试，大数据分析，爬虫等这些工作你都能胜任。
当下Python有多火我不再赘述,Python有哪些作用呢？
据我多年Python经验总结，Python主要有以下五大主要应用：
1.Web开发
Python的诞生历史比Web还要早，由于Python是一种解释型的脚本语言，开发效率高，所以非常适合用来做Web开发。
Python有上百种Web开发框架，有很多成熟的模板技术，选择Python开发Web应用，不但开发效率高，而且运行速度快。
常用的web开发框架有：Django、Flask、Tornado 等。
许多知名的互联网企业将python作为主要开发语言：豆瓣、知乎、果壳网、Google、NASA、YouTube、Facebook……
由于后台服务器的通用性，除了狭义的网站之外，很多App和游戏的服务器端也同样用 Python实现。
实际上爬虫的实现对于我们，有很多的学习作用的，我们能够改变的也就是这汇总情况上的东西才是这历史上的绝佳管理者
2.网络爬虫
许多人对编程的热情始于好奇，终于停滞。
距离真枪实干做开发有技术差距，也无人指点提带，也不知当下水平能干嘛？就在这样的疑惑循环中，编程技能止步不前，而爬虫是最好的进阶方向之一。
网络爬虫是Python比较常用的一个场景，国际上，google在早期大量地使用Python语言作为网络爬虫的基础，带动了整个Python语言的应用发展。以前国内很多人用采集器搜刮网上的内容，现在用Python收集网上的信息比以前容易很多了，如：
从各大网站爬取商品折扣信息，比较获取最优选择；
对社交网络上发言进行收集分类，生成情绪地图，分析语言习惯；
爬取网易云音乐某一类歌曲的所有评论，生成词云；
按条件筛选获得豆瓣的电影书籍信息并生成表格……
应用实在太多，几乎每个人学习爬虫之后都能够通过爬虫去做一些好玩有趣有用的事。
3.人工智能
人工智能是现在非常火的一个方向，AI热潮让Python语言的未来充满了无限的潜力。现在释放出来的几个非常有影响力的AI框架，大多是Python的实现，为什么呢？
因为Python有很多库很方便做人工智能，比如numpy, scipy做数值计算的，sklearn做机器学习的，pybrain做神经网络的，matplotlib将数据可视化的。在人工智能大范畴领域内的数据挖掘、机器学习、神经网络、深度学习等方面都是主流的编程语言，得到广泛的支持和应用。
人工智能的核心算法大部分还是依赖于C/C++的，因为是计算密集型，需要非常精细的优化，还需要GPU、专用硬件之类的接口，这些都只有C/C++能做到。
而Python是这些库的API binding，使用Python是因为CPython的胶水语言特性，要开发一个其他语言到C/C++的跨语言接口，Python是最容易的，比其他语言的门槛要低不少，尤其是使用Cython的时候。
4.数据分析
数据分析处理方面，Python有很完备的生态环境。“大数据”分析中涉及到的分布式计算、数据可视化、数据库操作等，Python中都有成熟的模块可以选择完成其功能。对于Hadoop-MapReduce和Spark，都可以直接使用Python完成计算逻辑，这无论对于数据科学家还是对于数据工程师而言都是十分便利的。
5.自动化运维
Python对于服务器运维而言也有十分重要的用途。由于目前几乎所有Linux发行版中都自带了Python解释器，使用Python脚本进行批量化的文件部署和运行调整都成了Linux服务器上很不错的选择。Python中也包含许多方便的工具，从调控ssh/sftp用的paramiko，到监控服务用的supervisor，再到bazel等构建工具，甚至conan等用于C++的包管理工具，Python提供了全方位的工具集合，而在这基础上，结合Web，开发方便运维的工具会变得十分简单。
6.Python的其他应用举例
系统编程： 提供API，能方便进行系统维护和管理，Linux下标志性语言之一，是很多系统管理员理想的编程工具。
图形处理： 有PIL、Tkinter等图形库支持，能方便进行图形处理。
数学处理： NumPy扩展提供大量与许多标准数学库的接口。
文本处理： Python提供的re模块能支持正则表达式，还提供SGML，XML分析模块，许多程序员利用Python进行XML程序的开发。
数据库编程： 程序员可通过遵循PythonDB-API（数据库应用程序编程接口）规范的模块与MicrosoftSQLServer，Oracle，Sybase，DB2，MySQL、SQLite等数据库通信。Python自带有一个Gadfly模块，提供了一个完整的SQL环境。
网络编程： 提供丰富的模块支持sockets编程，能方便快速地开发分布式应用程序。很多大规模软件开发计划例如Zope，Mnet及BitTorrent.Google都在广泛地使用它。
Web编程： 应用的开发语言，支持最新的XML技术。
多媒体应用： Python的PyOpenGL模块封装了“OpenGL应用程序编程接口”，能进行二维和三维图像处理。PyGame模块可用于编写游戏软件。
黑客编程： Python有一个hack的库，内置了你熟悉的或不熟悉的函数，但是缺少成就感。
接下来和大家扩展性的聊一聊用途：
一、网络爬虫
首先，
什么叫网络爬虫？
网络爬虫又称网络蜘蛛，是指按照某种规则在网络上爬取所需内容的脚本程序。众所周知，每个网页通常包含其他网页的入口，网络爬虫则通过一个网址依次进入其他网址获取所需内容。
爬虫有什么用？
做垂直搜索引擎（google,baidu等）.
科学研究：在线人类行为，在线社群演化，人类动力学研究，计量社会学，复杂网络，数据挖掘，等领域的实证研究都需要大量数据，网络爬虫是收集相关数据的利器。
偷窥，hacking，发垃圾邮件……
爬虫是搜索引擎的第一步也是最容易的一步。
用什么语言写爬虫？
C，C++。高效率，快速，适合通用搜索引擎做全网爬取。缺点，开发慢，写起来又臭又长，例如：天网搜索源代码。
脚本语言：Perl, Python, Java, Ruby。简单，易学，良好的文本处理能方便网页内容的细致提取，但效率往往不高，适合对少量网站的聚焦爬取
C#？
为什么眼下最火的是Python？
个人用c#,java都写过爬虫。区别不大，原理就是利用好正则表达式。只不过是平台问题。后来了解到很多爬虫都是用python写的，于是便一发不可收拾。Python优势很多，总结两个要点：
1）抓取网页本身的接口
相比与其他静态编程语言，如java，c#，C++，python抓取网页文档的接口更简洁；相比其他动态脚本语言，如perl，shell，python的urllib2包提供了较为完整的访问网页文档的API。（当然ruby也是很好的选择）
此外，抓取网页有时候需要模拟浏览器的行为，很多网站对于生硬的爬虫抓取都是封杀的。这是我们需要模拟user agent的行为构造合适的请求，譬如模拟用户登陆、模拟session/cookie的存储和设置。在python里都有非常优秀的第三方包帮你搞定，如Requests，mechanize
2）网页抓取后的处理
抓取的网页通常需要处理，比如过滤html标签，提取文本等。python的beautifulsoap提供了简洁的文档处理功能，能用极短的代码完成大部分文档的处理。
其实以上功能很多语言和工具都能做，但是用python能够干得最快，最干净。Life is short， u need python.
二、网站开发
那开发网站需要用到哪些知识呢？
1、python基础，因为用python开发的，所以python指定要会，最起码你也得会条件判断，循环，函数，类这些知识；
2、html、css的基础知识，因为要开发网站，网页都html和css写的，最起码这些知识你得会，就算不会写前端，开发不出来特别漂亮的页面，网站，最起码要能看懂html标签是；
3、数据库基础知识，因为开发一个网站的话，数据存在哪里，就是在数据库里，那你最起码要会数据库的增删改查吧，要不然怎么存数据，取数据呢
上面这些知识会的话，开发一个简单的小站就没有问题了，如果想开发比较大型的网站，业务逻辑比较复杂的，那就得用到其他的知识了，比如说redis、MQ等等。
三、人工智能
人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。 人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大，可以设想，未来人工智能带来的科技产品，将会是人类智慧的“容器”，也可能超过人的智能。
Python正在成为机器学习的语言。大多数机器语言课程都是使用Python语言编写的，大量大公司使用的也是Python，让许多人认为它是未来的主要编程语言。
有些人觉得PYTHON效率底，说他不能支持多线程，好吧，这个还有点说对了，但是我想问，看这篇文章的人有几个做过搜索引擎开发？有几个做个上亿PV的并发网站开发？有几个看过LINUX内核源码？如果没有，乖乖先把入门语言学会吧
四、自动化运维
Python能满足绝大部分自动化运维的需求，又能做后端C/S架构，又能用WEB框架快速开发出高大上的WEB界面，只有当你自已有能力做出一套运维自动化系统的时候，你的价值才体现出来。
|
|
投票
