1樓：匿名使用者
所有支援網路的語言都可以
python是什麼語言，主要應用在哪些開發？
2樓：老男孩教育
python是一種跨平臺的計算機程式設計語言。是一種物件導向的動態型別語言，最初被設計用於編寫自動化指令碼(shell)，隨著版本的不斷更新和語言新功能的新增，越多被用於獨立的、大型專案的開發。
1、軟體開發：python語言支援多函式程式設計，可以擔任任何軟體的開發工作，是它的標配能力。
2、科學計算：python是一門通用的程式設計語言，比matlab所採用的指令碼語言的應用範圍更廣泛，有更多的程式庫的支援，做科學計算是非常合適的選擇。
3、自動化運維：python是作為運維工程師的首選程式語言，有諸多優勢所在，是非常受喜歡的程式語言。
4、雲端計算：開源雲端計算解決方案openstack就是基於python開發的。
5、web開發:基於python的web開發框架不要太多，比如耳熟能詳的django，還有tornado，flask。
6、網路爬蟲：也稱網路蜘蛛，是大資料行業獲取資料的核心工具。能夠編寫網路爬蟲的程式語言有不少，但python絕對是其中的主流之一。
7、資料分析：結合科學計算、機器學習等技術，對資料進行清洗、去重、規格化和針對性的分析是大資料行業的基石，python是資料分析領域首選的程式語言。
8、人工智慧：對於人工智慧我想不用多介紹，是現在非常流行的一個行業，而人工智慧也是未來的發展，python是人工智慧的首選程式語言。
python爬蟲是什麼？
3樓：哎喲帶你看娛樂
將根據一定的搜尋策略從佇列中選擇下一步要抓取的網頁url，並重覆上述過程，直到達到系統的某一條件時停止。另外，所有被爬蟲抓取的網頁將會被系統存貯，進行一定的分析、過濾，並建立索引，以便之後的查詢和檢索。
4樓：非攻即攻
首先要知道python爬蟲是一個程式，這個程式的目的就是為了抓取全球資訊網資訊資源，比如你日常使用的谷歌等搜尋引擎，搜尋結果就全都依賴爬蟲來定時獲取
瞭解一個python爬蟲離不開了解一下爬蟲的基本原理，接下來我們來講解一下這個原理。
網頁請求的過程分為兩個環節：
1. request （請求）：每一個展示在使用者面前的網頁都必須經過這一步，也就是向伺服器傳送訪問請求。
2. response（響應）：伺服器在接收到使用者的請求後，會驗證請求的有效性，然後向使用者（客戶端）傳送響應的內容，客戶端接收伺服器響應的內容，將內容展示出來，就是我們所熟悉的網頁請求，如圖 所示。
網頁請求的方式也分為兩種：2. post：
相比 get 方式，多了以表單形式上傳引數的功能，因此除查詢資訊外，還可以修改資訊。
所以，在寫爬蟲前要先確定向誰傳送請求，用什麼方式傳送。通用網路爬蟲：爬取物件從一些種子 url 擴充到整個 web，搜尋引擎乾的就是這些事
垂直網路爬蟲：針對特定領域主題進行爬取，比如專門爬取**目錄以及章節的垂直爬蟲
增量網路爬蟲：對已經抓取的網頁進行實時更新
不想說這些大方向的概念，讓我們以一個獲取網頁內容為例，從爬蟲技術本身出發，來說說網頁爬蟲，步驟如下：
模擬請求網頁資源
從html提取目標元素
資料持久化
什麼是爬蟲，這就是爬蟲：
"""讓我們根據上面說的步驟來完成一個簡單的爬蟲程式"""
import requests
from bs4 import beautifulsoup
爬蟲'
# 第一步 發起一個get請求
res = requests.get(target_url)
# 第二步 提取html並解析想獲取的資料 比如獲取 title
soup = beautifulsoup(res.text, "lxml")
# 輸出 soup.title.text
title = soup.title.text
# 第三步 持久化 比如儲存到本地
with open('title.txt', 'w') as fp:
fp.write(title)
加上註釋不到20行**，你就完成了一個爬蟲，簡單吧
你就能精通 python，成為未來搶手的人才。
python新手入門知識
python交流圈
5樓：八爪魚大資料
爬蟲是什麼
網路爬蟲（又被稱為網頁蜘蛛，網路機器人），是一種按照一定的規則，自動地抓取全球資訊網資訊的程式或者指令碼。另外一些不常使用的名字還有螞蟻、自動索引、模擬程式或者蠕蟲。
通俗地講，我們把網際網路比作一張大蜘蛛網，每個站點資源比作蜘蛛網上的一個結點，爬蟲就像一隻蜘蛛，按照設計好的路線和規則在這張蜘蛛網上找到目標結點，獲取資源。
為什麼使用爬蟲
為什麼我們需要使用爬蟲呢？
大家可以想象一下一個場景：你非常崇拜一個微博名人，對他的微博非常著迷，你想把他十年來微博上的每一句話摘抄下來，製作成名人語錄。這個時候你怎麼辦呢？
手動去 ctrl+c 和 ctrl+v 嗎？這種方法確實沒錯，資料量小的時候我們還可以這樣做，但是資料成千上萬的時候你還要這樣做嗎？
我們再來想象另一個場景：你要做一個新聞聚合**，每天需要定時去幾個新聞**獲取最新的新聞，我們稱之為 rss 訂閱。難道你會定時去各個訂閱**複製新聞嗎？
恐怕個人很難做到這一點吧。
上面兩種場景，使用爬蟲技術可以很輕易地解決問題。所以，我們可以看到，爬蟲技術主要可以幫助我們做兩類事情：一類是資料獲取需求，主要針對特定規則下的大資料量的資訊獲取；另一類是自動化需求，主要應用在類似資訊聚合、搜尋等方面。
6樓：尚學堂j**a學院
網路爬蟲（又稱為網頁蜘蛛，網路機器人，在foaf社群中間，更經常的稱為網頁追逐者），是一種按照一定的規則，自動地抓取全球資訊網資訊的程式或者指令碼。另外一些不常使用的名字還有螞蟻、自動索引、模擬程式或者蠕蟲。
7樓：蔡定交
把別人的資料爬過來，python在爬蟲方面無所不能。
8樓：匿名使用者
首先說爬蟲，其實叫做網路爬蟲，是像搜尋引擎或者資料分析的大型網際網路廠商開發的網路應用程式
用於收集網際網路上的資料，其行為像蜘蛛，所以叫做爬蟲python爬蟲，是通過python程式語言編寫的網路爬蟲程式就目前來說，python爬蟲是應為最為廣泛，開發效率最高的爬蟲類應用程式
所以如果對資料收集感興趣的話，可以玩一玩爬蟲，你一定不會失望的
9樓：芝麻芝麻撿西瓜
一、**型別：透明**ip、匿名**ip、高匿名**
**ip可以分為四種型別。除透明**ip、匿名**ip、高匿名**ip外，還有一類是混淆**ip。就基本安全性而言，它們的排列順序是高匿》混淆》匿名》透明。
二、**原理
**型別主要依賴於**伺服器端的配置，不同的配置形成不同的**型別。在配置中，這三個變數是決定性因素。
（一）remote_addr
remote_addr代表客戶機的ip，但是它的值不是由客戶機提供的，而是由伺服器根據ip指定。
如果您使用瀏覽器直接訪問站點，則站點的web伺服器(nginx、apache等)將remote_addr設定為客戶端的ip地址。
如果我們為瀏覽器設定**，我們訪問目標站點的請求首先通過**伺服器，然後**伺服器將請求轉換為目標站點。**的web**伺服器將remote_addr設定為**伺服器的ip。
（二）x-forwarded-for（xff）
x-forwarded-for是http擴充套件頭，用於表示http請求端的真實ip。當客戶端使用**時，網路**伺服器不知道客戶端的真實ip地址。為了避免這種情況，**伺服器通常會新增x-forwarded-for的頭部資訊，並將客戶端的ip新增到頭部資訊中。
x-forwarded-for請求頭格式如下：
x-forwarded-for:client,proxy1,proxy2
client表示客戶端的ip地址；proxy1是離伺服器最遠的裝置ip；proxy2是次級**裝置的ip；從格式上可以看出，從client到server可以有多層**。
在http請求到達伺服器之前，通過3個**proxy1、proxy2、proxy3，ip分別為ip1、ip2、ip3，使用者的實際ip為ip0時，根據xff標準，伺服器最終會收到以下資訊
x-forwarded-for:ip0,ip1,ip2
proxy3直接連線到伺服器，並將ip2新增到xff，以幫助proxy2**請求。列表中沒有ip3，ip3可以在伺服器上通過remoteaddress欄位獲得。眾所周知，http連線是以tcp連線為基礎的，http協議中沒有ip概念，remoteaddress來自tcp連線，這意味著與伺服器建立tcp連線的裝置ip就是ip3。
這裡我建議爬蟲使用http的時候儘量用像太陽http這樣正規的產品
（三）http_via
via是http協議中的header，記錄了http請求的**和閘道器，通過一個**伺服器新增一個**伺服器的資訊，通過兩個新增兩個。
10樓：一枚大吃貨耶
網路爬蟲是一種按照一答定的規則，自動地抓取全球資訊網資訊的程式或者指令碼。
python爬蟲程式可用於收集資料。由於爬蟲程式是一個程式，程式執行得非常快，不會因為重複的事情而感到疲倦，因此使用爬蟲程式獲取大量資料變得非常簡單和快速。
11樓：30786追風
看下www.akppx.com
12樓：匿名使用者
**ip http爬蟲（web crawler），是一種按照一定的規則，自動地提取全球資訊網資訊的程式或者指令碼，它們被廣泛用於網際網路搜尋引擎或其他類似**，可以自動採集所有其能夠訪問到的頁面內容，以獲取或更新這些**的內容和檢索方式。從功能上來講，爬蟲一般分為資料採集，處理，儲存三個部分。傳統爬蟲從一個或若干初始網頁的url開始，獲得初始網頁上的url，在抓取**的過程中，不斷從當前頁面上抽取新的url放入佇列,直到滿足系統的一定停止條件。
聚焦爬蟲的工作流程較為複雜，需要根據一定的http分析演算法過濾與主題無關的連結，保留有用的連結並將其放入等待抓取的url佇列。然後，它將根據一定的搜尋策略從佇列中選擇下一步要抓取的**url，並重覆上述過程，直到達到系統的某一條件時停止。另外，所有被爬蟲抓取的**將會被系統存貯，進行一定的分析、過濾，並建立索引，以便之後的查詢和檢索；對於聚焦爬蟲來說，這一過程所得到的分析結果還可能對以後的抓取過程給出反饋和指導。
怎麼檢視網頁使用的是什麼程式語言
一般來說看副檔名.html asp aspx php aspx jsp 等 不一定準確 對於靜態的頁面 如果 有所搜功能則看下搜尋頁面的副檔名 一般 動轉靜的話 搜尋頁面還是動態的 所以可以根據這個來看 如何檢視 是用什麼語言開發的 判斷 使用的語言一般為 1.檢視 字尾名，也就是看網頁的字尾名，如...
最好的程式語言是什麼，學習程式設計什麼語言最好
這個問題屬於挑事的問題，因為這種東西根本沒有評定的標準 沒有最好，只有最適用 最順手 學習程式設計什麼語言最好 初學的話可以從python這樣比較容易的開始學 最近很多人都在問如何學習程式設計。我覺得學習程式設計最重要的是入門，如果你入門的時候有一個好的方法和思路，打下比較紮實的基礎，對今後的程式設...
租的房子住有發現小爬爬蟲不知道是什麼還會爬動
這是因為你租的房子太潮溼，有些地方有灰塵打掃不乾淨不夠通風才會有這種小爬蟲。這個是因為房子太潮溼了，可以在超市買點殺蟲的噴霧有噴 應該是潮蟲，說明你的屋子太潮溼了，應開啟門窗多通風，這樣會好些。看不清是什麼蟲子，買一瓶氣霧殺蟲剤，噴兩次就滅除了，我家也曾發現過類似的小蟲子。噴過後，始終再沒發現過。這...