Roadmap¶
- 前情提要：迴圈
- 檔案基本操作
- 常見的檔案類型處理
- 檔案處理常遇到的問題-以網路爬蟲為例
- 補充知識：文脈管理協定、pickle
- 補充知識：檔案進階操作
輸入三個數字，加到串列裡面¶
l = []
l.append(input())
l.append(input())
l.append(input())
print(l)
用迴圈可以改寫為
l = []
for i in range(3):
l.append(input())
print(l)
拿取串列各元素¶
l = [1,4,7,9]
print(l[0])
print(l[1])
print(l[2])
print(l[3])
用迴圈可以改寫為
l = [1,4,7,9]
for i in range(0,3+1):
print(l[i])
或是改寫成更為簡潔的
l = [1,4,7,9]
for i in l:
print (i)
上面的程式碼執行起來的概念等同於
i=1 # 串列l的第1個元素
print(i)
i=4 # 串列l的第2個元素
print(i)
i=7 # 串列l的第3個元素
print(i)
i=9 # 串列l的第4個元素
print(i)
以range迭代，雖然寫起來比較複雜，但彈性比較高
(eg.只想拿取奇數位置的元素)
l = [1,4,7,9]
for i in range(0,3+1):
print(l[i])
以串列迭代，雖然寫起來比較簡潔，但只能所有元素全部拿取
(eg.只想拿取奇數位置的元素，要另外在迴圈裡寫判斷式)
l = [1,4,7,9]
for i in l:
print (i)
In [1]:
article = """For years, I had existed safely behind the scenes in politics
as a fundraiser, as an organizer, but in my heart, I always wanted to run.
The sitting congresswoman had been in my district since 1992.
She had never lost a race,
and no one had really even run against her in a Democratic primary."""
for line in article.split("\n"):
print("->",line)
檔案基本操作¶
f = open(file,mode,encoding,...)
f.close()
- file：檔案名稱與路徑，需為字串
- 基準是程式所在的位置
- mode：模式，預設為文字讀取(rt)。
t：文字(預設)r：讀取模式(預設)w：寫入模式，開新檔案，或者覆蓋舊檔a：附加模式，開新檔案，或者附加在舊檔尾端r+：更新模式，可讀可寫，檔案需存在，從檔案開頭開始讀寫(會覆蓋舊資料)w+：更新模式，可讀可寫，開新檔案，或覆蓋舊檔，從檔案開頭開始讀寫a+：更新模式，可讀可寫，開新檔案，或從舊檔尾端開始讀寫
b：二進位- 習慣寫法為：
rb、wb、ab、rb+、wb+、ab+
- 習慣寫法為：
- encoding：文字編碼系統，預設None，Windows需要寫上
cp950或是utf8。f = open(file,encoding='cp950')
注意：¶
- 使用檔案有開啟就要記得關閉！
- 檔案也是個「可迭代物件」
- 建議讀寫分開。
In [2]:
""" doc.txt
For years, I had existed safely behind the scenes in politics
as a fundraiser, as an organizer, but in my heart, I always wanted to run.
The sitting congresswoman had been in my district since 1992.
She had never lost a race,
and no one had really even run against her in a Democratic primary.
"""
fi = open("doc.txt")
for line in fi:
print("->",line,end="")
fi.close()
In [3]:
""" doc.txt
For years, I had existed safely behind the scenes in politics
as a fundraiser, as an organizer, but in my heart, I always wanted to run.
The sitting congresswoman had been in my district since 1992.
She had never lost a race,
and no one had really even run against her in a Democratic primary.
"""
fi = open("doc.txt")
for index,line in enumerate(fi):
print("{:<5} {}".format(index+1,line),end="")
fi.close()
「:<5」是用了字串format方法，代表的是行數有5個的寬度，向左對齊。
In [4]:
# Windows：open("doc2.txt","w",encoding='utf8')
fo = open("doc2.txt","w")
data = "something"
fo.write(data)
fo.close()
In [5]:
# Windows：open("doc2.txt",encoding='utf8')
fi = open("doc2.txt")
data = fi.read()
print(data)
fi.close()
Checkpoint：¶
- 撰寫程式將文字資料寫入到「doc2.txt」中
- 利用jupyter介面檢查資料是否正確寫入
- 撰寫程式讀取「doc2.txt」，並且印出
常見的檔案類型處理¶
CSV (Comma-Separated Values)¶
data11,data12,data13
data21,data22,data23
data31,data32,data33以逗號,分割是csv最常見型態，
不過有些也會以分號;或是空白分割，data也會用引號包覆。
import csv
csv.reader(開檔,delimiter)
csv.writer(開檔,delimiter)
Python內建的csv模組可以很方便的處理csv檔案
- reader：將資料轉換成串列型別
- writer：用writerow方法將串列型別寫入檔案
- delimiter：分隔符，預設為逗號,
In [6]:
import csv
fo = open("test.csv","w")
# 在Windows中 會發覺寫出的csv會多了空行，可改成以下開檔方法
# fo = open("test.csv","w",newline='')
cw = csv.writer(fo,delimiter=' ')
cw.writerow(["data11","data12","data13"])
cw.writerow(["data21","data22","data23"])
cw.writerow(["data31","data32","data33"])
fo.close()
In [7]:
import csv
fi = open("test.csv")
cr = csv.reader(fi)
for row_num,row in enumerate(cr):
print(row_num,row)
fi.close()
以Yahoo股市下載的資料為範例
把日期以/分隔、只取開盤價Open(小數點後兩位)、成交量Volume，改用空白分割
In [8]:
import csv
fi = open("CSV.csv")
fo = open("CSV2.csv","w")
cr = csv.reader(fi)
cw = csv.writer(fo,delimiter=' ')
for row_num,row in enumerate(cr):
print(row_num,row)
if row_num!=0:
row[0]=row[0].replace("-","/")
row[1]=round(float(row[1]),2)
new_row = [row[0],row[1],row[6]]
cw.writerow(new_row)
fi.close()
fo.close()
想要以欄位名稱取值¶
In [9]:
import csv
fi = open("CSV.csv")
cr = csv.reader(fi,delimiter=',')
col_dict={}
for row_num,row in enumerate(cr):
if row_num==0:
for index,key in enumerate(row):
col_dict[key]=index
print(col_dict)
else:
print(row[col_dict["Date"]],row[col_dict["Volume"]])
fi.close()
練習-資料清理¶
以證交所個股日成交資訊為資料集，
我們只想要取日期、收盤價的資訊，另存成一份檔案。
Hint：¶
- 這份檔案是以Windows系統存檔，
因此不管哪種系統，都需加上encoding='cp950' - 可以用
len()來判定是否該列的串列資料是否是我們要的
JSON (JavaScript Object Notation)¶
剛開始是基於JavaScript設計的資料交換格式，
後來廣泛運用在網站開發、非關聯式資料庫(NoSQL)。
json.loads(字串)：JSON格式字串 -> Python型別json.dumps(Python型別)：Python型別 -> JSON格式字串
| JSON | Python |
|---|---|
| object | dict |
| array | list,tuple |
| string | str |
| number | int,float |
| true | True |
| false | False |
| null | None |
In [10]:
import json
data = {
"user":"Mars",
"work":["Tripresso","PyLadies"]
}
json_data = json.dumps(data)
print(json_data,type(json_data))
In [11]:
import json
json_data = '{"work": ["Tripresso", "PyLadies"], "user": "Mars"}'
data = json.loads(json_data)
print(data)
print(data["work"])
print(data["work"][0])
好用線上解析工具¶
- Json Parser Online：排版最為漂亮，
能很清楚知道是該用字典的key還是串列的index方式取值，
缺點是無法處理太大的資料 - Online Json Viewer：可以處理較大的JSON檔案
以行政院環保署-空氣品質監測網的即時空污資料集
網路爬蟲技巧¶
- 透過Chrome的開發人員工具可以找到真正的資料集
eg. https://taqm.epa.gov.tw/taqm/aqs.ashx?lang=tw&act=aqi-epa&ts=1515231549907 - 可以觀察網址有哪邊特別的
lang是 language的縮寫，可以換成en....ts是 timestamp的縮寫，可以透過一些線上服務轉換
In [12]:
import json
fi = open("aqs.json")
json_data = fi.read()
data = json.loads(json_data)
for stations in data["Data"]:
print(stations["SiteName"],stations["AQI"])
fi.close()
In [13]:
import json
import requests
resp = requests.get("https://taqm.epa.gov.tw/taqm/aqs.ashx?lang=tw&act=aqi-epa&ts=1515231549907")
json_data = resp.text
data = json.loads(json_data)
for stations in data["Data"]:
print(stations["SiteName"],stations["AQI"])
練習-資料抓取¶
以PChome 24小時購物搜尋mac商品結果為資料集，
我們想得知各商品名稱及價格。
我們抓取的網址是：
https://ecshweb.pchome.com.tw/search/v3.3/all/results?q=mac&page=1&sort=rnk/dc
Hint:¶
- 可以透過 Json Parser Online 、Online Json Viewer 方便觀察要如何取值
More:¶
- 可以試試看替換網址的一些關鍵字，看看會發生什麼事 =v=
檔案處理常遇到的問題-以網路爬蟲為例¶
import requests
resp = requests.get(url)
rep.content： bytes 型別(位元組)rep.text： unicode 型別(字串)
抓取影音¶
- 因為是位元組，所以要用
resp.content，以及wb - 如果是存放在資料夾，需要先建立資料夾(資料夾不存在會報錯)
In [14]:
import requests
resp = requests.get("http://tw.pyladies.com/img/logo2.png")
data = resp.content
fo = open("image/logo.png","wb")
fo.write(data)
fo.close()
副檔名 Filename Extension¶
是幫助電腦知道該用什麼軟體開啟他，
但不管有沒有副檔名，檔案內容的資料都不會受影響。
文字編碼系統：Utf8、Big5與Unicode¶
In [15]:
import requests
resp = requests.get("http://blog.marsw.tw/")
data = resp.text
fo = open("blog_mars.html","w")
fo.write(data)
fo.close()
In [16]:
import requests
resp = requests.get("https://www.csie.ntu.edu.tw/~p92005/Joel/Unicode.html")
data = resp.text
fo = open("joel.html","w")
fo.write(data)
fo.close()
In [17]:
import requests
resp = requests.get("https://www.csie.ntu.edu.tw/~p92005/Joel/Unicode.html")
data = resp.content.decode("big5")
fo = open("joel_decode.html","w")
fo.write(data)
fo.close()
resp = requests.get("http://blog.marsw.tw/")
data = resp.text
等同於
resp = requests.get("http://blog.marsw.tw/")
data = resp.content.decode("utf8")
因為requests模組是根據Content-Type決定編碼，在沒有指定的時候會編碼錯誤。
 |
 |
在Python中，如果開檔是文字模式，寫入(fo.write)的資料一定得是「字串」。
但print的結果是根據你電腦的編碼系統，
所以有可能可以成功寫檔，但印出的時候會出現「Unicode Error」之類的訊息
Python 3 與 Python 2 str型別的差異¶
- Python3 字串=> unicode 字串
- 位元組資料是獨立存在 => bytes
- Python2 字串=> 同時做為8位元字串與位元組資料(bytes)
- unicode字串是獨立存在
- unicode字串是獨立存在
In [18]:
my_str = "你好"
print (type(my_str))
print (my_str[0])
my_str_b = my_str.encode('utf8')
print (type(my_str_b))
print (my_str_b[0])
In [19]:
my_str = "範例"
print(my_str.encode("utf8"))
print(my_str.encode("big5"))
print(my_str.encode("utf8").decode("utf8"))
print(my_str.encode("big5").decode("big5"))
In [20]:
my_str = "範例"
print(my_str.encode("big5").decode("utf8",errors="ignore"))
print(my_str.encode("big5").decode("utf8",errors="replace"))
補充知識¶
- 文脈管理協定 with as
- pickle
文脈管理協定¶
有時候開檔的時候會忘記關檔，可以利用with和as的語法
fo = open("doc2.txt","w")
data = "something"
fo.write(data)
fo.close()
可以改寫成
with open("doc2.txt","w") as fo:
data = "something"
fo.write(data)
如果是有多個檔案物件：
fi = open("doc2.txt")
fo = open("doc3.txt","w")
data = fi.read()
fo.write(data)
fi.close()
fo.close()
可以改寫成
with open("doc2.txt") as fi:
with open("doc3.txt","w") as fo:
data = fi.read()
fo.write(data)
或是
with open("doc2.txt") as fi, open("doc3.txt","w") as fo:
data = fi.read()
fo.write(data)
In [21]:
import json
data = {
"user":"Mars",
"work":set(["Tripresso","PyLadies"])
}
json_data = json.dumps(data)
print(json_data,type(json_data))
In [22]:
import pickle
data = {
"user":"Mars",
"work":set(["Tripresso","PyLadies"])
}
with open("pickle","wb") as fo:
pickle.dump(data,fo)
with open("pickle","rb") as fi:
data2 = pickle.load(fi)
print(data2,type(data2))
補充知識-檔案進階操作¶
f.tell()：回傳現在位置¶
如果不熟悉檔案位置的話，
會強烈建議檔案讀寫分離！！！
In [23]:
ori_data = "123\n456\n789"
with open("test.txt","w") as fo:
fo.write(ori_data)
with open("test.txt","r+") as fo:
now_tell = -1
print("start",fo.tell())
fo.write("abc")
print("after write",fo.tell())
for i in range(3):
start = fo.tell()
data = fo.readline().rstrip("\n")
end = fo.tell()
print("{}->{} : {}".format(start,end,data))
In [24]:
with open("test.txt") as fi:
print(fi.read())
f.seek(offset,whence)：指定現在位置到offset¶
- whence：
- SEEK_SET：開頭
- SEEK_CUR：現在位置
- SEEK_END：尾端
In [25]:
ori_data = "123\n456\n789"
with open("test.txt","w") as fo:
fo.write(ori_data)
with open("test.txt","r+") as fo:
now_tell = -1
print("start",fo.tell())
fo.write("abc")
print("after write",fo.tell())
fo.seek(0) # 以檔案開頭+0的位置
print("reset",fo.tell())
for i in range(3):
start = fo.tell()
data = fo.readline().rstrip("\n")
end = fo.tell()
print("{}->{} : {}".format(start,end,data))
f.truncate(size=None)：截取size資料，其餘捨棄¶
In [26]:
ori_data = "123\n456\n789"
with open("test.txt","w") as fo:
fo.write(ori_data)
with open("test.txt","r+") as fi:
fi.truncate(2)
data = fi.read()
print(data)
with open("test.txt") as fi:
data = fi.read()
print(data)
f.flush()：清空緩衝區¶
實際上Python在寫檔的時候，並不是馬上把所有資料寫入檔案中，
而是會先存在緩衝區，等到緩衝區滿了，或是已經呼叫了f.close()、程式中斷，
才會將緩衝區的資料寫入檔案。
以下程式碼可以試試有沒有fo.flush()的差別：
import time
with open("test.txt","w") as fo:
for i in range(9999):
fo.write("{}\n".format(i))
time.sleep(0.001)
print(i)
fo.flush()
更多檔案操作方法¶
檔案的操作方法其實很多，這次活動只選足夠應付實戰的幾項，
其餘詳情還請大家自行閱讀相關文件：
學習資源對應¶
- Python 程式設計入門 (適用於 2.x 與 3.x 版) 葉難
- 07 檔案、文字、編碼、位元組資料
- 7.1 初探檔案
- 7.2 型別str、bytes、unicode
- 7.3 文字檔案
- 7.4 位元組(二進位)資料：pickle
- 7.5 文字編碼系統
- 07 檔案、文字、編碼、位元組資料