230315 / BSA02. SNS 데이터 가져오기, 진행바(progress bar) 추가하기

BSA02_SNS-Twitter.ipynb

 

패키지 불러오기

# !pip install snscrape

import pandas as pd
import snscrape.modules.twitter as sntwitter

# !pip install tqdm
from tqdm.notebook import tqdm

 

트위터 데이터 가져오기

스크레이퍼 = sntwitter.TwitterSearchScraper("#python")

for 트위 in 스크레이퍼.get_items():
    break
    
트위자료 = [트위.date, 트위.id, 트위.rawContent, 트위.user.username, 트위.likeCount, 트위.retweetCount]
print(트위자료)


스크레이퍼 = sntwitter.TwitterSearchScraper("#python")
트윗묶음 = []

for i, 트윗 in enumerate(스크레이퍼.get_items()):
    트윗자료 = [트윗.date, 트윗.id, 트윗.rawContent, 트윗.user.username, 트윗.likeCount, 트윗.retweetCount]
    트윗묶음.append(트윗자료)
    if i > 50: break
    
len(트윗묶음)
 
트윗_df  = pd.DataFrame(트윗묶음,columns=["date","id","content","username","likeCount","retweetCount"])
트윗_df.head()

 

진행바(progress bar) 추가

스크레이퍼 = sntwitter.TwitterSearchScraper("#python")
트윗묶음 = []
n_트윗묶음 = 1_000

for i, 트윗 in tqdm(enumerate(스크레이퍼.get_items()),desc="진행률",total=n_트윗묶음):
    트윗자료 = [트윗.date, 트윗.id, 트윗.rawContent, 트윗.user.username, 트윗.likeCount, 트윗.retweetCount]
    트윗묶음.append(트윗자료)
    if i > n_트윗묶음: break


트윗_df  = pd.DataFrame(트윗묶음,columns=["date","id","content","username","likeCount","retweetCount"])
트윗_df.head()