액티브 시니어

티스토리를 크롤링해서 해시노드로 데이터를 이전하는 코드를 작성했습니다. 해시노드에 한글 제목을 slug로 해서 업로드했을 때, 약 7,000개의 글 중에서 5,000개 미만의 글이 업로드됐는데, 아마도 이건 slug가 중복되어 그런 것이라 예상합니다. 티스토리를 크롤링하면, 제목이 한글로 추출되는데...이렇게 하면 해시노드에 적용되는 slug 부분이 아주 엉망이 되어 버립니다. 그래서 크롤링하면서, slug 부분은 제목을 영어로 번역하도록 코딩했습니다. 저장되는 마크다운 파일의 제목은 YYYY-MM-DD-제목.md로 저장됩니다.이렇게 해서 zip파일로 압축한 후 업로드하면...깔끔히 업로드되고, 글의 uri도 slug가 될 것입니다.각 글에 들어가서 slug를 수정하려고 했는데, 이렇게 하니까...약 7..

티스토리 블로그를 크롤링하여, 깃허브 블로그 Jekyll 스킨에 맞도록 마크다운 파일을 만드는 코드입니다.티스토리 스킨은 '#1' 스킨을 적용한 후 크롤링을 진행하였습니다. 깃허브 블로그에 올라가는 파일은 YYYY-MM-DD-제목.md 형식으로 저장됩니다.마크다운 파일을 만들면서 제목, 작성일, 카테고리, 태그 등이 자동으로 저장되도록 하였습니다. import requestsfrom bs4 import BeautifulSoupimport osimport timefrom datetime import datetimeimport redef get_page_content(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64;..