티스토리 크롤링, 제목 영어로 번역, 마크다운 파일 생성 & 해시노드 업로드
티스토리를 크롤링해서 해시노드로 데이터를 이전하는 코드를 작성했습니다. 해시노드에 한글 제목을 slug로 해서 업로드했을 때, 약 7,000개의 글 중에서 5,000개 미만의 글이 업로드됐는데, 아마도 이건 slug가 중복되어 그런 것이라 예상합니다. 티스토리를 크롤링하면, 제목이 한글로 추출되는데...이렇게 하면 해시노드에 적용되는 slug 부분이 아주 엉망이 되어 버립니다. 그래서 크롤링하면서, slug 부분은 제목을 영어로 번역하도록 코딩했습니다. 저장되는 마크다운 파일의 제목은 YYYY-MM-DD-제목.md로 저장됩니다.이렇게 해서 zip파일로 압축한 후 업로드하면...깔끔히 업로드되고, 글의 uri도 slug가 될 것입니다.각 글에 들어가서 slug를 수정하려고 했는데, 이렇게 하니까...약 7..
2025. 2. 8.
