부리부리부리

본인은 컴퓨터 활용능력 1급 자격증을 소지하고 있다. 엑셀의 활용을 어느 정도 할 줄 안다는 뜻이다. 하지만 Python을 이용하여 데이터를 처리하고 인공지능을 학습하는 업무를 맡다보니, 데이터를 가공 및 처리 해야하는 순간엔 당연하게도 pandas의 DataFrame을 사용하곤 했다. 간단한 Feature를 추가로 생성해야할 일이 있었다. DataFrame의 apply 메소드가 생각나지 않아 좀 삐걱댔다. 뒤에서 보던 교수님은 조용히 엑셀을 키시더니 엑셀의 기능만을 활용하여 순식간에 해당 컬럼을 만들었다. (...) 당연히.. 당연히.. 엑셀에서의 데이터 처리와 DataFrame의 데이터 처리는 장단점이 있겠지.. 간단히 생각해봐도 엑셀이야 뭐 UI가 있으니 접근성이 좋고 클릭 몇번으로 수많은 내부 기..

ValidationError: * Not all rows (distributions) in topic_term_dists sum to 1. ValidationError: *Not all rows (distributions) in topic_term_dists sum to 1. 이 오류 같은 경우는 >> pyLDAvis.show(ldamodel, corpus, dictionary) ldamodel에 corpus를 Input으로 넣었을 때, 이런 식으로 나오는데, 여기서 행의 총합이 1이 안될 경우 생기는 오류이다. 나같은 경우에는 데이터 전처리 때 null data를 지우지 않아서 생긴 오류이다. (즉, 형태소 분석 및 말뭉치 변환 작업을 했을때 LENGTH가 0이 된 놈을 쳐내주지 않아서 생긴 ERROR..

from time import sleep from bs4 import BeautifulSoup from selenium import webdriver from selenium.webdriver.chrome.service import Service from selenium.webdriver.common.by import By from webdriver_manager.chrome import ChromeDriverManager chrome_options = webdriver.ChromeOptions() driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()), options=chrome_options) driver.get('http..

* Anaconda 1. 가상환경 생성 conda create -n "name" python="v" - Anaconda3/envs/ 2. 가상환경 확인 conda info --envs 3. 가상환경 활성화 conda activate "name" 4. 가상환경 비활성화 conda deactivate 5. 가상환경에 라이브러리 설치 (1) conda activate "name" conda install "library" (2) conda install - "name" "library" 6. 가상환경 라이브러리 확인 conda activate "name" conda list 7. 가상환경 복사 conda create -n "new name" --clone "name" 8. 가상환경 삭제 conda remove..

LdaModel(corpus=None, num_topics=100, id2word=None, distributed=False, chunksize=2000, # 훈련 덩어리당 문서의 개수 passes=1, # 훈련 동안 말뭉치를 통과하는 횟수 update_every=1, # 업데이트당 반복해 읽는 문서의 개수 alpha='symmetric', eta=None, # 단어 확률에 대한 사전 신뢰도 decay=0.5, # 새로운 문서가 조사될 때 망각하는 람다의 퍼센티지 offset=1.0, # 처음 몇 번 반복 시행의 속도 감소를 통제한다. eval_every=10, # 로그 퍼플렉시티의 추정 빈도수(비용이 든다) iterations=50, # 말뭉치를 읽는 반복시행의 최대수 gamma_threshold=0...

konlpy가 java로 되어있어서(?) 그런지 python에서 실행하려할 때 굉장히 번거롭다. 1. konlpy관련 설치 ( JAVA, JPype1, konlpy) 2. SystemError: java.nio.file.InvalidPathException: Illegal char 3. AttributeError: module 'tweepy' has no attribute 'StreamListener' pip install 하면서 차근차근 오류들을 해결해봐도 산넘어 산처럼 별의 별 오류들이 또 뜬다.. 첫 번째로 konlpy.. 진짜 이새끼는 답도 없다 일단 https://www.oracle.com/java/technologies/downloads/ 여기서 JAVA를 설치해주고 환경변수 설정을 해준다. ..