전체 글 썸네일형 리스트형 [논문 리뷰] GhostSR: Learning Ghost Features for Efficient Image Super-Resolution https://arxiv.org/abs/2101.08525 GhostSR: Learning Ghost Features for Efficient Image Super-Resolution Modern single image super-resolution (SISR) system based on convolutional neural networks (CNNs) achieves fancy performance while requires huge computational costs. The problem on feature redundancy is well studied in visual recognition task, but rarely di arxiv.org 1. Motivation 1) Heavy singl.. 더보기 [Debugging] autograd.grad와 DataParallel은 같이쓰지 말자. StyleGAN2 pytorch (https://github.com/rosinality/stylegan2-pytorch) 돌리다가 깨달은 사실 https://github.com/rosinality/stylegan2-pytorch/blob/bb459e012489eb4629004d486f05f65fde554ba7/train.py#L91 GitHub - rosinality/stylegan2-pytorch: Implementation of Analyzing and Improving the Image Quality of StyleGAN (StyleGAN 2) in P Implementation of Analyzing and Improving the Image Quality of StyleGAN (StyleGAN .. 더보기 딥러닝 모델 Quantization이란 1. Quantization이란 - 32-bit floating point 기반 값/연산을 8-bit integer 등의 적은 bit 기반으로 변환하는 것 2. Why - 이렇게 하면 이것들을 저장할 때 약 75%의 메모리 감소, inference 시 연산에 필요한 자원도 감소 ! - 구체적으로, 캐쉬 사용 효율성 up, RAM 접근에서의 병목 현상 방지, 가용 DSP 칩 더 확보 등 3. How - 각 layer의 min, max 값을 저장하고 각각의 소수 값을 정해진 일정 범위 안에서 가장 가까운 실수로 mapping해서 2^8 (=256) 개의 8-bit integer로 나타냄 - 일정 범위라는 것은 int8, uint8, int32, int16, uint16 등 뭔지에 따라 다르게 정해지는 것 같.. 더보기 [논문 리뷰] Once-for-all: Train One Network and Specialize It for Efficient Deployment link 1. Motivation - 기존 NAS는 architecture sampling & from scratch training 반복 - sub-network 학습 시 성능 저하 - inference 기기에 맞게 처음부터 다시 optimize 필요 2. Method 1) Overview - decoupling training and search -> cost-efficient - progressive shrinking -> sub-network 성능 향상, cost-efficient 2) Problem formalization - Wo: weight, arch: (sub) network architecture, C: selection scheme - to optimize Wo to make each.. 더보기 Linux 명령어 잡다구리 1. 파일 개수 확인 find . -type f | wc -l 2. CUDA version check cat /usr/local/cuda/version.txt ls -l /usr/local | grep cuda 3. torch version check import torch print(torch.__version__) 4. pid도 없는데 process가 gpu를 점유하고 있을 때 ps -ef | grep 내호스트이름 해서 두번째 column이 pid고 kill -9 PID로 프로세스 죽이면 됨 더보기 이전 1 다음
