ML15 [논문리뷰]__Towards Understanding and Mitigating Social Biases in Language Models__ Abstract1. Introduction2. Related Work2.1 Social bias in text generation2.2 Social bias in text embedding3. Defining Sources of Biases in LMs3.1 Fine-grained Local Biases3.2 High-level Global Biases3.3 Benchmarks for Evaluating Biases3.3.1 Balancing bias with prediction3.3.2 Leveraging diverse context4. Mitigating Biases4.1 Finding Biases Through Sensitive Tokens4.2 Mitigating Bias via Nullspace.. 2023. 9. 3. `RuntimeError: expected scalar type Half but found Float 에러` RuntimeError: expected scalar type Half but found Float Pytorch는 Tensor연산시 Float32를 기준으로 진행하기에내가 사용하는 데이터의 형식이 double이거나, Float64, int같이 Float32와 다른 형태일때 발생하는 오류이다.이럴때는 아래와 같이 데이터 타입을 Float32로 바꿔주면 정상 연산된다. ex) tran_gan_window_X라는 데이터의 타입을 변형할시 코드train_gan_window_X = torch.tensor([train_gan_window_X], dtype = torch.float32) sim_matrix = torch.matmul(image_features, txt_embedding.T)여기서 오류가 생김. 따라.. 2023. 8. 23. [논문리뷰] RoBERTa: A Robustly Optimized BERT Pretraining Approach https://arxiv.org/abs/1907.11692 BERT는 대단한 모델이나 undertrained되어 그 모델의 성능을 제대로 발휘하지 못하고 있다. 따라서, 이 논문에서는 BERT가 undertrained된 요소들을 찾고, 개선점을 찾아 제시한다. 이 논문의 이름이 RoBERTa(=Robustly optimized BERT approach)인 이유이다. RoBERTa의 개선 방식은 총 네가지이다. training the model longer, with bigger batches, over more data removing the next sentence prediction objective training on longer sequences dynamically changing the ma.. 2023. 8. 23. Word embedding이란?-Word2Vec, Glove, FastText정리 1. Word Embedding1.1 One-Hot Encoding1.2 Word embedding1.3 Word2Vec1.3.1 CBOW1.3.2 Skip-gram1.2GloVe1.2.1 윈도우 기반 동시 등장 행렬(Window based Co-occurrence Matrix)1.2.2 동시 등장 확률(Co-occurrence Probability)1.3 FastText1.3.1 subword의 학습 1. Word Embedding먼저, 임베딩의 의미부터 살펴봅시다.임베딩이란: 사람이 쓰는 자연어를 기계가 이해할 수 있는 숫자의 나열인 벡터로 바꾼 결과 혹은 그 과정을 의미합니다.사람이 사용하는 단어(=자연어)는 0과 1로 이루어진 단어가 아닙니다. 그렇기에 컴퓨터 입장에서는 자연어의 의미를 이해하기가.. 2023. 8. 23. 이전 1 2 3 4 다음