[PyTorch] torch.nn.Embedding (작성중)

 

import torch
torch.manual_seed(8)


def get_unique_tokens(sentence):
	return set(sentence.split())
   

def get_int_encoding(tokens):
	token_list = ["<unk>", "<pad>"] + list(tokens)
	return { token: i for i, token in enumerate(token_list) }


test_sentence = "how do you do"
unique_tokens = get_unique_tokens(test_sentence)
int_encoding = get_int_encoding(unique_tokens) # {'<unk>': 0, '<pad>': 1, 'how': 2, 'do': 3, 'you': 4}
                
lookup_table = [[ 0.35876983, -2.2124066 ,  0.9306893 ], # <unk>
                [ 0.        ,  0.        ,  0.        ], # <pad>, 패딩이기 때문에 0
                [ 0.43745077,  0.732288  , -1.7055405 ], # how
                [-0.05768548,  0.4197516 , -0.6325408 ], # do
                [ 1.2649128 ,  4.234565  , -0.7701444 ]] # you

 

 

1.

위의 예시에서 "how do you do"를 벡터화 한다면,

[[ 0.43745077,  0.732288  , -1.7055405 ],

 [-0.05768548,  0.4197516 , -0.6325408 ],

 [ 1.2649128 ,  4.234565  , -0.7701444 ],

 [-0.05768548,  0.4197516 , -0.6325408 ]]

가 되는 것이다. (1, 3 index의 값이 같음을 확인하자)

 

2.

앞서 "how do you do"를 벡터화해보았지만,

torch.nn.Embedding도 torch.nn.Module을 상속하는 신경망 층이다.

즉, 훈련이 되며 값이 변한다는 것.

다만, 언제 훈련이 되는 걸까?

 

3.

예시의 lookup_table은 실제로 torch.nn.Embedding 레이어를 생성하고,

weight 값을 받아온 것이다. random seed는 8

 

 

 

 

https://pytorch.org/tutorials/beginner/nlp/word_embeddings_tutorial.html

Word Embeddings: Encoding Lexical Semantics — PyTorch Tutorials 2.2.0+cu121 documentation

https://discuss.pytorch.org/t/how-does-nn-embedding-work/88518/21

How does nn.Embedding work?

https://wikidocs.net/64779

12-09 파이토치(PyTorch)의 nn.Embedding()