hugging face 써보기

https://huggingface.co

Hugging Face – The AI community building the future.

 

이런저런 모델을 써볼 수 있도록 해주는,, 것같다!

 

pip install transformers

transformers라는 패키지를 받으면, hugging face에 올라와있는 다양한 모델을 사용해볼 수 있다.

 

이렇게 원하는 모델 페이지로 들어간 다음에

오른쪽에 있는 use this modeld의 transformers를 클릭해준다!

 

그러면 이렇게 모델 불러오는 방법을 친절하게 알려준다ㅎㅎ

영어라 진입장벽이 높긴하지만,,,, 알려주는게 어디야!

 

---

그리고 이부분이 내가 애먹었던 부분인데,,,,,,,

내가 쓰려고 했던 meta-llama/Llama-3.2-3B 모델은,,, 뭔가 허락을 받고, 토큰을 넣고,, 어쩌구를 해야 사용하게 해준다!!

그냥 하면 이런 오류를 마주한다,,,으엥

 

사용하려는 모델의 설명을 보면 이런 화면이 보인다!

여기에 나를 받아주십사~~~ 해줘야,, 허가를 해준다.

expand버튼을 눌러주면 내 정보를 입력하고 제출할 수 있다.

 

그러면,, 좀 기다리라고 안내가 나온다

 

setting의 gated repositories에 들어가면 저렇게 내가 허락받은 레포들이 나온다!!

그러면 내가 모델쓰기전에 토큰입력만 해주면 저 모델을 쓸수가 있다.

 

setting의 access tokens로 들어가면 오른쪽 위에 새로운 토큰을 만들 수 있다.

 

 

이때,,, 주의해야할점이

토큰 만들 때 이런저런 설정을 하는데

여기에서 꼭 내가 허락받은 레포를 추가해줘야 한다!!!

 

참고로 토큰을 처음 만들면 팝업창으로 복사하게 해주는데,,

이때 이후로 토큰을 확인할수가 없다

다른곳에 잘 적어두거나, 아니면 매번 새로운 토큰을 만들어야 하나보다,,ㅎㅎ

 

그러면...

huggingface-cli login 로 로그인을 해준다 (여기에 토큰 입력해주면 됨)

그리고 모델을 불러오는 코드 (파이프라인 어쩌구) 실행해주면 잘 된다!

 

 

from huggingface_hub import login

login(token = 'your_token')

이렇게 파이썬 코드 안에 로그인을 넣어줄수도 있는것같다.

아무튼 해결돼서 다행이야~~~