AI가 화력발전소 3개 전력 소비
라이언의 꿀팁백과
GPU 는 지속가능하지 않다. 인공지능 전용 칩셋인 NPU 혹은 구글의 TPU 같은 AI 전용 프로세서가 함께 사용되어야 지속가능하다.
마이크로소프트 빙 검색의 AI는 약 7,200MWh의 전력을 소비. 구글 바드는 312MWh 전력을 소비. 빙 AI는 석탄화력발전소 2개가 필요한 정도이다. 연료에 따라 다르지만, 이 정도 규모의 화력발전소는 연간 1,867만~2,208만 톤의 이산화탄소를 배출함.
구글 바드는 구글의 자체 TPUv4 칩을 사용한다. 이 칩은 엔비디아 V100보다 약 2배 빠르면서 전력 소비량은 절반에 불과하다. 바드는 1,370억 개의 매개 변수를 가지고 있으며, 이는 GPT-3와 거의 같다. GPT-3가 훈련을 위한 계산을 완료하는 데 26일이 걸렸다면, TPUv4는 13일이 소요된다.