てんぷるぷめっと🍤 (@templepmet) 's Twitter Profile
てんぷるぷめっと🍤

@templepmet

高速化でご飯を食べたい / HPC / GPU / 量子計算 / LLM

ID: 803218163626221568

calendar_today28-11-2016 12:45:08

1,1K Tweet

554 Followers

641 Following

てんぷるぷめっと🍤 (@templepmet) 's Twitter Profile Photo

RT:16K GPUからなる大規模クラスタ上でLlama3 405Bを学習するための、4D parallelism やメモリ・通信効率化手法について引用論文を展開しながら解説します