<br><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><div><br><div><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px"><strong>Call For Online Participation</strong></font></font><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px"> </font></font></div></div></div></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><br><div><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px"> </font></font></div></div></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><strong><font style="font-size:14.5px">ScaDL 2021: Third IPDPS Workshop on Scalable Deep Learning over Parallel And Distributed Infrastructures  </font></strong></font></div></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><span style="color:rgb(67, 152, 74)"><a href="https://2021.scadl.org/home" title="https://2021.scadl.org/home"><font style="font-size:14.5px">https://2021.scadl.org/home</font></a></span></font><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px"> </font></font></div><br></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">Our apologies for multiple postings. </font></font></div></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><br><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">Welcome to ScaDL 2021 — the Third IPDPS Workshop on Scalable Deep Learning over Parallel and Distributed Infrastructures,</font></font></div><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">held virtually in conjunction with the 35th IEEE International Parallel & Distributed Processing Symposium. The workshop will</font></font></div><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">foster collaboration among researchers from the distributed/parallel computing and deep learning communities to share the</font></font></div><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">relevant topics as well as results of the current approaches lying at the intersection of distributed/parallel computing and deep learning.  </font></font></div></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px"> </font></font></div></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px"> </font></font></div></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">We have a good participation from both academia and industry. Our six keynote speakers include eminent technical leaders from</font></font></div><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">industry (IBM Research, Google Research, Anyscale), academia (RPI, ETH Zurich, Harvard University), and national labs (BSC).  </font></font></div></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">  </font></font></div></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><strong><font style="font-size:14.5px">ScaDL 2021 will be held on line (virtually) on May 21 from 7.00 to 14.00 PDT according to the following program.  </font></strong></font></div></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px"> </font></font></div></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px"> </font></font></div></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">Registration is required for participation.  </font></font></div></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px"> </font></font></div></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px"> </font></font></div></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">The logistics for attending the conference (URL, etc.) will be emailed to registered participants. </font></font></div></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px"> </font></font></div></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px"> </font></font></div></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">Register for FREE at </font></font><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><span style="color:rgb(67, 152, 74)"><a href="https://docs.google.com/forms/d/e/1FAIpQLSci3uKc5EXuQ2YcgX1IdfUVONfz66oPA_Oy39o7zwNhPU3IgQ/viewform" title="https://docs.google.com/forms/d/e/1FAIpQLSci3uKc5EXuQ2YcgX1IdfUVONfz66oPA_Oy39o7zwNhPU3IgQ/viewform"><font style="font-size:14.5px">https://docs.google.com/forms/d/e/1FAIpQLSci3uKc5EXuQ2YcgX1IdfUVONfz66oPA_Oy39o7zwNhPU3IgQ/viewform</font></a></span></font><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px"> </font></font></div></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px"> </font></font></div></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px"> </font></font></div></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><strong><font style="font-size:14.5px">All times are in Pacific Daylight Time (PDT) </font></strong></font></div></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-size:14.5px"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif">-------------------------------------------------</font></font></div><div><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">7:00 - 7:10 : Welcome from the organizers </font></font></div><br></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">7:10 - 7:50 : Dynamic and Intelligent workfows with eFlows4HPC </font></font></div></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">                         Invited Talk by Prof. Rosa Badia, Barcelona Supercomputing Center, Spain  </font></font></div><br></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">7:50 - 8:15 : A Distributed Multi-GPU System for Large-Scale Node Embedding at Tencent Wanjing Wei, Yangzihao Wang,</font></font></div><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">                         Pin Gao, Shijie Sun, Donghai Yu, Tencent Ltd., China</font></font></div></div><br><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">8:15 - 8:55 : The Three Pillars of Large-scale Deep Learning - Invited Talk by Prof. Torsten Hoefler, ETH Zurich, Switzerland </font></font></div></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><br><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">8:55 - 9:20 : Scaling Single-Image Super-Resolution Training on Modern HPC Clusters: Early Experiences </font></font></div></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">                         Quentin Anthony, Lang Xu, Hari Subramoni, Dhabaleswar Panda, Ohio State University, USA </font></font></div></div><div class="Paragraph SCXW13860403 BCX0"><font style="font-size:14.5px"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif">-------------------------------------------------</font></font></div><div><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">9:20 - 9:40 : Break</font></font></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><font style="font-size:14.5px"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif">-------------------------------------------------</font></font></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><br><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">9:40 - 10:20 : AI for Social Impact: Results from Multi-agent Reasoning and Learning in the Real World </font></font></div></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">                           Invited talk by  Prof. Milind Tambe, Harvard University, USA and Google Research, India </font></font></div></div><br><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">10:20 - 10:45 : Distributed Deep Learning Using Volunteer Computing-Like Paradigm </font></font></div></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">                              Medha Atre, Birendra Jha, Ashwini Rao, Eydle Inc., USA </font></font></div></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px"> </font></font></div></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">10:45 - 11:25 : Riding the Composable Systems Wave to Improve DNN Distributed Training Performance </font></font></div></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">                             Invited talk by Prof. Christopher Carothers, RPI, USA </font></font></div></div><br><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">11:25 - 11:40 : Ex-NNQMD: Extreme-Scale Neural Network Quantum Molecular Dynamics </font></font></div></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">                              Pankaj Rajak (Argonne National Laboratory, USA), Thomas Linker, Ken-ichi Nomura, Anikeya Aditya, Kuang Liu</font></font></div><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">                              (University of Southern California, USA), Kohei Shimamura, Shogo Fukushima (Kumamoto University, Japan),</font></font></div><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">                             Ye Luo (Argonne National Laboratory, USA), Fuyuki Shimojo (Kumamoto University, Japan), Rajiv K. Kalia, Aiichiro </font></font></div><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">                             Nakano and Priya Vashishta (University of Southern California, USA). </font></font></div></div><div class="Paragraph SCXW13860403 BCX0"><font style="font-size:14.5px"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif">-------------------------------------------------</font></font></div><div><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">11:40 - 12:00 : Break </font></font></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><font style="font-size:14.5px"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif">-------------------------------------------------</font></font></div><br><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">12:00 - 12:40 : Innovating across the AI stack for scale and speed </font></font></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">                             Invited talk by Dr. Rania Khalaf, IBM Research AI, USA </font></font></div></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px"> </font></font></div></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">12:40 - 13:20 : Ray as the Unified Compute Substrate for Machine Learning Applications </font></font></div></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">                              Invited Talk by Dr. Zhe Zhang, Anyscale Inc. USA </font></font></div><br></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">13:20 - 13:35 : Training EfficientNets at Supercomputer Scale: 83% ImageNet Top-1 Accuracy in One Hour </font></font></div></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">                              Arissa Wongpanich (UC Berkeley, USA), Hieu Pham (Google Research, USA), James Demmel (UC Berkeley, USA), </font></font></div><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">                             Mingxing Tan, Quoc Le, Yang You and Sameer Kumar (Google Research, USA)  </font></font></div></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px"> </font></font></div></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">13:35 - 13:50 : Performance Analysis of Deep Learning Workloads on a Composable System </font></font></div><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">                             Kaoutar El Maghraoui, Lorraine Herger, Chekuri Choudary, Kim Tran, Todd Deshane, David Hanson, IBM, USA </font></font></div></div><br><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px"> </font></font></div></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">13:50 - 14:00 : Closing Remarks by the organizers </font></font></div></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><div><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px"> </font></font></div><div><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px"> </font></font></div></div></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">Please visit for the entire program at </font></font><font style="font-size:14.5px"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><span style="color:rgb(67, 152, 74)"><a href="https://2021.scadl.org/program" title="https://2021.scadl.org/program">https://2021.scadl.org/program</a></span></font></font><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">. Also please feel free to ask us questions.  </font></font></div></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">Sincerely,  </font></font></div></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">Anirban Das and Federica Filippini </font></font></div></div><div class="OutlineElement Ltr  BCX0 SCXW13860403"><div class="Paragraph SCXW13860403 BCX0"><font style="font-family:Nylas-Pro, Helvetica, "Lucidia Grande", sans-serif"><font style="font-size:14.5px">Publicity Chairs </font></font></div></div>