<div dir="ltr"><div><strong>ScaDL 2021: Third IPDPS Workshop on Scalable Deep Learning over</strong></div><div><strong>Parallel and Distributed Infrastructure</strong></div><div><span style="color:rgb(164,221,0)"><a href="https://2021.scadl.org/" target="_blank">https://2021.scadl.org</a></span></div><div><br></div>**CALL FOR PAPERS**<br><div>============================================================</div><div><u><strong>Scope of the Workshop</strong></u></div><div>Recently, Deep Learning (DL) has received tremendous attention in the</div><div>research community because of the impressive results obtained for a</div><div>large number of machine learning problems. The success of state-of-the-art</div><div>deep learning systems relies on training deep neural networks over a massive</div><div>amount of training data, which typically requires a large-scale distributed</div><div>computing infrastructure to run. In order to run these jobs in a scalable and</div><div>efficient manner, on cloud infrastructure or dedicated HPC systems, several</div><div>interesting research topics have emerged which are specific to DL. The sheer</div><div>size and complexity of deep learning models when trained over a large amount</div><div>of data makes them harder to converge in a reasonable amount of time. It demands</div><div>advancement along multiple research directions such as, model/data parallelism,</div><div>model/data compression, distributed optimization algorithms for DL convergence,</div><div>synchronization strategies, efficient communication and specific hardware</div><div>acceleration.</div><br><div><u><strong>SCADL seeks to advance the following research directions:</strong></u></div><div>* Asynchronous and Communication-Efficient SGD: Stochastic gradient descent is</div><div>at the core of large-scale machine learning. Parallelizing SGD gradient</div><div>computation across multiple nodes increases the data processed per iteration,</div><div>but exposes the SGD to communication and synchronization delays and</div><div>unpredictable node failures in the system. Thus, there is a critical need to</div><div>design robust and scalable distributed SGD methods to achieve fast</div><div>error-convergence in spite of such system variabilities.</div><br><div>* High performance computing aspects: Deep learning is highly compute intensive.</div><div>Algorithms for kernel computations on commonly used accelerators (e.g. GPUs),</div><div>efficient techniques for communicating gradients and loading data from storage</div><div>are critical for training performance.</div><br><div>*Model and Gradient Compression Techniques: Techniques such as reducing weights</div><div>and the size of weight tensors help in reducing the compute complexity. Using</div><div>lower-bit representations allow for more optimal use of memory and communication</div><div>bandwidth.</div><br><div>This intersection of distributed/parallel computing and deep learning is</div><div>becoming critical and demands specific attention to address the above topics</div><div>which some of the broader forums may not be able to provide. The aim of this</div><div>workshop is to foster collaboration among researchers from distributed/parallel</div><div>computing and deep learning communities to share the relevant topics as well as</div><div>results of the current approaches lying at the intersection of these areas.</div><br><div><u><strong>Areas of Interest</strong></u></div><div>In this workshop, we solicit research papers focused on distributed deep</div><div>learning aiming to achieve efficiency and scalability for deep learning jobs</div><div>over distributed and parallel systems. Papers focusing both on algorithms as</div><div>well as systems are welcome. We invite authors to submit papers on topics</div><div>including but not limited to:</div><br><div>-Deep learning on cloud platforms, HPC systems, and edge devices</div><div>- Model-parallel and data-parallel techniques</div><div>- Asynchronous SGD for Training DNNs</div><div>- Communication-Efficient Training of DNNs</div><div>- Scalable and distributed graph neural networks, sampling techniques for graph</div><div>neural networks</div><div>- Federated deep learning, both horizontal and vertical, and its challenges</div><div>- Model/data/gradient compression</div><div>- Learning in Resource constrained environments</div><div>- Coding Techniques for Straggler Mitigation</div><div>- Elasticity for deep learning jobs/spot market enablement</div><div>- Hyper-parameter tuning for deep learning jobs</div><div>- Hardware Acceleration for Deep Learning</div><div>- Scalability of deep learning jobs on large clusters</div><div>- Deep learning on heterogeneous infrastructure</div><div>- Efficient and Scalable Inference</div><div>- Data storage/access in shared networks for deep learning</div><br><div><u><strong>Format</strong></u></div><div>Due to the continuing impact of COVID-19, ScaDL 2021 will also adopt relevant</div><div>IPDPS 2021 policies on virtual participation and presentation. Consequently,</div><div>the organizers are currently planning a hybrid (in-person and virtual) event.</div><br><div><u><span style="color:rgb(254,146,0)"><strong>Key Dates</strong></span></u></div><div><b>Paper Submission: February 1, 2021</b></div><div><b>Acceptance Notification: March  15, 2021</b></div><div><b>Camera-ready due: March 30, 2021</b></div><div><b>Workshop: May 21, 2021</b></div><br><div><u><strong>Author Instructions</strong></u></div><div>ScaDL 2021 accepts submissions in three categories:</div><div>Regular papers: 8-10 pages</div><div>Short papers: 4 pages</div><div>Extended abstracts: 1 page</div><div>The aforementioned lengths include all technical content, references and appendices.</div><div>Papers should be formatted using IEEE conference style, including figures, tables, and </div><div>references. The IEEE conference style templates for MS Word and LaTeX provided by </div><div>IEEE eXpress Conference Publishing are available for download. See the latest versions </div><div>at <a href="https://www.ieee.org/conferences/publishing/templates.html" target="_blank">https://www.ieee.org/conferences/publishing/templates.html</a></div><br><div><strong>General Chairs</strong></div><div>Parijat Dube, IBM Research, USA</div><div>Stacy Patterson, RPI, USA</div><br><div><strong>Program Committee Chairs</strong></div><div>Danilo Ardagna, Politecnico di Milano, Italy</div><div>Yogish Sabharwal, IBM Research, India</div><br><div><strong>Logistics & Web Chair</strong></div><div>Jayaram K. R., IBM Research, USA</div><br><div><strong>Publicity Chairs</strong></div><div>Anirban Das, RPI, USA</div><div>Federica Filippini, Politecnico di Milano, Italy</div><br><div><strong>Program Committee</strong></div><div>See the workshop website <a href="https://2021.scadl.org/" target="_blank">https://2021.scadl.org</a></div><br><div><strong>Steering Committee</strong></div><div>Vinod Muthusamy, IBM Research, USA</div><div>Ashish Verma, IBM Research, USA</div><br><div>============================================================</div><div>We welcome submissions to ScaDL 2021 and would be glad to address any questions you may have.</div><br><div>Sincerely,</div><div>Anirban Das and Federica Filippini</div><div>Publicity Chairs</div></div>