
<html>


<head>


<meta http-equiv="Content-Type" content="text/html; charset=utf-8">


</head>


<body style="overflow-wrap: break-word; -webkit-nbsp-mode: space; line-break: after-white-space;">


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


Dear colleague,</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue"; min-height: 15px;">


<br>


</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


apologize for multiple posting</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue"; min-height: 15px;">


<br>


</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


<b>ScaDL 2023: Scalable Deep Learning over Parallel And Distributed</b></p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


<b>Infrastructure - An IPDPS 2023 Workshop</b></p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue"; min-height: 15px;">


<br>


</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue"; color: rgb(220, 161, 13);">


<span style="text-decoration: underline;"><a href="https://2023.scadl.org/">https://2023.scadl.org</a></span><span style="color: rgb(0, 0, 0);"> </span></p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue"; min-height: 15px;">


<br>


</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


<b>Scope of the Workshop:</b></p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


Recently, Deep Learning (DL) has received tremendous attention in the research</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


community because of the impressive results obtained for a large number of</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


machine learning problems. The success of state-of-the-art deep learning</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


systems relies on training deep neural networks over a massive amount of</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


training data, which typically requires a large-scale distributed computing</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


infrastructure to run. In order to run these jobs in a scalable and efficient</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


manner, on cloud infrastructure or dedicated HPC systems, several interesting</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


research topics have emerged which are specific to DL. The sheer size and</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


complexity of deep learning models when trained over a large amount of data</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


makes them harder to converge in a reasonable amount of time. It demands</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


advancement along multiple research directions such as, model/data</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


parallelism, model/data compression, distributed optimization algorithms for</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


DL convergence, synchronization strategies, efficient communication and</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


specific hardware acceleration.</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue"; min-height: 15px;">


<br>


</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


<b>SCADL seeks to advance the following research directions:</b></p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


- Asynchronous and Communication-Efficient SGD: Stochastic gradient descent is</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


at the core of large-scale machine learning. Parallelizing SGD gradient</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


computation across multiple nodes increases the data processed per iteration,</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


but exposes the SGD to communication and synchronization delays and</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


unpredictable node failures in the system. Thus, there is a critical need to</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


design robust and scalable distributed SGD methods to achieve fast error-</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


convergence in spite of such system variabilities.</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


High performance computing aspects: Deep learning is highly compute intensive.</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


Algorithms for kernel computations on commonly used accelerators (e.g. GPUs),</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


efficient techniques for communicating gradients and loading data from storage</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


are critical for training performance.</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue"; min-height: 15px;">


<br>


</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


- Model and Gradient Compression Techniques: Techniques such as reducing</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


weights and the size of weight tensors help in reducing the compute</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


complexity. Using lower-bit representations such as quantization and</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


sparsification allow for more optimal use of memory and communication</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


bandwidth.</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue"; min-height: 15px;">


<br>


</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


- Distributed Trustworthy AI: New techniques are needed to meet the goal of</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


global trustworthiness (e.g., fairness and adversarial robustness) efficiently</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


in a distributed DL setting.</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue"; min-height: 15px;">


<br>


</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


- Emerging AI hardware Accelerators: with the proliferation of new hardware</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


accelerators for AI such in memory computing (Analog AI) and neuromorphic</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


computing, novel methods and algorithms need to be introduced to adapt to the</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


underlying properties of the new hardware (example: the non-idealities of the</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


phase-change memory (PCM) and the cycle-to-cycle statistical variations).</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue"; min-height: 15px;">


<br>


</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


- The intersection of Distributed DL and Neural Architecture Search (NAS): NAS</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


is increasingly being used to automate the synthesis of neural networks.</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


However, given the huge computational demands of NAS, distributed DL is</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


critical to make NAS computationally tractable (e.g., differentiable</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


distributed NAS).</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue"; min-height: 15px;">


<br>


</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


This intersection of distributed/parallel computing and deep learning is</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


becoming critical and demands specific attention to address the above topics</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


which some of the broader forums may not be able to provide. The aim of this</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


workshop is to foster collaboration among researchers from distributed/</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


parallel computing and deep learning communities to share the relevant topics</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


as well as results of the current approaches lying at the intersection of</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


these areas.</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue"; min-height: 15px;">


<br>


</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


<b>Areas of Interest</b></p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


In this workshop, we solicit research papers focused on distributed deep</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


learning aiming to achieve efficiency and scalability for deep learning jobs</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


over distributed and parallel systems. Papers focusing both on algorithms as</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


well as systems are welcome. We invite authors to submit papers on topics</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


including but not limited to:</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue"; min-height: 15px;">


<br>


</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


- Deep learning on cloud platforms, HPC systems, and edge devices</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


- Model-parallel and data-parallel techniques</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


- Asynchronous SGD for Training DNNs</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


- Communication-Efficient Training of DNNs</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


- Scalable and distributed graph neural networks, Sampling techniques for</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


graph neural networks</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


- Federated deep learning, both horizontal and vertical, and its challenges</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


- Model/data/gradient compression</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


- Learning in Resource constrained environments</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


- Coding Techniques for Straggler Mitigation</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


- Elasticity for deep learning jobs/spot market enablement</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


- Hyper-parameter tuning for deep learning jobs</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


- Hardware Acceleration for Deep Learning including digital and analog</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


accelerators</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


- Scalability of deep learning jobs on large clusters</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


- Deep learning on heterogeneous infrastructure</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


- Efficient and Scalable Inference</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


- Data storage/access in shared networks for deep learning</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


- Communication-efficient distributed fair and adversarially robust learning</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


- Distributed learning techniques applied to speed up neural architecture</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


search</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue"; min-height: 15px;">


<br>


</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue"; min-height: 15px;">


<br>


</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


<b>Workshop Format:</b></p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


Due to the continuing impact of COVID-19, ScaDL 2023 will also adopt relevant</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


IPDPS 2023 policies on virtual participation and presentation. Consequently,</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


the organizers are currently planning a hybrid (in-person and virtual) event.</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue"; min-height: 15px;">


<br>


</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


<b>Submission Link:</b></p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


Submissions will be managed through linklings. Submission link available at:</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue"; color: rgb(220, 161, 13);">


<span style="text-decoration: underline;"><a href="https://2023.scadl.org/call-for-papers">https://2023.scadl.org/call-for-papers</a></span><span style="color: rgb(0, 0, 0);"> </span></p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue"; min-height: 15px;">


<br>


</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


<b>Key Dates</b></p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


<b>Paper Submission: February 14th, 2023 (EXTENDED)</b></p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


<b>Acceptance Notification: February 26th, 2023</b></p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


<b>Camera ready papers due: March 3th, 2023</b></p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


<b>Workshop Date: May 19th, 2023  </b></p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue"; min-height: 15px;">


<br>


</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


<b>Author Instructions</b></p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


ScaDL 2023 accepts submissions in two categories:</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


- Regular papers: 8-10 pages</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


- Short papers/Work in progress: 4 pages</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


The aforementioned lengths include all technical content, references and</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


appendices.</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


We encourage submissions that are original research work, work in progress,</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


case studies, vision papers, and industrial experience papers.</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


Papers should be formatted using IEEE conference style, including figures,</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


tables, and references. The IEEE conference style templates for MS Word and</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


LaTeX provided by IEEE eXpress Conference Publishing are available for</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


download. See the latest versions at</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue"; color: rgb(220, 161, 13);">


<span style="text-decoration: underline;"><a href="https://www.ieee.org/conferences/publishing/templates.html">https://www.ieee.org/conferences/publishing/templates.html</a></span><span style="color: rgb(0, 0, 0);"> </span></p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue"; min-height: 15px;">


<br>


</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


<b>General Chairs</b></p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


Kaoutar El Maghraoui, IBM Research AI, USA</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


Daniele Lezzi, Barcelona Supercomputing Center, Spain</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue"; min-height: 15px;">


<br>


</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


<b>Program Committee Chairs</b></p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


Misbah Mubarak, NVIDIA, USA</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


Alex Gittens, Rensselaer Polytechnic Institute (RPI), USA</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue"; min-height: 15px;">


<br>


</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


<b>Publicity Chairs</b></p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


Federica Filippini, Politecnico di Milano, Italy</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


Hadjer Benmeziane, Université Polytechnique des Hauts-de-France</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue"; min-height: 15px;">


<br>


</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


<b>Web Chair </b></p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


Praveen Venkateswaran, IBM Research AI, USA</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue"; min-height: 15px;">


<br>


</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


<b>Steering Committee</b></p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


Parijat Dube, IBM Research AI, USA</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


Vinod Muthusamy, IBM Research AI, USA</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


Ashish Verma, IBM Research AI, USA</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


Jayaram K. R., IBM Research AI, USA</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


Yogish Sabharwal, IBM Research AI, India</p>


<p style="margin: 0px; font-stretch: normal; line-height: normal; font-family: "Helvetica Neue";">


Danilo Ardagna, Politecnico di Milano, Italy</p>


<br>


</body>


</html>