在代理货物进出口业务中，退税主体通常取决于具体的代理模式。如果是代理公司以委托方名义报关出口，且符合相关规定，由委托方申请退税。委托方需要提供出口货物报关单、出口发票、代理出口协议等资料，按规定流程办理退税。若代理公司以自己名义报关出口，即买断式代理，这种情况下由代理公司退税。但无论是哪种模式，都要满足出口退税的基本条件，如货物真实出口、收汇合规等。委托方和代理方需在合作前明确退税主体，避免后续产生纠纷。

同时，双方要确保业务真实、单证齐全，严格按照税务部门要求操作，以顺利完成退税流程。

一般来说，如果是纯代理，也就是代理公司只收代理费，报关等以委托方名义，那退税就是委托方的事儿。代理方主要负责协助准备一些资料。

要是代理方买断货物出口，那就是代理方退税。但这要求代理方自身退税资质良好，能处理好相关流程。

看合同怎么签也很重要。合同里明确了退税相关责任和主体，就按合同来。没明确的话，按常规模式判断。

如果委托方自身不具备退税条件，而代理方有资质，以代理方名义出口退税可能更合适，但双方要协商好利益分配。

实际操作中，税务部门会审查业务真实性等。不管谁退税，都得保证资料真实、合规，不然退税会有麻烦。

有时候委托方会为了方便，全权交给代理方处理退税，这就需要代理方更专业，及时跟委托方沟通进度。

对于委托方来说，就算是代理方退税，自己也要关注流程，确保退税顺利，毕竟可能涉及自身利益。

无论是委托方还是代理方退税，都要注意退税申报期限，千万别逾期，不然影响退税。