etnaviv_cmdbuf.c

  1// SPDX-License-Identifier: GPL-2.0
  2/*
  3 * Copyright (C) 2017-2018 Etnaviv Project
  4 */
  5
  6#include <linux/dma-mapping.h>
  7
  8#include "etnaviv_cmdbuf.h"
  9#include "etnaviv_gem.h"
 10#include "etnaviv_gpu.h"
 11#include "etnaviv_mmu.h"
 12
 13#define SUBALLOC_SIZE		SZ_512K
 14#define SUBALLOC_GRANULE	SZ_4K
 15#define SUBALLOC_GRANULES	(SUBALLOC_SIZE / SUBALLOC_GRANULE)
 16
 17struct etnaviv_cmdbuf_suballoc {
 18	/* suballocated dma buffer properties */
 19	struct device *dev;
 20	void *vaddr;
 21	dma_addr_t paddr;
 22
 23	/* allocation management */
 24	struct mutex lock;
 25	DECLARE_BITMAP(granule_map, SUBALLOC_GRANULES);
 26	int free_space;
 27	wait_queue_head_t free_event;
 28};
 29
 30struct etnaviv_cmdbuf_suballoc *
 31etnaviv_cmdbuf_suballoc_new(struct device *dev)
 32{
 33	struct etnaviv_cmdbuf_suballoc *suballoc;
 34	int ret;
 35
 36	suballoc = kzalloc(sizeof(*suballoc), GFP_KERNEL);
 37	if (!suballoc)
 38		return ERR_PTR(-ENOMEM);
 39
 40	suballoc->dev = dev;
 41	mutex_init(&suballoc->lock);
 42	init_waitqueue_head(&suballoc->free_event);
 43
 44	BUILD_BUG_ON(ETNAVIV_SOFTPIN_START_ADDRESS < SUBALLOC_SIZE);
 45	suballoc->vaddr = dma_alloc_wc(dev, SUBALLOC_SIZE,
 46				       &suballoc->paddr, GFP_KERNEL);
 47	if (!suballoc->vaddr) {
 48		ret = -ENOMEM;
 49		goto free_suballoc;
 50	}
 51
 52	return suballoc;
 53
 54free_suballoc:
 55	mutex_destroy(&suballoc->lock);
 56	kfree(suballoc);
 57
 58	return ERR_PTR(ret);
 59}
 60
 61int etnaviv_cmdbuf_suballoc_map(struct etnaviv_cmdbuf_suballoc *suballoc,
 62				struct etnaviv_iommu_context *context,
 63				struct etnaviv_vram_mapping *mapping,
 64				u32 memory_base)
 65{
 66	return etnaviv_iommu_get_suballoc_va(context, mapping, memory_base,
 67					     suballoc->paddr, SUBALLOC_SIZE);
 68}
 69
 70void etnaviv_cmdbuf_suballoc_unmap(struct etnaviv_iommu_context *context,
 71				   struct etnaviv_vram_mapping *mapping)
 72{
 73	etnaviv_iommu_put_suballoc_va(context, mapping);
 74}
 75
 76void etnaviv_cmdbuf_suballoc_destroy(struct etnaviv_cmdbuf_suballoc *suballoc)
 77{
 78	dma_free_wc(suballoc->dev, SUBALLOC_SIZE, suballoc->vaddr,
 79		    suballoc->paddr);
 80	mutex_destroy(&suballoc->lock);
 81	kfree(suballoc);
 82}
 83
 84int etnaviv_cmdbuf_init(struct etnaviv_cmdbuf_suballoc *suballoc,
 85			struct etnaviv_cmdbuf *cmdbuf, u32 size)
 86{
 87	int granule_offs, order, ret;
 88
 89	cmdbuf->suballoc = suballoc;
 90	cmdbuf->size = size;
 91
 92	order = order_base_2(ALIGN(size, SUBALLOC_GRANULE) / SUBALLOC_GRANULE);
 93retry:
 94	mutex_lock(&suballoc->lock);
 95	granule_offs = bitmap_find_free_region(suballoc->granule_map,
 96					SUBALLOC_GRANULES, order);
 97	if (granule_offs < 0) {
 98		suballoc->free_space = 0;
 99		mutex_unlock(&suballoc->lock);
100		ret = wait_event_interruptible_timeout(suballoc->free_event,
101						       suballoc->free_space,
102						       secs_to_jiffies(10));
103		if (!ret) {
104			dev_err(suballoc->dev,
105				"Timeout waiting for cmdbuf space\n");
106			return -ETIMEDOUT;
107		}
108		goto retry;
109	}
110	mutex_unlock(&suballoc->lock);
111	cmdbuf->suballoc_offset = granule_offs * SUBALLOC_GRANULE;
112	cmdbuf->vaddr = suballoc->vaddr + cmdbuf->suballoc_offset;
113
114	return 0;
115}
116
117void etnaviv_cmdbuf_free(struct etnaviv_cmdbuf *cmdbuf)
118{
119	struct etnaviv_cmdbuf_suballoc *suballoc = cmdbuf->suballoc;
120	int order = order_base_2(ALIGN(cmdbuf->size, SUBALLOC_GRANULE) /
121				 SUBALLOC_GRANULE);
122
123	if (!suballoc)
124		return;
125
126	mutex_lock(&suballoc->lock);
127	bitmap_release_region(suballoc->granule_map,
128			      cmdbuf->suballoc_offset / SUBALLOC_GRANULE,
129			      order);
130	suballoc->free_space = 1;
131	mutex_unlock(&suballoc->lock);
132	wake_up_all(&suballoc->free_event);
133}
134
135u32 etnaviv_cmdbuf_get_va(struct etnaviv_cmdbuf *buf,
136			  struct etnaviv_vram_mapping *mapping)
137{
138	return mapping->iova + buf->suballoc_offset;
139}
140
141dma_addr_t etnaviv_cmdbuf_get_pa(struct etnaviv_cmdbuf *buf)
142{
143	return buf->suballoc->paddr + buf->suballoc_offset;
144}