File Index
Files and directories
Sign in
FILE

intel_gvt_mmio_table.c

File preview with syntax highlighting.

linux-6.19.14/drivers/gpu/drm/i915/intel_gvt_mmio_table.c C
   1// SPDX-License-Identifier: MIT
   2/*
   3 * Copyright © 2020 Intel Corporation
   4 */
   5
   6#include "display/bxt_dpio_phy_regs.h"
   7#include "display/i9xx_plane_regs.h"
   8#include "display/i9xx_wm_regs.h"
   9#include "display/intel_audio_regs.h"
  10#include "display/intel_backlight_regs.h"
  11#include "display/intel_color_regs.h"
  12#include "display/intel_crt_regs.h"
  13#include "display/intel_cursor_regs.h"
  14#include "display/intel_display_core.h"
  15#include "display/intel_display_types.h"
  16#include "display/intel_dmc_regs.h"
  17#include "display/intel_dp_aux_regs.h"
  18#include "display/intel_dpio_phy.h"
  19#include "display/intel_fbc_regs.h"
  20#include "display/intel_fdi_regs.h"
  21#include "display/intel_lvds_regs.h"
  22#include "display/intel_pfit_regs.h"
  23#include "display/intel_psr_regs.h"
  24#include "display/intel_sbi_regs.h"
  25#include "display/intel_sprite_regs.h"
  26#include "display/intel_vga_regs.h"
  27#include "display/skl_universal_plane_regs.h"
  28#include "display/skl_watermark_regs.h"
  29#include "display/vlv_dsi_pll_regs.h"
  30#include "gt/intel_engine_regs.h"
  31#include "gt/intel_gt_regs.h"
  32#include "gvt/reg.h"
  33
  34#include "i915_drv.h"
  35#include "i915_pvinfo.h"
  36#include "i915_reg.h"
  37#include "display/intel_display_regs.h"
  38#include "intel_gvt.h"
  39#include "intel_mchbar_regs.h"
  40
  41#define MMIO_F(reg, s) do { \
  42	int ret; \
  43	ret = iter->handle_mmio_cb(iter, i915_mmio_reg_offset(reg), s); \
  44	if (ret) \
  45		return ret; \
  46} while (0)
  47
  48#define MMIO_D(reg) MMIO_F(reg, 4)
  49
  50#define MMIO_RING_F(prefix, s) do { \
  51	MMIO_F(prefix(RENDER_RING_BASE), s); \
  52	MMIO_F(prefix(BLT_RING_BASE), s); \
  53	MMIO_F(prefix(GEN6_BSD_RING_BASE), s); \
  54	MMIO_F(prefix(VEBOX_RING_BASE), s); \
  55	if (HAS_ENGINE(to_gt(iter->i915), VCS1)) \
  56		MMIO_F(prefix(GEN8_BSD2_RING_BASE), s); \
  57} while (0)
  58
  59#define MMIO_RING_D(prefix) \
  60	MMIO_RING_F(prefix, 4)
  61
  62static int iterate_generic_mmio(struct intel_gvt_mmio_table_iter *iter)
  63{
  64	struct drm_i915_private *dev_priv = iter->i915;
  65	struct intel_display *display = dev_priv->display;
  66
  67	MMIO_RING_D(RING_IMR);
  68	MMIO_D(SDEIMR);
  69	MMIO_D(SDEIER);
  70	MMIO_D(SDEIIR);
  71	MMIO_D(SDEISR);
  72	MMIO_RING_D(RING_HWSTAM);
  73	MMIO_D(BSD_HWS_PGA_GEN7);
  74	MMIO_D(BLT_HWS_PGA_GEN7);
  75	MMIO_D(VEBOX_HWS_PGA_GEN7);
  76
  77#define RING_REG(base) _MMIO((base) + 0x28)
  78	MMIO_RING_D(RING_REG);
  79#undef RING_REG
  80
  81#define RING_REG(base) _MMIO((base) + 0x134)
  82	MMIO_RING_D(RING_REG);
  83#undef RING_REG
  84
  85#define RING_REG(base) _MMIO((base) + 0x6c)
  86	MMIO_RING_D(RING_REG);
  87#undef RING_REG
  88	MMIO_D(_MMIO(0x2148));
  89	MMIO_D(CCID(RENDER_RING_BASE));
  90	MMIO_D(_MMIO(0x12198));
  91	MMIO_D(GEN7_CXT_SIZE);
  92	MMIO_RING_D(RING_TAIL);
  93	MMIO_RING_D(RING_HEAD);
  94	MMIO_RING_D(RING_CTL);
  95	MMIO_RING_D(RING_ACTHD);
  96	MMIO_RING_D(RING_START);
  97
  98	/* RING MODE */
  99#define RING_REG(base) _MMIO((base) + 0x29c)
 100	MMIO_RING_D(RING_REG);
 101#undef RING_REG
 102
 103	MMIO_RING_D(RING_MI_MODE);
 104	MMIO_RING_D(RING_INSTPM);
 105	MMIO_RING_D(RING_TIMESTAMP);
 106	MMIO_RING_D(RING_TIMESTAMP_UDW);
 107	MMIO_D(GEN7_GT_MODE);
 108	MMIO_D(CACHE_MODE_0_GEN7);
 109	MMIO_D(CACHE_MODE_1);
 110	MMIO_D(CACHE_MODE_0);
 111	MMIO_D(_MMIO(0x2124));
 112	MMIO_D(_MMIO(0x20dc));
 113	MMIO_D(_3D_CHICKEN3);
 114	MMIO_D(_MMIO(0x2088));
 115	MMIO_D(FF_SLICE_CS_CHICKEN2);
 116	MMIO_D(_MMIO(0x2470));
 117	MMIO_D(GAM_ECOCHK);
 118	MMIO_D(GEN7_COMMON_SLICE_CHICKEN1);
 119	MMIO_D(COMMON_SLICE_CHICKEN2);
 120	MMIO_D(_MMIO(0x9030));
 121	MMIO_D(_MMIO(0x20a0));
 122	MMIO_D(_MMIO(0x2420));
 123	MMIO_D(_MMIO(0x2430));
 124	MMIO_D(_MMIO(0x2434));
 125	MMIO_D(_MMIO(0x2438));
 126	MMIO_D(_MMIO(0x243c));
 127	MMIO_D(_MMIO(0x7018));
 128	MMIO_D(HSW_HALF_SLICE_CHICKEN3);
 129	MMIO_D(GEN7_HALF_SLICE_CHICKEN1);
 130	/* display */
 131	MMIO_F(_MMIO(0x60220), 0x20);
 132	MMIO_D(_MMIO(0x602a0));
 133	MMIO_D(_MMIO(0x65050));
 134	MMIO_D(_MMIO(0x650b4));
 135	MMIO_D(_MMIO(0xc4040));
 136	MMIO_D(DERRMR);
 137	MMIO_D(PIPEDSL(display, PIPE_A));
 138	MMIO_D(PIPEDSL(display, PIPE_B));
 139	MMIO_D(PIPEDSL(display, PIPE_C));
 140	MMIO_D(PIPEDSL(display, _PIPE_EDP));
 141	MMIO_D(TRANSCONF(display, TRANSCODER_A));
 142	MMIO_D(TRANSCONF(display, TRANSCODER_B));
 143	MMIO_D(TRANSCONF(display, TRANSCODER_C));
 144	MMIO_D(TRANSCONF(display, TRANSCODER_EDP));
 145	MMIO_D(PIPESTAT(display, PIPE_A));
 146	MMIO_D(PIPESTAT(display, PIPE_B));
 147	MMIO_D(PIPESTAT(display, PIPE_C));
 148	MMIO_D(PIPESTAT(display, _PIPE_EDP));
 149	MMIO_D(PIPE_FLIPCOUNT_G4X(display, PIPE_A));
 150	MMIO_D(PIPE_FLIPCOUNT_G4X(display, PIPE_B));
 151	MMIO_D(PIPE_FLIPCOUNT_G4X(display, PIPE_C));
 152	MMIO_D(PIPE_FLIPCOUNT_G4X(display, _PIPE_EDP));
 153	MMIO_D(PIPE_FRMCOUNT_G4X(display, PIPE_A));
 154	MMIO_D(PIPE_FRMCOUNT_G4X(display, PIPE_B));
 155	MMIO_D(PIPE_FRMCOUNT_G4X(display, PIPE_C));
 156	MMIO_D(PIPE_FRMCOUNT_G4X(display, _PIPE_EDP));
 157	MMIO_D(CURCNTR(display, PIPE_A));
 158	MMIO_D(CURCNTR(display, PIPE_B));
 159	MMIO_D(CURCNTR(display, PIPE_C));
 160	MMIO_D(CURPOS(display, PIPE_A));
 161	MMIO_D(CURPOS(display, PIPE_B));
 162	MMIO_D(CURPOS(display, PIPE_C));
 163	MMIO_D(CURBASE(display, PIPE_A));
 164	MMIO_D(CURBASE(display, PIPE_B));
 165	MMIO_D(CURBASE(display, PIPE_C));
 166	MMIO_D(CUR_FBC_CTL(display, PIPE_A));
 167	MMIO_D(CUR_FBC_CTL(display, PIPE_B));
 168	MMIO_D(CUR_FBC_CTL(display, PIPE_C));
 169	MMIO_D(_MMIO(0x700ac));
 170	MMIO_D(_MMIO(0x710ac));
 171	MMIO_D(_MMIO(0x720ac));
 172	MMIO_D(_MMIO(0x70090));
 173	MMIO_D(_MMIO(0x70094));
 174	MMIO_D(_MMIO(0x70098));
 175	MMIO_D(_MMIO(0x7009c));
 176	MMIO_D(DSPCNTR(display, PIPE_A));
 177	MMIO_D(DSPADDR(display, PIPE_A));
 178	MMIO_D(DSPSTRIDE(display, PIPE_A));
 179	MMIO_D(DSPPOS(display, PIPE_A));
 180	MMIO_D(DSPSIZE(display, PIPE_A));
 181	MMIO_D(DSPSURF(display, PIPE_A));
 182	MMIO_D(DSPOFFSET(display, PIPE_A));
 183	MMIO_D(DSPSURFLIVE(display, PIPE_A));
 184	MMIO_D(REG_50080(PIPE_A, PLANE_PRIMARY));
 185	MMIO_D(DSPCNTR(display, PIPE_B));
 186	MMIO_D(DSPADDR(display, PIPE_B));
 187	MMIO_D(DSPSTRIDE(display, PIPE_B));
 188	MMIO_D(DSPPOS(display, PIPE_B));
 189	MMIO_D(DSPSIZE(display, PIPE_B));
 190	MMIO_D(DSPSURF(display, PIPE_B));
 191	MMIO_D(DSPOFFSET(display, PIPE_B));
 192	MMIO_D(DSPSURFLIVE(display, PIPE_B));
 193	MMIO_D(REG_50080(PIPE_B, PLANE_PRIMARY));
 194	MMIO_D(DSPCNTR(display, PIPE_C));
 195	MMIO_D(DSPADDR(display, PIPE_C));
 196	MMIO_D(DSPSTRIDE(display, PIPE_C));
 197	MMIO_D(DSPPOS(display, PIPE_C));
 198	MMIO_D(DSPSIZE(display, PIPE_C));
 199	MMIO_D(DSPSURF(display, PIPE_C));
 200	MMIO_D(DSPOFFSET(display, PIPE_C));
 201	MMIO_D(DSPSURFLIVE(display, PIPE_C));
 202	MMIO_D(REG_50080(PIPE_C, PLANE_PRIMARY));
 203	MMIO_D(SPRCTL(PIPE_A));
 204	MMIO_D(SPRLINOFF(PIPE_A));
 205	MMIO_D(SPRSTRIDE(PIPE_A));
 206	MMIO_D(SPRPOS(PIPE_A));
 207	MMIO_D(SPRSIZE(PIPE_A));
 208	MMIO_D(SPRKEYVAL(PIPE_A));
 209	MMIO_D(SPRKEYMSK(PIPE_A));
 210	MMIO_D(SPRSURF(PIPE_A));
 211	MMIO_D(SPRKEYMAX(PIPE_A));
 212	MMIO_D(SPROFFSET(PIPE_A));
 213	MMIO_D(SPRSCALE(PIPE_A));
 214	MMIO_D(SPRSURFLIVE(PIPE_A));
 215	MMIO_D(REG_50080(PIPE_A, PLANE_SPRITE0));
 216	MMIO_D(SPRCTL(PIPE_B));
 217	MMIO_D(SPRLINOFF(PIPE_B));
 218	MMIO_D(SPRSTRIDE(PIPE_B));
 219	MMIO_D(SPRPOS(PIPE_B));
 220	MMIO_D(SPRSIZE(PIPE_B));
 221	MMIO_D(SPRKEYVAL(PIPE_B));
 222	MMIO_D(SPRKEYMSK(PIPE_B));
 223	MMIO_D(SPRSURF(PIPE_B));
 224	MMIO_D(SPRKEYMAX(PIPE_B));
 225	MMIO_D(SPROFFSET(PIPE_B));
 226	MMIO_D(SPRSCALE(PIPE_B));
 227	MMIO_D(SPRSURFLIVE(PIPE_B));
 228	MMIO_D(REG_50080(PIPE_B, PLANE_SPRITE0));
 229	MMIO_D(SPRCTL(PIPE_C));
 230	MMIO_D(SPRLINOFF(PIPE_C));
 231	MMIO_D(SPRSTRIDE(PIPE_C));
 232	MMIO_D(SPRPOS(PIPE_C));
 233	MMIO_D(SPRSIZE(PIPE_C));
 234	MMIO_D(SPRKEYVAL(PIPE_C));
 235	MMIO_D(SPRKEYMSK(PIPE_C));
 236	MMIO_D(SPRSURF(PIPE_C));
 237	MMIO_D(SPRKEYMAX(PIPE_C));
 238	MMIO_D(SPROFFSET(PIPE_C));
 239	MMIO_D(SPRSCALE(PIPE_C));
 240	MMIO_D(SPRSURFLIVE(PIPE_C));
 241	MMIO_D(REG_50080(PIPE_C, PLANE_SPRITE0));
 242	MMIO_D(TRANS_HTOTAL(display, TRANSCODER_A));
 243	MMIO_D(TRANS_HBLANK(display, TRANSCODER_A));
 244	MMIO_D(TRANS_HSYNC(display, TRANSCODER_A));
 245	MMIO_D(TRANS_VTOTAL(display, TRANSCODER_A));
 246	MMIO_D(TRANS_VBLANK(display, TRANSCODER_A));
 247	MMIO_D(TRANS_VSYNC(display, TRANSCODER_A));
 248	MMIO_D(BCLRPAT(display, TRANSCODER_A));
 249	MMIO_D(TRANS_VSYNCSHIFT(display, TRANSCODER_A));
 250	MMIO_D(PIPESRC(display, TRANSCODER_A));
 251	MMIO_D(TRANS_HTOTAL(display, TRANSCODER_B));
 252	MMIO_D(TRANS_HBLANK(display, TRANSCODER_B));
 253	MMIO_D(TRANS_HSYNC(display, TRANSCODER_B));
 254	MMIO_D(TRANS_VTOTAL(display, TRANSCODER_B));
 255	MMIO_D(TRANS_VBLANK(display, TRANSCODER_B));
 256	MMIO_D(TRANS_VSYNC(display, TRANSCODER_B));
 257	MMIO_D(BCLRPAT(display, TRANSCODER_B));
 258	MMIO_D(TRANS_VSYNCSHIFT(display, TRANSCODER_B));
 259	MMIO_D(PIPESRC(display, TRANSCODER_B));
 260	MMIO_D(TRANS_HTOTAL(display, TRANSCODER_C));
 261	MMIO_D(TRANS_HBLANK(display, TRANSCODER_C));
 262	MMIO_D(TRANS_HSYNC(display, TRANSCODER_C));
 263	MMIO_D(TRANS_VTOTAL(display, TRANSCODER_C));
 264	MMIO_D(TRANS_VBLANK(display, TRANSCODER_C));
 265	MMIO_D(TRANS_VSYNC(display, TRANSCODER_C));
 266	MMIO_D(BCLRPAT(display, TRANSCODER_C));
 267	MMIO_D(TRANS_VSYNCSHIFT(display, TRANSCODER_C));
 268	MMIO_D(PIPESRC(display, TRANSCODER_C));
 269	MMIO_D(TRANS_HTOTAL(display, TRANSCODER_EDP));
 270	MMIO_D(TRANS_HBLANK(display, TRANSCODER_EDP));
 271	MMIO_D(TRANS_HSYNC(display, TRANSCODER_EDP));
 272	MMIO_D(TRANS_VTOTAL(display, TRANSCODER_EDP));
 273	MMIO_D(TRANS_VBLANK(display, TRANSCODER_EDP));
 274	MMIO_D(TRANS_VSYNC(display, TRANSCODER_EDP));
 275	MMIO_D(BCLRPAT(display, TRANSCODER_EDP));
 276	MMIO_D(TRANS_VSYNCSHIFT(display, TRANSCODER_EDP));
 277	MMIO_D(PIPE_DATA_M1(display, TRANSCODER_A));
 278	MMIO_D(PIPE_DATA_N1(display, TRANSCODER_A));
 279	MMIO_D(PIPE_DATA_M2(display, TRANSCODER_A));
 280	MMIO_D(PIPE_DATA_N2(display, TRANSCODER_A));
 281	MMIO_D(PIPE_LINK_M1(display, TRANSCODER_A));
 282	MMIO_D(PIPE_LINK_N1(display, TRANSCODER_A));
 283	MMIO_D(PIPE_LINK_M2(display, TRANSCODER_A));
 284	MMIO_D(PIPE_LINK_N2(display, TRANSCODER_A));
 285	MMIO_D(PIPE_DATA_M1(display, TRANSCODER_B));
 286	MMIO_D(PIPE_DATA_N1(display, TRANSCODER_B));
 287	MMIO_D(PIPE_DATA_M2(display, TRANSCODER_B));
 288	MMIO_D(PIPE_DATA_N2(display, TRANSCODER_B));
 289	MMIO_D(PIPE_LINK_M1(display, TRANSCODER_B));
 290	MMIO_D(PIPE_LINK_N1(display, TRANSCODER_B));
 291	MMIO_D(PIPE_LINK_M2(display, TRANSCODER_B));
 292	MMIO_D(PIPE_LINK_N2(display, TRANSCODER_B));
 293	MMIO_D(PIPE_DATA_M1(display, TRANSCODER_C));
 294	MMIO_D(PIPE_DATA_N1(display, TRANSCODER_C));
 295	MMIO_D(PIPE_DATA_M2(display, TRANSCODER_C));
 296	MMIO_D(PIPE_DATA_N2(display, TRANSCODER_C));
 297	MMIO_D(PIPE_LINK_M1(display, TRANSCODER_C));
 298	MMIO_D(PIPE_LINK_N1(display, TRANSCODER_C));
 299	MMIO_D(PIPE_LINK_M2(display, TRANSCODER_C));
 300	MMIO_D(PIPE_LINK_N2(display, TRANSCODER_C));
 301	MMIO_D(PIPE_DATA_M1(display, TRANSCODER_EDP));
 302	MMIO_D(PIPE_DATA_N1(display, TRANSCODER_EDP));
 303	MMIO_D(PIPE_DATA_M2(display, TRANSCODER_EDP));
 304	MMIO_D(PIPE_DATA_N2(display, TRANSCODER_EDP));
 305	MMIO_D(PIPE_LINK_M1(display, TRANSCODER_EDP));
 306	MMIO_D(PIPE_LINK_N1(display, TRANSCODER_EDP));
 307	MMIO_D(PIPE_LINK_M2(display, TRANSCODER_EDP));
 308	MMIO_D(PIPE_LINK_N2(display, TRANSCODER_EDP));
 309	MMIO_D(PF_CTL(PIPE_A));
 310	MMIO_D(PF_WIN_SZ(PIPE_A));
 311	MMIO_D(PF_WIN_POS(PIPE_A));
 312	MMIO_D(PF_VSCALE(PIPE_A));
 313	MMIO_D(PF_HSCALE(PIPE_A));
 314	MMIO_D(PF_CTL(PIPE_B));
 315	MMIO_D(PF_WIN_SZ(PIPE_B));
 316	MMIO_D(PF_WIN_POS(PIPE_B));
 317	MMIO_D(PF_VSCALE(PIPE_B));
 318	MMIO_D(PF_HSCALE(PIPE_B));
 319	MMIO_D(PF_CTL(PIPE_C));
 320	MMIO_D(PF_WIN_SZ(PIPE_C));
 321	MMIO_D(PF_WIN_POS(PIPE_C));
 322	MMIO_D(PF_VSCALE(PIPE_C));
 323	MMIO_D(PF_HSCALE(PIPE_C));
 324	MMIO_D(WM0_PIPE_ILK(PIPE_A));
 325	MMIO_D(WM0_PIPE_ILK(PIPE_B));
 326	MMIO_D(WM0_PIPE_ILK(PIPE_C));
 327	MMIO_D(WM1_LP_ILK);
 328	MMIO_D(WM2_LP_ILK);
 329	MMIO_D(WM3_LP_ILK);
 330	MMIO_D(WM1S_LP_ILK);
 331	MMIO_D(WM2S_LP_IVB);
 332	MMIO_D(WM3S_LP_IVB);
 333	MMIO_D(BLC_PWM_CPU_CTL2);
 334	MMIO_D(BLC_PWM_CPU_CTL);
 335	MMIO_D(BLC_PWM_PCH_CTL1);
 336	MMIO_D(BLC_PWM_PCH_CTL2);
 337	MMIO_D(_MMIO(0x48268));
 338	MMIO_F(PCH_GMBUS0, 4 * 4);
 339	MMIO_F(PCH_GPIO_BASE, 6 * 4);
 340	MMIO_F(_MMIO(0xe4f00), 0x28);
 341	MMIO_D(_MMIO(_PCH_TRANSACONF));
 342	MMIO_D(_MMIO(_PCH_TRANSBCONF));
 343	MMIO_D(FDI_RX_IIR(PIPE_A));
 344	MMIO_D(FDI_RX_IIR(PIPE_B));
 345	MMIO_D(FDI_RX_IIR(PIPE_C));
 346	MMIO_D(FDI_RX_IMR(PIPE_A));
 347	MMIO_D(FDI_RX_IMR(PIPE_B));
 348	MMIO_D(FDI_RX_IMR(PIPE_C));
 349	MMIO_D(FDI_RX_CTL(PIPE_A));
 350	MMIO_D(FDI_RX_CTL(PIPE_B));
 351	MMIO_D(FDI_RX_CTL(PIPE_C));
 352	MMIO_D(_MMIO(_PCH_TRANS_HTOTAL_A));
 353	MMIO_D(_MMIO(_PCH_TRANS_HBLANK_A));
 354	MMIO_D(_MMIO(_PCH_TRANS_HSYNC_A));
 355	MMIO_D(_MMIO(_PCH_TRANS_VTOTAL_A));
 356	MMIO_D(_MMIO(_PCH_TRANS_VBLANK_A));
 357	MMIO_D(_MMIO(_PCH_TRANS_VSYNC_A));
 358	MMIO_D(_MMIO(_PCH_TRANS_VSYNCSHIFT_A));
 359	MMIO_D(_MMIO(_PCH_TRANS_HTOTAL_B));
 360	MMIO_D(_MMIO(_PCH_TRANS_HBLANK_B));
 361	MMIO_D(_MMIO(_PCH_TRANS_HSYNC_B));
 362	MMIO_D(_MMIO(_PCH_TRANS_VTOTAL_B));
 363	MMIO_D(_MMIO(_PCH_TRANS_VBLANK_B));
 364	MMIO_D(_MMIO(_PCH_TRANS_VSYNC_B));
 365	MMIO_D(_MMIO(_PCH_TRANS_VSYNCSHIFT_B));
 366	MMIO_D(_MMIO(_PCH_TRANSA_DATA_M1));
 367	MMIO_D(_MMIO(_PCH_TRANSA_DATA_N1));
 368	MMIO_D(_MMIO(_PCH_TRANSA_DATA_M2));
 369	MMIO_D(_MMIO(_PCH_TRANSA_DATA_N2));
 370	MMIO_D(_MMIO(_PCH_TRANSA_LINK_M1));
 371	MMIO_D(_MMIO(_PCH_TRANSA_LINK_N1));
 372	MMIO_D(_MMIO(_PCH_TRANSA_LINK_M2));
 373	MMIO_D(_MMIO(_PCH_TRANSA_LINK_N2));
 374	MMIO_D(TRANS_DP_CTL(PIPE_A));
 375	MMIO_D(TRANS_DP_CTL(PIPE_B));
 376	MMIO_D(TRANS_DP_CTL(PIPE_C));
 377	MMIO_D(TVIDEO_DIP_CTL(PIPE_A));
 378	MMIO_D(TVIDEO_DIP_DATA(PIPE_A));
 379	MMIO_D(TVIDEO_DIP_GCP(PIPE_A));
 380	MMIO_D(TVIDEO_DIP_CTL(PIPE_B));
 381	MMIO_D(TVIDEO_DIP_DATA(PIPE_B));
 382	MMIO_D(TVIDEO_DIP_GCP(PIPE_B));
 383	MMIO_D(TVIDEO_DIP_CTL(PIPE_C));
 384	MMIO_D(TVIDEO_DIP_DATA(PIPE_C));
 385	MMIO_D(TVIDEO_DIP_GCP(PIPE_C));
 386	MMIO_D(_MMIO(_FDI_RXA_MISC));
 387	MMIO_D(_MMIO(_FDI_RXB_MISC));
 388	MMIO_D(_MMIO(_FDI_RXA_TUSIZE1));
 389	MMIO_D(_MMIO(_FDI_RXA_TUSIZE2));
 390	MMIO_D(_MMIO(_FDI_RXB_TUSIZE1));
 391	MMIO_D(_MMIO(_FDI_RXB_TUSIZE2));
 392	MMIO_D(PCH_PP_CONTROL);
 393	MMIO_D(PCH_PP_DIVISOR);
 394	MMIO_D(PCH_PP_STATUS);
 395	MMIO_D(PCH_LVDS);
 396	MMIO_D(_MMIO(_PCH_DPLL_A));
 397	MMIO_D(_MMIO(_PCH_DPLL_B));
 398	MMIO_D(_MMIO(_PCH_FPA0));
 399	MMIO_D(_MMIO(_PCH_FPA1));
 400	MMIO_D(_MMIO(_PCH_FPB0));
 401	MMIO_D(_MMIO(_PCH_FPB1));
 402	MMIO_D(PCH_DREF_CONTROL);
 403	MMIO_D(PCH_RAWCLK_FREQ);
 404	MMIO_D(PCH_DPLL_SEL);
 405	MMIO_D(_MMIO(0x61208));
 406	MMIO_D(_MMIO(0x6120c));
 407	MMIO_D(PCH_PP_ON_DELAYS);
 408	MMIO_D(PCH_PP_OFF_DELAYS);
 409	MMIO_D(_MMIO(0xe651c));
 410	MMIO_D(_MMIO(0xe661c));
 411	MMIO_D(_MMIO(0xe671c));
 412	MMIO_D(_MMIO(0xe681c));
 413	MMIO_D(_MMIO(0xe6c04));
 414	MMIO_D(_MMIO(0xe6e1c));
 415	MMIO_D(PCH_PORT_HOTPLUG);
 416	MMIO_D(LCPLL_CTL);
 417	MMIO_D(FUSE_STRAP);
 418	MMIO_D(DIGITAL_PORT_HOTPLUG_CNTRL);
 419	MMIO_D(DISP_ARB_CTL);
 420	MMIO_D(DISP_ARB_CTL2);
 421	MMIO_D(ILK_DISPLAY_CHICKEN1);
 422	MMIO_D(ILK_DISPLAY_CHICKEN2);
 423	MMIO_D(ILK_DSPCLK_GATE_D);
 424	MMIO_D(SOUTH_CHICKEN1);
 425	MMIO_D(SOUTH_CHICKEN2);
 426	MMIO_D(_MMIO(_TRANSA_CHICKEN1));
 427	MMIO_D(_MMIO(_TRANSB_CHICKEN1));
 428	MMIO_D(SOUTH_DSPCLK_GATE_D);
 429	MMIO_D(_MMIO(_TRANSA_CHICKEN2));
 430	MMIO_D(_MMIO(_TRANSB_CHICKEN2));
 431	MMIO_D(ILK_DPFC_CB_BASE(INTEL_FBC_A));
 432	MMIO_D(ILK_DPFC_CONTROL(INTEL_FBC_A));
 433	MMIO_D(ILK_DPFC_RECOMP_CTL(INTEL_FBC_A));
 434	MMIO_D(ILK_DPFC_STATUS(INTEL_FBC_A));
 435	MMIO_D(ILK_DPFC_FENCE_YOFF(INTEL_FBC_A));
 436	MMIO_D(ILK_DPFC_CHICKEN(INTEL_FBC_A));
 437	MMIO_D(ILK_FBC_RT_BASE);
 438	MMIO_D(IPS_CTL);
 439	MMIO_D(PIPE_CSC_COEFF_RY_GY(PIPE_A));
 440	MMIO_D(PIPE_CSC_COEFF_BY(PIPE_A));
 441	MMIO_D(PIPE_CSC_COEFF_RU_GU(PIPE_A));
 442	MMIO_D(PIPE_CSC_COEFF_BU(PIPE_A));
 443	MMIO_D(PIPE_CSC_COEFF_RV_GV(PIPE_A));
 444	MMIO_D(PIPE_CSC_COEFF_BV(PIPE_A));
 445	MMIO_D(PIPE_CSC_MODE(PIPE_A));
 446	MMIO_D(PIPE_CSC_PREOFF_HI(PIPE_A));
 447	MMIO_D(PIPE_CSC_PREOFF_ME(PIPE_A));
 448	MMIO_D(PIPE_CSC_PREOFF_LO(PIPE_A));
 449	MMIO_D(PIPE_CSC_POSTOFF_HI(PIPE_A));
 450	MMIO_D(PIPE_CSC_POSTOFF_ME(PIPE_A));
 451	MMIO_D(PIPE_CSC_POSTOFF_LO(PIPE_A));
 452	MMIO_D(PIPE_CSC_COEFF_RY_GY(PIPE_B));
 453	MMIO_D(PIPE_CSC_COEFF_BY(PIPE_B));
 454	MMIO_D(PIPE_CSC_COEFF_RU_GU(PIPE_B));
 455	MMIO_D(PIPE_CSC_COEFF_BU(PIPE_B));
 456	MMIO_D(PIPE_CSC_COEFF_RV_GV(PIPE_B));
 457	MMIO_D(PIPE_CSC_COEFF_BV(PIPE_B));
 458	MMIO_D(PIPE_CSC_MODE(PIPE_B));
 459	MMIO_D(PIPE_CSC_PREOFF_HI(PIPE_B));
 460	MMIO_D(PIPE_CSC_PREOFF_ME(PIPE_B));
 461	MMIO_D(PIPE_CSC_PREOFF_LO(PIPE_B));
 462	MMIO_D(PIPE_CSC_POSTOFF_HI(PIPE_B));
 463	MMIO_D(PIPE_CSC_POSTOFF_ME(PIPE_B));
 464	MMIO_D(PIPE_CSC_POSTOFF_LO(PIPE_B));
 465	MMIO_D(PIPE_CSC_COEFF_RY_GY(PIPE_C));
 466	MMIO_D(PIPE_CSC_COEFF_BY(PIPE_C));
 467	MMIO_D(PIPE_CSC_COEFF_RU_GU(PIPE_C));
 468	MMIO_D(PIPE_CSC_COEFF_BU(PIPE_C));
 469	MMIO_D(PIPE_CSC_COEFF_RV_GV(PIPE_C));
 470	MMIO_D(PIPE_CSC_COEFF_BV(PIPE_C));
 471	MMIO_D(PIPE_CSC_MODE(PIPE_C));
 472	MMIO_D(PIPE_CSC_PREOFF_HI(PIPE_C));
 473	MMIO_D(PIPE_CSC_PREOFF_ME(PIPE_C));
 474	MMIO_D(PIPE_CSC_PREOFF_LO(PIPE_C));
 475	MMIO_D(PIPE_CSC_POSTOFF_HI(PIPE_C));
 476	MMIO_D(PIPE_CSC_POSTOFF_ME(PIPE_C));
 477	MMIO_D(PIPE_CSC_POSTOFF_LO(PIPE_C));
 478	MMIO_D(PREC_PAL_INDEX(PIPE_A));
 479	MMIO_D(PREC_PAL_DATA(PIPE_A));
 480	MMIO_F(PREC_PAL_GC_MAX(PIPE_A, 0), 4 * 3);
 481	MMIO_D(PREC_PAL_INDEX(PIPE_B));
 482	MMIO_D(PREC_PAL_DATA(PIPE_B));
 483	MMIO_F(PREC_PAL_GC_MAX(PIPE_B, 0), 4 * 3);
 484	MMIO_D(PREC_PAL_INDEX(PIPE_C));
 485	MMIO_D(PREC_PAL_DATA(PIPE_C));
 486	MMIO_F(PREC_PAL_GC_MAX(PIPE_C, 0), 4 * 3);
 487	MMIO_D(_MMIO(0x60110));
 488	MMIO_D(_MMIO(0x61110));
 489	MMIO_F(_MMIO(0x70400), 0x40);
 490	MMIO_F(_MMIO(0x71400), 0x40);
 491	MMIO_F(_MMIO(0x72400), 0x40);
 492	MMIO_D(WM_LINETIME(PIPE_A));
 493	MMIO_D(WM_LINETIME(PIPE_B));
 494	MMIO_D(WM_LINETIME(PIPE_C));
 495	MMIO_D(SPLL_CTL);
 496	MMIO_D(_MMIO(_WRPLL_CTL1));
 497	MMIO_D(_MMIO(_WRPLL_CTL2));
 498	MMIO_D(PORT_CLK_SEL(PORT_A));
 499	MMIO_D(PORT_CLK_SEL(PORT_B));
 500	MMIO_D(PORT_CLK_SEL(PORT_C));
 501	MMIO_D(PORT_CLK_SEL(PORT_D));
 502	MMIO_D(PORT_CLK_SEL(PORT_E));
 503	MMIO_D(TRANS_CLK_SEL(TRANSCODER_A));
 504	MMIO_D(TRANS_CLK_SEL(TRANSCODER_B));
 505	MMIO_D(TRANS_CLK_SEL(TRANSCODER_C));
 506	MMIO_D(HSW_NDE_RSTWRN_OPT);
 507	MMIO_D(_MMIO(0x46508));
 508	MMIO_D(_MMIO(0x49080));
 509	MMIO_D(_MMIO(0x49180));
 510	MMIO_D(_MMIO(0x49280));
 511	MMIO_F(_MMIO(0x49090), 0x14);
 512	MMIO_F(_MMIO(0x49190), 0x14);
 513	MMIO_F(_MMIO(0x49290), 0x14);
 514	MMIO_D(GAMMA_MODE(PIPE_A));
 515	MMIO_D(GAMMA_MODE(PIPE_B));
 516	MMIO_D(GAMMA_MODE(PIPE_C));
 517	MMIO_D(TRANS_MULT(display, TRANSCODER_A));
 518	MMIO_D(TRANS_MULT(display, TRANSCODER_B));
 519	MMIO_D(TRANS_MULT(display, TRANSCODER_C));
 520	MMIO_D(HSW_TVIDEO_DIP_CTL(display, TRANSCODER_A));
 521	MMIO_D(HSW_TVIDEO_DIP_CTL(display, TRANSCODER_B));
 522	MMIO_D(HSW_TVIDEO_DIP_CTL(display, TRANSCODER_C));
 523	MMIO_D(SFUSE_STRAP);
 524	MMIO_D(SBI_ADDR);
 525	MMIO_D(SBI_DATA);
 526	MMIO_D(SBI_CTL_STAT);
 527	MMIO_D(PIXCLK_GATE);
 528	MMIO_F(DP_AUX_CH_CTL(AUX_CH_A), 6 * 4);
 529	MMIO_D(DDI_BUF_CTL(PORT_A));
 530	MMIO_D(DDI_BUF_CTL(PORT_B));
 531	MMIO_D(DDI_BUF_CTL(PORT_C));
 532	MMIO_D(DDI_BUF_CTL(PORT_D));
 533	MMIO_D(DDI_BUF_CTL(PORT_E));
 534	MMIO_D(DP_TP_CTL(PORT_A));
 535	MMIO_D(DP_TP_CTL(PORT_B));
 536	MMIO_D(DP_TP_CTL(PORT_C));
 537	MMIO_D(DP_TP_CTL(PORT_D));
 538	MMIO_D(DP_TP_CTL(PORT_E));
 539	MMIO_D(DP_TP_STATUS(PORT_A));
 540	MMIO_D(DP_TP_STATUS(PORT_B));
 541	MMIO_D(DP_TP_STATUS(PORT_C));
 542	MMIO_D(DP_TP_STATUS(PORT_D));
 543	MMIO_D(DP_TP_STATUS(PORT_E));
 544	MMIO_F(_MMIO(_DDI_BUF_TRANS_A), 0x50);
 545	MMIO_F(_MMIO(0x64e60), 0x50);
 546	MMIO_F(_MMIO(0x64eC0), 0x50);
 547	MMIO_F(_MMIO(0x64f20), 0x50);
 548	MMIO_F(_MMIO(0x64f80), 0x50);
 549	MMIO_D(HSW_AUD_CFG(PIPE_A));
 550	MMIO_D(HSW_AUD_PIN_ELD_CP_VLD);
 551	MMIO_D(HSW_AUD_MISC_CTRL(PIPE_A));
 552	MMIO_D(_MMIO(_TRANS_DDI_FUNC_CTL_A));
 553	MMIO_D(_MMIO(_TRANS_DDI_FUNC_CTL_B));
 554	MMIO_D(_MMIO(_TRANS_DDI_FUNC_CTL_C));
 555	MMIO_D(_MMIO(_TRANS_DDI_FUNC_CTL_EDP));
 556	MMIO_D(_MMIO(_TRANSA_MSA_MISC));
 557	MMIO_D(_MMIO(_TRANSB_MSA_MISC));
 558	MMIO_D(_MMIO(_TRANSC_MSA_MISC));
 559	MMIO_D(_MMIO(_TRANS_EDP_MSA_MISC));
 560	MMIO_D(FORCEWAKE);
 561	MMIO_D(FORCEWAKE_ACK);
 562	MMIO_D(GEN6_GT_CORE_STATUS);
 563	MMIO_D(GEN6_GT_THREAD_STATUS_REG);
 564	MMIO_D(GTFIFODBG);
 565	MMIO_D(GTFIFOCTL);
 566	MMIO_D(ECOBUS);
 567	MMIO_D(GEN6_RC_CONTROL);
 568	MMIO_D(GEN6_RC_STATE);
 569	MMIO_D(GEN6_RPNSWREQ);
 570	MMIO_D(GEN6_RC_VIDEO_FREQ);
 571	MMIO_D(GEN6_RP_DOWN_TIMEOUT);
 572	MMIO_D(GEN6_RP_INTERRUPT_LIMITS);
 573	MMIO_D(GEN6_RPSTAT1);
 574	MMIO_D(GEN6_RP_CONTROL);
 575	MMIO_D(GEN6_RP_UP_THRESHOLD);
 576	MMIO_D(GEN6_RP_DOWN_THRESHOLD);
 577	MMIO_D(GEN6_RP_CUR_UP_EI);
 578	MMIO_D(GEN6_RP_CUR_UP);
 579	MMIO_D(GEN6_RP_PREV_UP);
 580	MMIO_D(GEN6_RP_CUR_DOWN_EI);
 581	MMIO_D(GEN6_RP_CUR_DOWN);
 582	MMIO_D(GEN6_RP_PREV_DOWN);
 583	MMIO_D(GEN6_RP_UP_EI);
 584	MMIO_D(GEN6_RP_DOWN_EI);
 585	MMIO_D(GEN6_RP_IDLE_HYSTERSIS);
 586	MMIO_D(GEN6_RC1_WAKE_RATE_LIMIT);
 587	MMIO_D(GEN6_RC6_WAKE_RATE_LIMIT);
 588	MMIO_D(GEN6_RC6pp_WAKE_RATE_LIMIT);
 589	MMIO_D(GEN6_RC_EVALUATION_INTERVAL);
 590	MMIO_D(GEN6_RC_IDLE_HYSTERSIS);
 591	MMIO_D(GEN6_RC_SLEEP);
 592	MMIO_D(GEN6_RC1e_THRESHOLD);
 593	MMIO_D(GEN6_RC6_THRESHOLD);
 594	MMIO_D(GEN6_RC6p_THRESHOLD);
 595	MMIO_D(GEN6_RC6pp_THRESHOLD);
 596	MMIO_D(GEN6_PMINTRMSK);
 597
 598	MMIO_D(RSTDBYCTL);
 599	MMIO_D(GEN6_GDRST);
 600	MMIO_F(FENCE_REG_GEN6_LO(0), 0x80);
 601	MMIO_D(CPU_VGACNTRL);
 602	MMIO_D(TILECTL);
 603	MMIO_D(GEN6_UCGCTL1);
 604	MMIO_D(GEN6_UCGCTL2);
 605	MMIO_F(_MMIO(0x4f000), 0x90);
 606	MMIO_D(GEN6_PCODE_DATA);
 607	MMIO_D(_MMIO(0x13812c));
 608	MMIO_D(GEN7_ERR_INT);
 609	MMIO_D(HSW_EDRAM_CAP);
 610	MMIO_D(HSW_IDICR);
 611	MMIO_D(GFX_FLSH_CNTL_GEN6);
 612	MMIO_D(_MMIO(0x3c));
 613	MMIO_D(_MMIO(0x860));
 614	MMIO_D(ECOSKPD(RENDER_RING_BASE));
 615	MMIO_D(_MMIO(0x121d0));
 616	MMIO_D(ECOSKPD(BLT_RING_BASE));
 617	MMIO_D(_MMIO(0x41d0));
 618	MMIO_D(GAC_ECO_BITS);
 619	MMIO_D(_MMIO(0x6200));
 620	MMIO_D(_MMIO(0x6204));
 621	MMIO_D(_MMIO(0x6208));
 622	MMIO_D(_MMIO(0x7118));
 623	MMIO_D(_MMIO(0x7180));
 624	MMIO_D(_MMIO(0x7408));
 625	MMIO_D(_MMIO(0x7c00));
 626	MMIO_D(GEN6_MBCTL);
 627	MMIO_D(_MMIO(0x911c));
 628	MMIO_D(_MMIO(0x9120));
 629	MMIO_D(GEN7_UCGCTL4);
 630	MMIO_D(GAB_CTL);
 631	MMIO_D(_MMIO(0x48800));
 632	MMIO_D(_MMIO(0xce044));
 633	MMIO_D(_MMIO(0xe6500));
 634	MMIO_D(_MMIO(0xe6504));
 635	MMIO_D(_MMIO(0xe6600));
 636	MMIO_D(_MMIO(0xe6604));
 637	MMIO_D(_MMIO(0xe6700));
 638	MMIO_D(_MMIO(0xe6704));
 639	MMIO_D(_MMIO(0xe6800));
 640	MMIO_D(_MMIO(0xe6804));
 641	MMIO_D(PCH_GMBUS4);
 642	MMIO_D(PCH_GMBUS5);
 643	MMIO_D(_MMIO(0x902c));
 644	MMIO_D(_MMIO(0xec008));
 645	MMIO_D(_MMIO(0xec00c));
 646	MMIO_D(_MMIO(0xec008 + 0x18));
 647	MMIO_D(_MMIO(0xec00c + 0x18));
 648	MMIO_D(_MMIO(0xec008 + 0x18 * 2));
 649	MMIO_D(_MMIO(0xec00c + 0x18 * 2));
 650	MMIO_D(_MMIO(0xec008 + 0x18 * 3));
 651	MMIO_D(_MMIO(0xec00c + 0x18 * 3));
 652	MMIO_D(_MMIO(0xec408));
 653	MMIO_D(_MMIO(0xec40c));
 654	MMIO_D(_MMIO(0xec408 + 0x18));
 655	MMIO_D(_MMIO(0xec40c + 0x18));
 656	MMIO_D(_MMIO(0xec408 + 0x18 * 2));
 657	MMIO_D(_MMIO(0xec40c + 0x18 * 2));
 658	MMIO_D(_MMIO(0xec408 + 0x18 * 3));
 659	MMIO_D(_MMIO(0xec40c + 0x18 * 3));
 660	MMIO_D(_MMIO(0xfc810));
 661	MMIO_D(_MMIO(0xfc81c));
 662	MMIO_D(_MMIO(0xfc828));
 663	MMIO_D(_MMIO(0xfc834));
 664	MMIO_D(_MMIO(0xfcc00));
 665	MMIO_D(_MMIO(0xfcc0c));
 666	MMIO_D(_MMIO(0xfcc18));
 667	MMIO_D(_MMIO(0xfcc24));
 668	MMIO_D(_MMIO(0xfd000));
 669	MMIO_D(_MMIO(0xfd00c));
 670	MMIO_D(_MMIO(0xfd018));
 671	MMIO_D(_MMIO(0xfd024));
 672	MMIO_D(_MMIO(0xfd034));
 673	MMIO_D(FPGA_DBG);
 674	MMIO_D(_MMIO(0x2054));
 675	MMIO_D(_MMIO(0x12054));
 676	MMIO_D(_MMIO(0x22054));
 677	MMIO_D(_MMIO(0x1a054));
 678	MMIO_D(_MMIO(0x44070));
 679	MMIO_D(_MMIO(0x2178));
 680	MMIO_D(_MMIO(0x217c));
 681	MMIO_D(_MMIO(0x12178));
 682	MMIO_D(_MMIO(0x1217c));
 683	MMIO_F(_MMIO(0x5200), 32);
 684	MMIO_F(_MMIO(0x5240), 32);
 685	MMIO_F(_MMIO(0x5280), 16);
 686	MMIO_D(BCS_SWCTRL);
 687	MMIO_F(HS_INVOCATION_COUNT, 8);
 688	MMIO_F(DS_INVOCATION_COUNT, 8);
 689	MMIO_F(IA_VERTICES_COUNT, 8);
 690	MMIO_F(IA_PRIMITIVES_COUNT, 8);
 691	MMIO_F(VS_INVOCATION_COUNT, 8);
 692	MMIO_F(GS_INVOCATION_COUNT, 8);
 693	MMIO_F(GS_PRIMITIVES_COUNT, 8);
 694	MMIO_F(CL_INVOCATION_COUNT, 8);
 695	MMIO_F(CL_PRIMITIVES_COUNT, 8);
 696	MMIO_F(PS_INVOCATION_COUNT, 8);
 697	MMIO_F(PS_DEPTH_COUNT, 8);
 698	MMIO_D(ARB_MODE);
 699	MMIO_RING_D(RING_BBADDR);
 700	MMIO_D(_MMIO(0x2220));
 701	MMIO_D(_MMIO(0x12220));
 702	MMIO_D(_MMIO(0x22220));
 703	MMIO_RING_D(RING_SYNC_1);
 704	MMIO_RING_D(RING_SYNC_0);
 705	MMIO_D(GUC_STATUS);
 706
 707	MMIO_F(_MMIO(MCHBAR_MIRROR_BASE_SNB), 0x40000);
 708	MMIO_F(_MMIO(VGT_PVINFO_PAGE), VGT_PVINFO_SIZE);
 709	MMIO_F(LGC_PALETTE(PIPE_A, 0), 1024);
 710	MMIO_F(LGC_PALETTE(PIPE_B, 0), 1024);
 711	MMIO_F(LGC_PALETTE(PIPE_C, 0), 1024);
 712
 713	return 0;
 714}
 715
 716static int iterate_bdw_only_mmio(struct intel_gvt_mmio_table_iter *iter)
 717{
 718	MMIO_D(HSW_PWR_WELL_CTL1);
 719	MMIO_D(HSW_PWR_WELL_CTL2);
 720	MMIO_D(HSW_PWR_WELL_CTL3);
 721	MMIO_D(HSW_PWR_WELL_CTL4);
 722	MMIO_D(HSW_PWR_WELL_CTL5);
 723	MMIO_D(HSW_PWR_WELL_CTL6);
 724
 725	MMIO_D(WM_MISC);
 726	MMIO_D(_MMIO(_SRD_CTL_EDP));
 727
 728	MMIO_D(_MMIO(0xb1f0));
 729	MMIO_D(_MMIO(0xb1c0));
 730	MMIO_D(_MMIO(0xb100));
 731	MMIO_D(_MMIO(0xb10c));
 732	MMIO_D(_MMIO(0xb110));
 733	MMIO_D(_MMIO(0x83a4));
 734	MMIO_D(_MMIO(0x8430));
 735	MMIO_D(_MMIO(0x2248));
 736	MMIO_D(FORCEWAKE_ACK_HSW);
 737
 738	return 0;
 739}
 740
 741static int iterate_bdw_plus_mmio(struct intel_gvt_mmio_table_iter *iter)
 742{
 743	struct drm_i915_private *dev_priv = iter->i915;
 744
 745	MMIO_D(GEN8_GT_IMR(0));
 746	MMIO_D(GEN8_GT_IER(0));
 747	MMIO_D(GEN8_GT_IIR(0));
 748	MMIO_D(GEN8_GT_ISR(0));
 749	MMIO_D(GEN8_GT_IMR(1));
 750	MMIO_D(GEN8_GT_IER(1));
 751	MMIO_D(GEN8_GT_IIR(1));
 752	MMIO_D(GEN8_GT_ISR(1));
 753	MMIO_D(GEN8_GT_IMR(2));
 754	MMIO_D(GEN8_GT_IER(2));
 755	MMIO_D(GEN8_GT_IIR(2));
 756	MMIO_D(GEN8_GT_ISR(2));
 757	MMIO_D(GEN8_GT_IMR(3));
 758	MMIO_D(GEN8_GT_IER(3));
 759	MMIO_D(GEN8_GT_IIR(3));
 760	MMIO_D(GEN8_GT_ISR(3));
 761	MMIO_D(GEN8_DE_PIPE_IMR(PIPE_A));
 762	MMIO_D(GEN8_DE_PIPE_IER(PIPE_A));
 763	MMIO_D(GEN8_DE_PIPE_IIR(PIPE_A));
 764	MMIO_D(GEN8_DE_PIPE_ISR(PIPE_A));
 765	MMIO_D(GEN8_DE_PIPE_IMR(PIPE_B));
 766	MMIO_D(GEN8_DE_PIPE_IER(PIPE_B));
 767	MMIO_D(GEN8_DE_PIPE_IIR(PIPE_B));
 768	MMIO_D(GEN8_DE_PIPE_ISR(PIPE_B));
 769	MMIO_D(GEN8_DE_PIPE_IMR(PIPE_C));
 770	MMIO_D(GEN8_DE_PIPE_IER(PIPE_C));
 771	MMIO_D(GEN8_DE_PIPE_IIR(PIPE_C));
 772	MMIO_D(GEN8_DE_PIPE_ISR(PIPE_C));
 773	MMIO_D(GEN8_DE_PORT_IMR);
 774	MMIO_D(GEN8_DE_PORT_IER);
 775	MMIO_D(GEN8_DE_PORT_IIR);
 776	MMIO_D(GEN8_DE_PORT_ISR);
 777	MMIO_D(GEN8_DE_MISC_IMR);
 778	MMIO_D(GEN8_DE_MISC_IER);
 779	MMIO_D(GEN8_DE_MISC_IIR);
 780	MMIO_D(GEN8_DE_MISC_ISR);
 781	MMIO_D(GEN8_PCU_IMR);
 782	MMIO_D(GEN8_PCU_IER);
 783	MMIO_D(GEN8_PCU_IIR);
 784	MMIO_D(GEN8_PCU_ISR);
 785	MMIO_D(GEN8_MASTER_IRQ);
 786	MMIO_RING_D(RING_ACTHD_UDW);
 787
 788#define RING_REG(base) _MMIO((base) + 0xd0)
 789	MMIO_RING_D(RING_REG);
 790#undef RING_REG
 791
 792#define RING_REG(base) _MMIO((base) + 0x230)
 793	MMIO_RING_D(RING_REG);
 794#undef RING_REG
 795
 796#define RING_REG(base) _MMIO((base) + 0x234)
 797	MMIO_RING_F(RING_REG, 8);
 798#undef RING_REG
 799
 800#define RING_REG(base) _MMIO((base) + 0x244)
 801	MMIO_RING_D(RING_REG);
 802#undef RING_REG
 803
 804#define RING_REG(base) _MMIO((base) + 0x370)
 805	MMIO_RING_F(RING_REG, 48);
 806#undef RING_REG
 807
 808#define RING_REG(base) _MMIO((base) + 0x3a0)
 809	MMIO_RING_D(RING_REG);
 810#undef RING_REG
 811
 812	MMIO_D(PIPE_MISC(PIPE_A));
 813	MMIO_D(PIPE_MISC(PIPE_B));
 814	MMIO_D(PIPE_MISC(PIPE_C));
 815	MMIO_D(_MMIO(0x1c1d0));
 816	MMIO_D(GEN6_MBCUNIT_SNPCR);
 817	MMIO_D(GEN7_MISCCPCTL);
 818	MMIO_D(_MMIO(0x1c054));
 819	MMIO_D(GEN6_PCODE_MAILBOX);
 820	if (!IS_BROXTON(dev_priv))
 821		MMIO_D(GEN8_PRIVATE_PAT_LO);
 822	MMIO_D(GEN8_PRIVATE_PAT_HI);
 823	MMIO_D(GAMTARBMODE);
 824
 825#define RING_REG(base) _MMIO((base) + 0x270)
 826	MMIO_RING_F(RING_REG, 32);
 827#undef RING_REG
 828
 829	MMIO_RING_D(RING_HWS_PGA);
 830	MMIO_D(HDC_CHICKEN0);
 831	MMIO_D(CHICKEN_PIPESL_1(PIPE_A));
 832	MMIO_D(CHICKEN_PIPESL_1(PIPE_B));
 833	MMIO_D(CHICKEN_PIPESL_1(PIPE_C));
 834	MMIO_D(_MMIO(0x6671c));
 835	MMIO_D(_MMIO(0x66c00));
 836	MMIO_D(_MMIO(0x66c04));
 837	MMIO_D(HSW_GTT_CACHE_EN);
 838	MMIO_D(GEN8_EU_DISABLE0);
 839	MMIO_D(GEN8_EU_DISABLE1);
 840	MMIO_D(GEN8_EU_DISABLE2);
 841	MMIO_D(_MMIO(0xfdc));
 842	MMIO_D(GEN8_ROW_CHICKEN);
 843	MMIO_D(GEN7_ROW_CHICKEN2);
 844	MMIO_D(GEN8_UCGCTL6);
 845	MMIO_D(GEN8_L3SQCREG4);
 846	MMIO_D(GEN9_SCRATCH_LNCF1);
 847	MMIO_F(_MMIO(0x24d0), 48);
 848	MMIO_D(_MMIO(0x44484));
 849	MMIO_D(_MMIO(0x4448c));
 850	MMIO_D(GEN8_L3_LRA_1_GPGPU);
 851	MMIO_D(_MMIO(0x110000));
 852	MMIO_D(_MMIO(0x48400));
 853	MMIO_D(_MMIO(0x6e570));
 854	MMIO_D(_MMIO(0x65f10));
 855	MMIO_D(_MMIO(0xe194));
 856	MMIO_D(_MMIO(0xe188));
 857	MMIO_D(HALF_SLICE_CHICKEN2);
 858	MMIO_D(_MMIO(0x2580));
 859	MMIO_D(_MMIO(0xe220));
 860	MMIO_D(_MMIO(0xe230));
 861	MMIO_D(_MMIO(0xe240));
 862	MMIO_D(_MMIO(0xe260));
 863	MMIO_D(_MMIO(0xe270));
 864	MMIO_D(_MMIO(0xe280));
 865	MMIO_D(_MMIO(0xe2a0));
 866	MMIO_D(_MMIO(0xe2b0));
 867	MMIO_D(_MMIO(0xe2c0));
 868	MMIO_D(_MMIO(0x21f0));
 869	MMIO_D(GEN8_GAMW_ECO_DEV_RW_IA);
 870	MMIO_D(_MMIO(0x215c));
 871	MMIO_F(_MMIO(0x2290), 8);
 872	MMIO_D(_MMIO(0x2b00));
 873	MMIO_D(_MMIO(0x2360));
 874	MMIO_D(_MMIO(0x1c17c));
 875	MMIO_D(_MMIO(0x1c178));
 876	MMIO_D(_MMIO(0x4260));
 877	MMIO_D(_MMIO(0x4264));
 878	MMIO_D(_MMIO(0x4268));
 879	MMIO_D(_MMIO(0x426c));
 880	MMIO_D(_MMIO(0x4270));
 881	MMIO_D(_MMIO(0x4094));
 882	MMIO_D(_MMIO(0x22178));
 883	MMIO_D(_MMIO(0x1a178));
 884	MMIO_D(_MMIO(0x1a17c));
 885	MMIO_D(_MMIO(0x2217c));
 886	MMIO_D(EDP_PSR_IMR);
 887	MMIO_D(EDP_PSR_IIR);
 888	MMIO_D(_MMIO(0xe4cc));
 889	MMIO_D(GEN7_SC_INSTDONE);
 890
 891	return 0;
 892}
 893
 894static int iterate_pre_skl_mmio(struct intel_gvt_mmio_table_iter *iter)
 895{
 896	MMIO_D(FORCEWAKE_MT);
 897
 898	MMIO_D(PCH_ADPA);
 899	MMIO_F(PCH_DP_AUX_CH_CTL(AUX_CH_B), 6 * 4);
 900	MMIO_F(PCH_DP_AUX_CH_CTL(AUX_CH_C), 6 * 4);
 901	MMIO_F(PCH_DP_AUX_CH_CTL(AUX_CH_D), 6 * 4);
 902
 903	MMIO_F(_MMIO(0x70440), 0xc);
 904	MMIO_F(_MMIO(0x71440), 0xc);
 905	MMIO_F(_MMIO(0x72440), 0xc);
 906	MMIO_F(_MMIO(0x7044c), 0xc);
 907	MMIO_F(_MMIO(0x7144c), 0xc);
 908	MMIO_F(_MMIO(0x7244c), 0xc);
 909
 910	return 0;
 911}
 912
 913static int iterate_skl_plus_mmio(struct intel_gvt_mmio_table_iter *iter)
 914{
 915	struct drm_i915_private *dev_priv = iter->i915;
 916
 917	MMIO_D(FORCEWAKE_RENDER_GEN9);
 918	MMIO_D(FORCEWAKE_ACK_RENDER_GEN9);
 919	MMIO_D(FORCEWAKE_GT_GEN9);
 920	MMIO_D(FORCEWAKE_ACK_GT_GEN9);
 921	MMIO_D(FORCEWAKE_MEDIA_GEN9);
 922	MMIO_D(FORCEWAKE_ACK_MEDIA_GEN9);
 923	MMIO_F(DP_AUX_CH_CTL(AUX_CH_B), 6 * 4);
 924	MMIO_F(DP_AUX_CH_CTL(AUX_CH_C), 6 * 4);
 925	MMIO_F(DP_AUX_CH_CTL(AUX_CH_D), 6 * 4);
 926	MMIO_D(HSW_PWR_WELL_CTL1);
 927	MMIO_D(HSW_PWR_WELL_CTL2);
 928	MMIO_D(DBUF_CTL_S(0));
 929	MMIO_D(GEN9_PG_ENABLE);
 930	MMIO_D(GEN9_MEDIA_PG_IDLE_HYSTERESIS);
 931	MMIO_D(GEN9_RENDER_PG_IDLE_HYSTERESIS);
 932	MMIO_D(GEN9_GAMT_ECO_REG_RW_IA);
 933	MMIO_D(MMCD_MISC_CTRL);
 934	MMIO_D(CHICKEN_PAR1_1);
 935	MMIO_D(DC_STATE_EN);
 936	MMIO_D(DC_STATE_DEBUG);
 937	MMIO_D(CDCLK_CTL);
 938	MMIO_D(LCPLL1_CTL);
 939	MMIO_D(LCPLL2_CTL);
 940	MMIO_D(_MMIO(_DPLL1_CFGCR1));
 941	MMIO_D(_MMIO(_DPLL2_CFGCR1));
 942	MMIO_D(_MMIO(_DPLL3_CFGCR1));
 943	MMIO_D(_MMIO(_DPLL1_CFGCR2));
 944	MMIO_D(_MMIO(_DPLL2_CFGCR2));
 945	MMIO_D(_MMIO(_DPLL3_CFGCR2));
 946	MMIO_D(DPLL_CTRL1);
 947	MMIO_D(DPLL_CTRL2);
 948	MMIO_D(DPLL_STATUS);
 949	MMIO_D(SKL_PS_WIN_POS(PIPE_A, 0));
 950	MMIO_D(SKL_PS_WIN_POS(PIPE_A, 1));
 951	MMIO_D(SKL_PS_WIN_POS(PIPE_B, 0));
 952	MMIO_D(SKL_PS_WIN_POS(PIPE_B, 1));
 953	MMIO_D(SKL_PS_WIN_POS(PIPE_C, 0));
 954	MMIO_D(SKL_PS_WIN_POS(PIPE_C, 1));
 955	MMIO_D(SKL_PS_WIN_SZ(PIPE_A, 0));
 956	MMIO_D(SKL_PS_WIN_SZ(PIPE_A, 1));
 957	MMIO_D(SKL_PS_WIN_SZ(PIPE_B, 0));
 958	MMIO_D(SKL_PS_WIN_SZ(PIPE_B, 1));
 959	MMIO_D(SKL_PS_WIN_SZ(PIPE_C, 0));
 960	MMIO_D(SKL_PS_WIN_SZ(PIPE_C, 1));
 961	MMIO_D(SKL_PS_CTRL(PIPE_A, 0));
 962	MMIO_D(SKL_PS_CTRL(PIPE_A, 1));
 963	MMIO_D(SKL_PS_CTRL(PIPE_B, 0));
 964	MMIO_D(SKL_PS_CTRL(PIPE_B, 1));
 965	MMIO_D(SKL_PS_CTRL(PIPE_C, 0));
 966	MMIO_D(SKL_PS_CTRL(PIPE_C, 1));
 967	MMIO_D(PLANE_BUF_CFG(PIPE_A, 0));
 968	MMIO_D(PLANE_BUF_CFG(PIPE_A, 1));
 969	MMIO_D(PLANE_BUF_CFG(PIPE_A, 2));
 970	MMIO_D(PLANE_BUF_CFG(PIPE_A, 3));
 971	MMIO_D(PLANE_BUF_CFG(PIPE_B, 0));
 972	MMIO_D(PLANE_BUF_CFG(PIPE_B, 1));
 973	MMIO_D(PLANE_BUF_CFG(PIPE_B, 2));
 974	MMIO_D(PLANE_BUF_CFG(PIPE_B, 3));
 975	MMIO_D(PLANE_BUF_CFG(PIPE_C, 0));
 976	MMIO_D(PLANE_BUF_CFG(PIPE_C, 1));
 977	MMIO_D(PLANE_BUF_CFG(PIPE_C, 2));
 978	MMIO_D(PLANE_BUF_CFG(PIPE_C, 3));
 979	MMIO_D(CUR_BUF_CFG(PIPE_A));
 980	MMIO_D(CUR_BUF_CFG(PIPE_B));
 981	MMIO_D(CUR_BUF_CFG(PIPE_C));
 982	MMIO_F(PLANE_WM(PIPE_A, 0, 0), 4 * 8);
 983	MMIO_F(PLANE_WM(PIPE_A, 1, 0), 4 * 8);
 984	MMIO_F(PLANE_WM(PIPE_A, 2, 0), 4 * 8);
 985	MMIO_F(PLANE_WM(PIPE_B, 0, 0), 4 * 8);
 986	MMIO_F(PLANE_WM(PIPE_B, 1, 0), 4 * 8);
 987	MMIO_F(PLANE_WM(PIPE_B, 2, 0), 4 * 8);
 988	MMIO_F(PLANE_WM(PIPE_C, 0, 0), 4 * 8);
 989	MMIO_F(PLANE_WM(PIPE_C, 1, 0), 4 * 8);
 990	MMIO_F(PLANE_WM(PIPE_C, 2, 0), 4 * 8);
 991	MMIO_F(CUR_WM(PIPE_A, 0), 4 * 8);
 992	MMIO_F(CUR_WM(PIPE_B, 0), 4 * 8);
 993	MMIO_F(CUR_WM(PIPE_C, 0), 4 * 8);
 994	MMIO_D(PLANE_WM_TRANS(PIPE_A, 0));
 995	MMIO_D(PLANE_WM_TRANS(PIPE_A, 1));
 996	MMIO_D(PLANE_WM_TRANS(PIPE_A, 2));
 997	MMIO_D(PLANE_WM_TRANS(PIPE_B, 0));
 998	MMIO_D(PLANE_WM_TRANS(PIPE_B, 1));
 999	MMIO_D(PLANE_WM_TRANS(PIPE_B, 2));
1000	MMIO_D(PLANE_WM_TRANS(PIPE_C, 0));
1001	MMIO_D(PLANE_WM_TRANS(PIPE_C, 1));
1002	MMIO_D(PLANE_WM_TRANS(PIPE_C, 2));
1003	MMIO_D(CUR_WM_TRANS(PIPE_A));
1004	MMIO_D(CUR_WM_TRANS(PIPE_B));
1005	MMIO_D(CUR_WM_TRANS(PIPE_C));
1006	MMIO_D(PLANE_NV12_BUF_CFG(PIPE_A, 0));
1007	MMIO_D(PLANE_NV12_BUF_CFG(PIPE_A, 1));
1008	MMIO_D(PLANE_NV12_BUF_CFG(PIPE_A, 2));
1009	MMIO_D(PLANE_NV12_BUF_CFG(PIPE_A, 3));
1010	MMIO_D(PLANE_NV12_BUF_CFG(PIPE_B, 0));
1011	MMIO_D(PLANE_NV12_BUF_CFG(PIPE_B, 1));
1012	MMIO_D(PLANE_NV12_BUF_CFG(PIPE_B, 2));
1013	MMIO_D(PLANE_NV12_BUF_CFG(PIPE_B, 3));
1014	MMIO_D(PLANE_NV12_BUF_CFG(PIPE_C, 0));
1015	MMIO_D(PLANE_NV12_BUF_CFG(PIPE_C, 1));
1016	MMIO_D(PLANE_NV12_BUF_CFG(PIPE_C, 2));
1017	MMIO_D(PLANE_NV12_BUF_CFG(PIPE_C, 3));
1018	MMIO_D(PLANE_AUX_DIST(PIPE_A, 0));
1019	MMIO_D(PLANE_AUX_DIST(PIPE_A, 1));
1020	MMIO_D(PLANE_AUX_DIST(PIPE_A, 2));
1021	MMIO_D(PLANE_AUX_DIST(PIPE_A, 3));
1022	MMIO_D(PLANE_AUX_DIST(PIPE_B, 0));
1023	MMIO_D(PLANE_AUX_DIST(PIPE_B, 1));
1024	MMIO_D(PLANE_AUX_DIST(PIPE_B, 2));
1025	MMIO_D(PLANE_AUX_DIST(PIPE_B, 3));
1026	MMIO_D(PLANE_AUX_DIST(PIPE_C, 0));
1027	MMIO_D(PLANE_AUX_DIST(PIPE_C, 1));
1028	MMIO_D(PLANE_AUX_DIST(PIPE_C, 2));
1029	MMIO_D(PLANE_AUX_DIST(PIPE_C, 3));
1030	MMIO_D(PLANE_AUX_OFFSET(PIPE_A, 0));
1031	MMIO_D(PLANE_AUX_OFFSET(PIPE_A, 1));
1032	MMIO_D(PLANE_AUX_OFFSET(PIPE_A, 2));
1033	MMIO_D(PLANE_AUX_OFFSET(PIPE_A, 3));
1034	MMIO_D(PLANE_AUX_OFFSET(PIPE_B, 0));
1035	MMIO_D(PLANE_AUX_OFFSET(PIPE_B, 1));
1036	MMIO_D(PLANE_AUX_OFFSET(PIPE_B, 2));
1037	MMIO_D(PLANE_AUX_OFFSET(PIPE_B, 3));
1038	MMIO_D(PLANE_AUX_OFFSET(PIPE_C, 0));
1039	MMIO_D(PLANE_AUX_OFFSET(PIPE_C, 1));
1040	MMIO_D(PLANE_AUX_OFFSET(PIPE_C, 2));
1041	MMIO_D(PLANE_AUX_OFFSET(PIPE_C, 3));
1042	MMIO_D(PLANE_CTL(PIPE_A, 2));
1043	MMIO_D(PLANE_CTL(PIPE_B, 2));
1044	MMIO_D(PLANE_CTL(PIPE_C, 2));
1045	MMIO_D(PLANE_SURF(PIPE_A, 2));
1046	MMIO_D(PLANE_SURF(PIPE_B, 2));
1047	MMIO_D(PLANE_SURF(PIPE_C, 2));
1048	MMIO_D(DMC_SSP_BASE);
1049	MMIO_D(DMC_HTP_SKL);
1050	MMIO_D(DMC_LAST_WRITE);
1051	MMIO_D(BDW_SCRATCH1);
1052	MMIO_D(SKL_DFSM);
1053	MMIO_D(DISPIO_CR_TX_BMU_CR0);
1054	MMIO_F(GEN9_GFX_MOCS(0), 0x7f8);
1055	MMIO_F(GEN7_L3CNTLREG2, 0x80);
1056	MMIO_D(RPM_CONFIG0);
1057	MMIO_D(_MMIO(0xd08));
1058	MMIO_D(RC6_LOCATION);
1059	MMIO_D(GEN7_FF_SLICE_CS_CHICKEN1);
1060	MMIO_D(GEN9_CS_DEBUG_MODE1);
1061	/* TRTT */
1062	MMIO_D(TRVATTL3PTRDW(0));
1063	MMIO_D(TRVATTL3PTRDW(1));
1064	MMIO_D(TRVATTL3PTRDW(2));
1065	MMIO_D(TRVATTL3PTRDW(3));
1066	MMIO_D(TRVADR);
1067	MMIO_D(TRTTE);
1068	MMIO_D(_MMIO(0x4dfc));
1069	MMIO_D(_MMIO(0x46430));
1070	MMIO_D(_MMIO(0x46520));
1071	MMIO_D(_MMIO(0xc403c));
1072	MMIO_D(GEN8_GARBCNTL);
1073	MMIO_D(DMA_CTRL);
1074	MMIO_D(_MMIO(0x65900));
1075	MMIO_D(GEN6_STOLEN_RESERVED);
1076	MMIO_D(_MMIO(0x4068));
1077	MMIO_D(_MMIO(0x67054));
1078	MMIO_D(_MMIO(0x6e560));
1079	MMIO_D(_MMIO(0x6e554));
1080	MMIO_D(_MMIO(0x2b20));
1081	MMIO_D(_MMIO(0x65f00));
1082	MMIO_D(_MMIO(0x65f08));
1083	MMIO_D(_MMIO(0x320f0));
1084	MMIO_D(_MMIO(0x70034));
1085	MMIO_D(_MMIO(0x71034));
1086	MMIO_D(_MMIO(0x72034));
1087	MMIO_D(PLANE_KEYVAL(PIPE_A, 0));
1088	MMIO_D(PLANE_KEYVAL(PIPE_B, 0));
1089	MMIO_D(PLANE_KEYVAL(PIPE_C, 0));
1090	MMIO_D(PLANE_KEYMAX(PIPE_A, 0));
1091	MMIO_D(PLANE_KEYMAX(PIPE_B, 0));
1092	MMIO_D(PLANE_KEYMAX(PIPE_C, 0));
1093	MMIO_D(PLANE_KEYMSK(PIPE_A, 0));
1094	MMIO_D(PLANE_KEYMSK(PIPE_B, 0));
1095	MMIO_D(PLANE_KEYMSK(PIPE_C, 0));
1096	MMIO_D(_MMIO(0x44500));
1097#define CSFE_CHICKEN1_REG(base) _MMIO((base) + 0xD4)
1098	MMIO_RING_D(CSFE_CHICKEN1_REG);
1099#undef CSFE_CHICKEN1_REG
1100	MMIO_D(GEN8_HDC_CHICKEN1);
1101	MMIO_D(GEN9_WM_CHICKEN3);
1102
1103	if (IS_KABYLAKE(dev_priv) ||
1104	    IS_COFFEELAKE(dev_priv) || IS_COMETLAKE(dev_priv))
1105		MMIO_D(GAMT_CHKN_BIT_REG);
1106	if (!IS_BROXTON(dev_priv))
1107		MMIO_D(GEN9_CTX_PREEMPT_REG);
1108	MMIO_F(_MMIO(DMC_MMIO_START_RANGE), 0x3000);
1109	return 0;
1110}
1111
1112static int iterate_bxt_mmio(struct intel_gvt_mmio_table_iter *iter)
1113{
1114	struct drm_i915_private *dev_priv = iter->i915;
1115	struct intel_display *display = dev_priv->display;
1116
1117	MMIO_F(_MMIO(0x80000), 0x3000);
1118	MMIO_D(GEN7_SAMPLER_INSTDONE);
1119	MMIO_D(GEN7_ROW_INSTDONE);
1120	MMIO_D(GEN8_FAULT_TLB_DATA0);
1121	MMIO_D(GEN8_FAULT_TLB_DATA1);
1122	MMIO_D(ERROR_GEN6);
1123	MMIO_D(DONE_REG);
1124	MMIO_D(EIR);
1125	MMIO_D(PGTBL_ER);
1126	MMIO_D(_MMIO(0x4194));
1127	MMIO_D(_MMIO(0x4294));
1128	MMIO_D(_MMIO(0x4494));
1129	MMIO_RING_D(RING_PSMI_CTL);
1130	MMIO_RING_D(RING_DMA_FADD);
1131	MMIO_RING_D(RING_DMA_FADD_UDW);
1132	MMIO_RING_D(RING_IPEHR);
1133	MMIO_RING_D(RING_INSTPS);
1134	MMIO_RING_D(RING_BBADDR_UDW);
1135	MMIO_RING_D(RING_BBSTATE);
1136	MMIO_RING_D(RING_IPEIR);
1137	MMIO_F(SOFT_SCRATCH(0), 16 * 4);
1138	MMIO_D(BXT_P_CR_GT_DISP_PWRON);
1139	MMIO_D(BXT_RP_STATE_CAP);
1140	MMIO_D(BXT_PHY_CTL_FAMILY(DPIO_PHY0));
1141	MMIO_D(BXT_PHY_CTL_FAMILY(DPIO_PHY1));
1142	MMIO_D(BXT_PHY_CTL(PORT_A));
1143	MMIO_D(BXT_PHY_CTL(PORT_B));
1144	MMIO_D(BXT_PHY_CTL(PORT_C));
1145	MMIO_D(BXT_PORT_PLL_ENABLE(PORT_A));
1146	MMIO_D(BXT_PORT_PLL_ENABLE(PORT_B));
1147	MMIO_D(BXT_PORT_PLL_ENABLE(PORT_C));
1148	MMIO_D(BXT_PORT_CL1CM_DW0(DPIO_PHY0));
1149	MMIO_D(BXT_PORT_CL1CM_DW9(DPIO_PHY0));
1150	MMIO_D(BXT_PORT_CL1CM_DW10(DPIO_PHY0));
1151	MMIO_D(BXT_PORT_CL1CM_DW28(DPIO_PHY0));
1152	MMIO_D(BXT_PORT_CL1CM_DW30(DPIO_PHY0));
1153	MMIO_D(BXT_PORT_CL2CM_DW6(DPIO_PHY0));
1154	MMIO_D(BXT_PORT_REF_DW3(DPIO_PHY0));
1155	MMIO_D(BXT_PORT_REF_DW6(DPIO_PHY0));
1156	MMIO_D(BXT_PORT_REF_DW8(DPIO_PHY0));
1157	MMIO_D(BXT_PORT_CL1CM_DW0(DPIO_PHY1));
1158	MMIO_D(BXT_PORT_CL1CM_DW9(DPIO_PHY1));
1159	MMIO_D(BXT_PORT_CL1CM_DW10(DPIO_PHY1));
1160	MMIO_D(BXT_PORT_CL1CM_DW28(DPIO_PHY1));
1161	MMIO_D(BXT_PORT_CL1CM_DW30(DPIO_PHY1));
1162	MMIO_D(BXT_PORT_CL2CM_DW6(DPIO_PHY1));
1163	MMIO_D(BXT_PORT_REF_DW3(DPIO_PHY1));
1164	MMIO_D(BXT_PORT_REF_DW6(DPIO_PHY1));
1165	MMIO_D(BXT_PORT_REF_DW8(DPIO_PHY1));
1166	MMIO_D(BXT_PORT_PLL_EBB_0(DPIO_PHY0, DPIO_CH0));
1167	MMIO_D(BXT_PORT_PLL_EBB_4(DPIO_PHY0, DPIO_CH0));
1168	MMIO_D(BXT_PORT_PCS_DW10_LN01(DPIO_PHY0, DPIO_CH0));
1169	MMIO_D(BXT_PORT_PCS_DW10_GRP(DPIO_PHY0, DPIO_CH0));
1170	MMIO_D(BXT_PORT_PCS_DW12_LN01(DPIO_PHY0, DPIO_CH0));
1171	MMIO_D(BXT_PORT_PCS_DW12_LN23(DPIO_PHY0, DPIO_CH0));
1172	MMIO_D(BXT_PORT_PCS_DW12_GRP(DPIO_PHY0, DPIO_CH0));
1173	MMIO_D(BXT_PORT_TX_DW2_LN(DPIO_PHY0, DPIO_CH0, 0));
1174	MMIO_D(BXT_PORT_TX_DW2_GRP(DPIO_PHY0, DPIO_CH0));
1175	MMIO_D(BXT_PORT_TX_DW3_LN(DPIO_PHY0, DPIO_CH0, 0));
1176	MMIO_D(BXT_PORT_TX_DW3_GRP(DPIO_PHY0, DPIO_CH0));
1177	MMIO_D(BXT_PORT_TX_DW4_LN(DPIO_PHY0, DPIO_CH0, 0));
1178	MMIO_D(BXT_PORT_TX_DW4_GRP(DPIO_PHY0, DPIO_CH0));
1179	MMIO_D(BXT_PORT_TX_DW14_LN(DPIO_PHY0, DPIO_CH0, 0));
1180	MMIO_D(BXT_PORT_TX_DW14_LN(DPIO_PHY0, DPIO_CH0, 1));
1181	MMIO_D(BXT_PORT_TX_DW14_LN(DPIO_PHY0, DPIO_CH0, 2));
1182	MMIO_D(BXT_PORT_TX_DW14_LN(DPIO_PHY0, DPIO_CH0, 3));
1183	MMIO_D(BXT_PORT_PLL(DPIO_PHY0, DPIO_CH0, 0));
1184	MMIO_D(BXT_PORT_PLL(DPIO_PHY0, DPIO_CH0, 1));
1185	MMIO_D(BXT_PORT_PLL(DPIO_PHY0, DPIO_CH0, 2));
1186	MMIO_D(BXT_PORT_PLL(DPIO_PHY0, DPIO_CH0, 3));
1187	MMIO_D(BXT_PORT_PLL(DPIO_PHY0, DPIO_CH0, 6));
1188	MMIO_D(BXT_PORT_PLL(DPIO_PHY0, DPIO_CH0, 8));
1189	MMIO_D(BXT_PORT_PLL(DPIO_PHY0, DPIO_CH0, 9));
1190	MMIO_D(BXT_PORT_PLL(DPIO_PHY0, DPIO_CH0, 10));
1191	MMIO_D(BXT_PORT_PLL_EBB_0(DPIO_PHY0, DPIO_CH1));
1192	MMIO_D(BXT_PORT_PLL_EBB_4(DPIO_PHY0, DPIO_CH1));
1193	MMIO_D(BXT_PORT_PCS_DW10_LN01(DPIO_PHY0, DPIO_CH1));
1194	MMIO_D(BXT_PORT_PCS_DW10_GRP(DPIO_PHY0, DPIO_CH1));
1195	MMIO_D(BXT_PORT_PCS_DW12_LN01(DPIO_PHY0, DPIO_CH1));
1196	MMIO_D(BXT_PORT_PCS_DW12_LN23(DPIO_PHY0, DPIO_CH1));
1197	MMIO_D(BXT_PORT_PCS_DW12_GRP(DPIO_PHY0, DPIO_CH1));
1198	MMIO_D(BXT_PORT_TX_DW2_LN(DPIO_PHY0, DPIO_CH1, 0));
1199	MMIO_D(BXT_PORT_TX_DW2_GRP(DPIO_PHY0, DPIO_CH1));
1200	MMIO_D(BXT_PORT_TX_DW3_LN(DPIO_PHY0, DPIO_CH1, 0));
1201	MMIO_D(BXT_PORT_TX_DW3_GRP(DPIO_PHY0, DPIO_CH1));
1202	MMIO_D(BXT_PORT_TX_DW4_LN(DPIO_PHY0, DPIO_CH1, 0));
1203	MMIO_D(BXT_PORT_TX_DW4_GRP(DPIO_PHY0, DPIO_CH1));
1204	MMIO_D(BXT_PORT_TX_DW14_LN(DPIO_PHY0, DPIO_CH1, 0));
1205	MMIO_D(BXT_PORT_TX_DW14_LN(DPIO_PHY0, DPIO_CH1, 1));
1206	MMIO_D(BXT_PORT_TX_DW14_LN(DPIO_PHY0, DPIO_CH1, 2));
1207	MMIO_D(BXT_PORT_TX_DW14_LN(DPIO_PHY0, DPIO_CH1, 3));
1208	MMIO_D(BXT_PORT_PLL(DPIO_PHY0, DPIO_CH1, 0));
1209	MMIO_D(BXT_PORT_PLL(DPIO_PHY0, DPIO_CH1, 1));
1210	MMIO_D(BXT_PORT_PLL(DPIO_PHY0, DPIO_CH1, 2));
1211	MMIO_D(BXT_PORT_PLL(DPIO_PHY0, DPIO_CH1, 3));
1212	MMIO_D(BXT_PORT_PLL(DPIO_PHY0, DPIO_CH1, 6));
1213	MMIO_D(BXT_PORT_PLL(DPIO_PHY0, DPIO_CH1, 8));
1214	MMIO_D(BXT_PORT_PLL(DPIO_PHY0, DPIO_CH1, 9));
1215	MMIO_D(BXT_PORT_PLL(DPIO_PHY0, DPIO_CH1, 10));
1216	MMIO_D(BXT_PORT_PLL_EBB_0(DPIO_PHY1, DPIO_CH0));
1217	MMIO_D(BXT_PORT_PLL_EBB_4(DPIO_PHY1, DPIO_CH0));
1218	MMIO_D(BXT_PORT_PCS_DW10_LN01(DPIO_PHY1, DPIO_CH0));
1219	MMIO_D(BXT_PORT_PCS_DW10_GRP(DPIO_PHY1, DPIO_CH0));
1220	MMIO_D(BXT_PORT_PCS_DW12_LN01(DPIO_PHY1, DPIO_CH0));
1221	MMIO_D(BXT_PORT_PCS_DW12_LN23(DPIO_PHY1, DPIO_CH0));
1222	MMIO_D(BXT_PORT_PCS_DW12_GRP(DPIO_PHY1, DPIO_CH0));
1223	MMIO_D(BXT_PORT_TX_DW2_LN(DPIO_PHY1, DPIO_CH0, 0));
1224	MMIO_D(BXT_PORT_TX_DW2_GRP(DPIO_PHY1, DPIO_CH0));
1225	MMIO_D(BXT_PORT_TX_DW3_LN(DPIO_PHY1, DPIO_CH0, 0));
1226	MMIO_D(BXT_PORT_TX_DW3_GRP(DPIO_PHY1, DPIO_CH0));
1227	MMIO_D(BXT_PORT_TX_DW4_LN(DPIO_PHY1, DPIO_CH0, 0));
1228	MMIO_D(BXT_PORT_TX_DW4_GRP(DPIO_PHY1, DPIO_CH0));
1229	MMIO_D(BXT_PORT_TX_DW14_LN(DPIO_PHY1, DPIO_CH0, 0));
1230	MMIO_D(BXT_PORT_TX_DW14_LN(DPIO_PHY1, DPIO_CH0, 1));
1231	MMIO_D(BXT_PORT_TX_DW14_LN(DPIO_PHY1, DPIO_CH0, 2));
1232	MMIO_D(BXT_PORT_TX_DW14_LN(DPIO_PHY1, DPIO_CH0, 3));
1233	MMIO_D(BXT_PORT_PLL(DPIO_PHY1, DPIO_CH0, 0));
1234	MMIO_D(BXT_PORT_PLL(DPIO_PHY1, DPIO_CH0, 1));
1235	MMIO_D(BXT_PORT_PLL(DPIO_PHY1, DPIO_CH0, 2));
1236	MMIO_D(BXT_PORT_PLL(DPIO_PHY1, DPIO_CH0, 3));
1237	MMIO_D(BXT_PORT_PLL(DPIO_PHY1, DPIO_CH0, 6));
1238	MMIO_D(BXT_PORT_PLL(DPIO_PHY1, DPIO_CH0, 8));
1239	MMIO_D(BXT_PORT_PLL(DPIO_PHY1, DPIO_CH0, 9));
1240	MMIO_D(BXT_PORT_PLL(DPIO_PHY1, DPIO_CH0, 10));
1241	MMIO_D(BXT_DE_PLL_CTL);
1242	MMIO_D(BXT_DE_PLL_ENABLE);
1243	MMIO_D(BXT_DSI_PLL_CTL);
1244	MMIO_D(BXT_DSI_PLL_ENABLE);
1245	MMIO_D(GEN9_CLKGATE_DIS_0);
1246	MMIO_D(GEN9_CLKGATE_DIS_4);
1247	MMIO_D(HSW_TVIDEO_DIP_GCP(display, TRANSCODER_A));
1248	MMIO_D(HSW_TVIDEO_DIP_GCP(display, TRANSCODER_B));
1249	MMIO_D(HSW_TVIDEO_DIP_GCP(display, TRANSCODER_C));
1250	MMIO_D(RC6_CTX_BASE);
1251	MMIO_D(GEN8_PUSHBUS_CONTROL);
1252	MMIO_D(GEN8_PUSHBUS_ENABLE);
1253	MMIO_D(GEN8_PUSHBUS_SHIFT);
1254	MMIO_D(GEN6_GFXPAUSE);
1255	MMIO_D(GEN8_L3SQCREG1);
1256	MMIO_D(GEN8_L3CNTLREG);
1257	MMIO_D(_MMIO(0x20D8));
1258	MMIO_F(GEN8_RING_CS_GPR(RENDER_RING_BASE, 0), 0x40);
1259	MMIO_F(GEN8_RING_CS_GPR(GEN6_BSD_RING_BASE, 0), 0x40);
1260	MMIO_F(GEN8_RING_CS_GPR(BLT_RING_BASE, 0), 0x40);
1261	MMIO_F(GEN8_RING_CS_GPR(VEBOX_RING_BASE, 0), 0x40);
1262	MMIO_D(GEN9_CTX_PREEMPT_REG);
1263	MMIO_D(GEN8_PRIVATE_PAT_LO);
1264
1265	return 0;
1266}
1267
1268/**
1269 * intel_gvt_iterate_mmio_table - Iterate the GVT MMIO table
1270 * @iter: the iterator
1271 *
1272 * This function is called for iterating the GVT MMIO table when i915 is
1273 * taking the snapshot of the HW and GVT is building MMIO tracking table.
1274 */
1275int intel_gvt_iterate_mmio_table(struct intel_gvt_mmio_table_iter *iter)
1276{
1277	struct drm_i915_private *i915 = iter->i915;
1278	int ret;
1279
1280	ret = iterate_generic_mmio(iter);
1281	if (ret)
1282		goto err;
1283
1284	if (IS_BROADWELL(i915)) {
1285		ret = iterate_bdw_only_mmio(iter);
1286		if (ret)
1287			goto err;
1288		ret = iterate_bdw_plus_mmio(iter);
1289		if (ret)
1290			goto err;
1291		ret = iterate_pre_skl_mmio(iter);
1292		if (ret)
1293			goto err;
1294	} else if (IS_SKYLAKE(i915) ||
1295		   IS_KABYLAKE(i915) ||
1296		   IS_COFFEELAKE(i915) ||
1297		   IS_COMETLAKE(i915)) {
1298		ret = iterate_bdw_plus_mmio(iter);
1299		if (ret)
1300			goto err;
1301		ret = iterate_skl_plus_mmio(iter);
1302		if (ret)
1303			goto err;
1304	} else if (IS_BROXTON(i915)) {
1305		ret = iterate_bdw_plus_mmio(iter);
1306		if (ret)
1307			goto err;
1308		ret = iterate_skl_plus_mmio(iter);
1309		if (ret)
1310			goto err;
1311		ret = iterate_bxt_mmio(iter);
1312		if (ret)
1313			goto err;
1314	}
1315
1316	return 0;
1317err:
1318	return ret;
1319}
1320EXPORT_SYMBOL_NS_GPL(intel_gvt_iterate_mmio_table, "I915_GVT");
~/ Read-only file preview.