府兵本泛指军府之兵。北魏在六镇起义后分为东西魏。为了与东魏相抗衡，西魏宇文泰于大统八年（）把流入关中地区的六镇军人和原在关中的鲜卑诸部人编为六军。次年与东魏作战，败于洛阳邙山，损失很大。为了补充和扩大队伍，以后几年不断收编关陇豪右的乡兵部曲，选任当州豪望为乡帅。大统十六年前，已建立起八柱国（大将军）、十二大将军、二十四开府（又称二十四军）的府兵组织系统。八柱国的设置乃模仿鲜卑拓跋部的八部制度，其中宇文泰实为全军统帅，魏宗室元欣仅挂虚名，实际分统府兵的只有六柱国，也与周国六军之制相符。西魏恭帝元年（），按照北魏早期所属大小部落的姓氏赐诸将姓，作为早已“灭绝”了的这些部落的继承人，所统兵士也改从各自主将之姓，这就给府兵制涂上了一层鲜卑部落兵制的色彩。

府兵具有中央禁卫军性质，番上宿卫的府兵“十五日上，则门栏陛戟，警昼巡夜；十五日下，则教旗习战。无他赋役”。随着中央集权制的加强，北周武帝建德二、三年间（～）改府兵军士为“侍官”，意思是侍卫皇帝，表明府兵是皇帝的亲军，不隶柱国。同时，又广募汉民入伍，免其课役。一人充当府兵，全家即编入军籍，不属州县。军人及其家属居城者置军坊，居乡者为乡团，置坊主、团主以领之。这种军民异籍的制度直到隋代才改变。隋文帝杨坚开皇十年（）下诏：“凡是军人可悉属州县，垦田籍账，一与民同，军府统领，宜依旧式。”这是个划时代的改变，标志着兵农合一的完成，但府兵本身归军府统领的组织系统不变。

由于记载不详和分歧，有关隋以前军府组织的某些环节不清楚。据记载，开府“二十四员分团统领，是二十四军；每一团，仪同二人”。但开府和仪同是共领，还是分领一军；仪同是否独立置府领兵；当时军府是否指二十四开府，或应包括仪同府；史籍记载上“初置府，不满百”或“合为百府”之说是否可信，史学界对这些问题存在着不同意见。开府、仪同以下置大都督、帅都督、都督等分级督率，则是清楚的。隋代军府有内府、外府（也就是内军、外军）之分，以骠骑将军、车骑将军为长、贰，有时也设置与骠骑府并行的车骑府。炀帝大业三年（）改称鹰扬府，长官为鹰扬郎将，副为鹰扬副郎将（后改鹰击郎将）。

唐初一度恢复骠骑、车骑府旧称。贞观十年（）外府更号折冲府，内府更号中郎将府。折冲府置折冲都尉、左右果毅都尉、别将（后置），作为府一级的将领。武后垂拱时府分三等。

早自北周武帝时，府兵番上宿卫，分隶于中央的司卫、司武、武候三府。隋初，左右卫、左右武卫、左右武候六个府各领军坊、乡团，统率府兵，继承周制。炀帝统治时，原先不领府兵的卫或府也都加领，这样领府兵的就有翊卫（左右卫所改）、骁卫（备身府所改）、武卫、屯卫（领军府所改）、御卫（加置）、候卫（武候府所改），各分左右，共十二卫。唐代因袭隋制，只是改屯卫为威卫，候卫为金吾卫，别置领军卫，废御卫，也是十二卫分领府兵宿卫。此外，自北周、隋以来，领府兵的还有侍卫东宫的率府，唐代为左右卫率、左右司御率和左右清道率，称为东宫六率，但领府很少。内府置中郎将，副为左右郎将，以下团、旅、队的设置略同外府。内府有亲、勋、翊的区分，兵士分别号为亲卫、勋卫、翊卫，合称三卫。统领内府三卫兵的是：左右卫，统亲府一、勋府二、翊府二，共五府；左右卫率，统亲、勋、翊府各一；其余卫、率，各统翊府一。

内府卫士取二品至五品官的子孙充当，外府卫士取六品以下官的子孙及白丁无职役者。在此范围内，征发原则是先富后贫，先强后弱，先多丁后少丁。府兵虽然包括官僚子弟和一般地主，但仍以均田农民为主体。府兵制创立以后，规定三年一拣点以补充缺额（玄宗时改为六年），其服役期限为二十一岁至五十九岁（玄宗时曾有缩减）。服役期间，府兵本身免除课役，但军资、衣装、轻武器（弓箭、横刀）和上番赴役途中的粮食，均须自备。每一火（一火十人）还得共备供运输的马六匹（或用驴），即所谓“六驮马”。自备资装对于农民是沉重的负担。

军府所在有地团，兵士不能随便迁徙出界；平时务农，农闲练武，有事出征，其主要任务是番上宿卫和征防。番上宿卫，即轮流到京师宿卫，按照距离长安的远近分别给番。法令规定：百里外五番（即各府内兵士以五人为一组，此五人轮流上长安宿卫，以下类推，但七番、九番分组不尽，当有剩员），五百里外七番，一千里外八番，每番一个月；二千里外九番，每番两个月。内府卫士（三卫）除两京及其附近诸州必须番上宿卫以外，余州都纳资代役。府兵到长安宿卫，由十二卫将军分领。出兵征防则由朝廷命将统率，调遣时必须持兵部所下鱼符，经州刺史和折冲府将领，勘合后，才得发兵。战争结束则兵散于府，将归于朝。这样，将帅就不能拥兵自重。

由于废置不常，唐代军府总数也有增减，较多时有六百三十三府（一作六百三十四府）。军府遍布全国，关内道多达二百六十一府，占三分之一以上，依次为河东、河南、河北、陇右，其他诸道多不过十，少止二三府（江南、岭南）。这种布局体现了居重驭轻，“举关中之众以临四方”的政治、军事意图。

府兵并非唐代惟一的兵种，承担宿卫的还有保卫宫廷，屯驻北门的禁军，与十二卫所领府兵对称南、北衙军。出征和防戍则有名为“募”而实也是“征”的兵募，以后还有防戍本州的团结兵、土镇兵等。在出征和防戍中，兵募的数量往往超过府兵，但府兵在唐初具有较强的战斗力，他们是军队的骨干。