基本定义
最优化方法（也称做运筹学方法）是近几十年形成的，它首要运用数学方法研究各种系统的优化渠道及方案，为制定人供应科学决策的根据。最优化方法的首要研究对象是各种有组织系统的管理困难及其生产运营活动。最优化方法的目的在于针对所研究的系统，求得一个合理运用人力、物力和财力的最佳方案，发挥和提升系统的效能及效益，最终高达系统的最优目标。实践显示，伴随科学技术的日益进步和生产运营的日益发展，最优化方法已形成现代管理科学的重要理论基础和不可缺少的方法，被民众普遍地应用到公共管理、经济管理、国防等各个领域，发挥着越来越重要的作用。本章将介绍最优化方法的研究对象、特点，以及最优化方法模型的建立和模型的分析、求解、应用。首要是线性规划困难的模型、求解（线性规划困难的单纯形解法）及其应用――运输困难；以及动态规划的模型、求解、应用――资源分配困难。最优化方法
1.微分学中求极值
2.无约束最优化困难
3.常用微分公式
4.凸集与凸函数
5.等式约束最优化困难
6.不等式约束最优化困难
7.变分学中求极值详细资料
数学意义
为了高达最优化目的所提出的各种求解方法。从数学意义上表达，最优化方法是一种求极值的方法，即在一组约束为等式或不等式的条件下，使系统的目标函数高达极值，即最大值或最小值。从经济意义上表达，是在适当的人力、物力和财力资源条件下，使经济效果高达最大（如产值、利润），或者在完成规定的生产或经济任务下，使投入的人力、物力和财力等资源为最少。
发展简史
公元前 500年古希腊在讨论建筑美学中就已发现了长方形长与宽的最佳比例为1.618,称为黄金分割比。其倒数迄今在优选法中仍得到普遍应用。在微积分显现以前，已有很多学者开始研究用数学方法处理最优化困难。比如阿基米德证明：给定周长，圆所包围的面积为最大。这就是欧洲古代城堡差不多都建成圆形的原因。但是最优化方法真正形形成科学方法则在17世纪以后。17世纪，I.牛顿和G.W.莱布尼茨在他们所创建的微积分中，提出求解具有多个自变量的实值函数的最大值和最小值的方法。以后又更深一步讨论具有未知函数的函数极值，进而形成变分法。这一期间的最优化方法可以称为古典最优化方法。第二次世界大战前后，受于军事上的需要和科学技术和生产的快速发展，很多事实的最优化困难已经无法用古典方法来处理，这就促进了近代最优化方法的造成。近代最优化方法的形成和发展过程中最重要的事件有： 以苏联 Л.В.康托罗维奇和美国G.B.丹齐克为代表的线性规划；以美国库恩和塔克尔为代表的非线性规划；以美国R.贝尔曼为代表的动态规划；以苏联Л.С.庞特里亚金为代表的极大值原理等。这些方法后来都形成体系，形成近代很活跃的学科，对促进运筹学、管理科学、控制论和系统工程等学科的成长起了重要作用。
工作步骤
用最优化方法处理事实困难，一般可经历下列步骤：①提出最优化困难，收集相关报告和资料；②建立最优化困难的数学模型,确定变量,列出目标函数和约束条件；③分析模型，选择合适的最优化方法；④求解，一般通过编制程序，用计算机求最优解；⑤最优解的检验和实行。上述 5个步骤中的工作相互支持和相互制衡，在实践中常常是反复交叉执行。
模型的基本要素
最优化模型一般包含变量、约束条件和目标函数三要素:①变量:指最优化困难中待确定的某些量。变量可用
x＝(
x1，x2,…,
xn)T表明。②约束条件:指在求最优解时对变量的某些制约,包含技术上的约束、资源上的约束和时间上的约束等。列出的约束条件越靠近事实系统，则所求得的系统最优解也就越靠近事实最优解。约束条件可用 gi(x)≤0表明i＝1,2，…，m，m 表明约束条件数；或x∈R(R表明可行集合)。③目标函数：最优化有适当的评价标准。目标函数就是该种标准的数学描述，一般可用f(x)来表明，即f(x)=f(x1，x2,…,xn)。要求目标函数为最大时可写成；要求最小时则可写成。目标函数可以是系统功能的函数或费用的函数。它务必在满足规定的约束条件下高达最大或最小。 困难的分类 最优化困难依据其中的变量、约束、目标、困难性质、时间原因和函数关系等不同情形，可分成多种类型（见表）。 最优化方法
最优化方法
不同类型的最优化困难可以有不同的最优化方法，即便同一类型的困难也可有多种最优化方法。反之,某些最优化方法可适用于不同类型的模型。最优化困难的求解方法一般可以分成解析法、直接法、数值计算法和其余方法。①解析法：该种方法只适用于目标函数和约束条件有显著的解析表达式的情形。求解方法是：先求出最优的必要条件，得到一组方程或不等式，再求解这组方程或不等式，一般是用求导数的方法或变分法求出必要条件，通过必要条件将困难简化，所以也称间接法。②直接法：当目标函数较为复杂或者不能用变量显函数描述时，无法用解析法求必要条件。此时可采取直接搜索的方法经历若干次迭代搜索到最优点。该种方法常常依据经验或通过试验得到所需结果。对于一维搜索(单变量极值困难)，首要用消去法或多项式插值法；对于多维搜索困难(多变量极值困难)首要应用爬山法。③数值计算法：该种方法也是一种直接法。它以梯度法为基础，所以是一种解析与数值计算相结合的方法。④其余方法：如网络最优化方法等(见网络理论)。
解析性质
依据函数的解析性质，还可以对各种方法作更深一步分类。比如，假使目标函数和约束条件均为线性的，就形成线性规划。线性规划有专门的解法，诸如单纯形法、解乘数法、椭球法和卡马卡法等。当目标或约束中有一非线性函数时,就形成非线性规划。当目标是二次的,而约束是线性时，则称为二次规划。二次规划的理论和方法都较成熟。假使目标函数具有一部分函数的平方和的形式，则有专门求解平方和困难的优化方法。目标函数具有多项式形式时，可形成一类几何规划。
最优解的概念
最优化困难的解一般称为最优解。假使只考察约束集合中某一局部规模内的优劣情形，则解称为局部最优解。假使是考察整个约束集合中的情形，则解称为总的最优解。对于不同优化困难，最优解有不同的含意，因此仍有专用的名称。比如，在对策论和数理经济模型中说为平衡解；在控制困难中说为最优控制或极值控制；在多目标决策困难中说为非劣解（又称帕雷托最优解或有效解）。在处理事实困难时情形错综复杂，有时该种理想的最优解不易求得，或者需要付出较大的代价，因此对解只要求能满足一定限度规模内的条件,不一定过分强调最优。50年代初,在运筹学发展的早期就有人提出次优化的概念及其相应的次优解。提出这些概念的背景是：最优化模型的建立自身就导致一种近似，由于事实困难中存在的某些原因，特别是一部分非定量原因很难在一个模型中全部加以考虑。另一面，还缺乏一部分求解较为复杂模型的有效方法。1961年H.A.西蒙更深一步提出满意解的概念，即只要制定人对解满意即可。
最优化方法的应用
最优化一般可以分为最优设计、最优计划、最优管理和最优控制等四个方面。①最优设计:世界各国工程技术界,特别是飞机、造船、机械、建筑等部门都已普遍应用最优化方法于设计中，从各种设计参数的优选到最佳结构形状的选取等，结合有限元方法已使很多设计优化困难得到处理。一个新的成长动向是最优设计和计算机辅助设计相结合。电子线路的最优设计是其他应用最优化方法的重要领域。配方配比的优选方面在化工、橡胶、塑料等工业部门都得到成功的应用,并向计算机辅助搜索最佳配方、配比方向发展(见优选法)。②最优计划:现代国民经济或部门经济的计划，直至企业的成长规划和年度生产计划，特别是农业规划、种植计划、能源规划和其余资源、环境和生态规划的制订,都已开始应用最优化方法。一个重要的成长趋势是帮助领导部门执行各种优化决策。③最优管理：一般在日常生产计划的制订、调度和运行中都可应用最优化方法。伴随管理信息系统和决策支持系统的建立和运用，使最优管理得到快速的成长。④最优控制：首要用于对各种控制系统的优化。比如，导弹系统的最优控制，能保证用最少燃料完成飞行任务,用最短时间高达目标;再如飞机、船舶、电力系统等的最优控制，化工、冶金等工厂的最佳工况的控制。计算机接口装置持续完善和优化方法的更深一步发展，还为计算机在线生产控制创造了有利条件。最优控制的对象也将从对机械、电气、化工等硬系统的控制转向对生态、环境以至社会经济系统的控制。图书信息
书 名: 最优化方法
作者：张立卫
出版社： 科学出版社
出版时间： 2010年6月1号
ISBN: 9787030276490
开本： 16开
定价: 27.00元内容简介
《最优化方法》介绍最优化模型的理论与计算方法，其中理论包含对偶理论、非线性规划的最优性理论、非线性半定规划的最优性理论、非线性二阶锥优化的最优性理论；计算方法包含无约束优化的线搜索方法、线性规划的单纯形方法和内点方法、非线性规划的序列二次规划方法、非线性规划的增广Lagrange方法、非线性半定规划的增广Lagrange方法、非线性二阶锥优化的增广Lagrange方法以及整数规划的Lagrange松弛方法。《最优化方法》注重知识的精准性、系统性和算法论述的完整性，是学习最优化方法的一本入门书。
《最优化方法》可用作高等院校数学系高年级本科生和管理专业研究生的教材，也可作为有关工程技术人士的参考用书。图书目录
前言
第1章 变分分析的有关素材
1.1 凸分析素材
1.1.1 凸集合
1.1.2 凸函数的闭包
1.1.3 共轭函数
1.1.4 次可微性
1.2 集值映射的极限
1.3 方向导数
1.4 集合的切锥与二阶切集
1.4.1 集合的切锥
1.4.2 二阶切集
1.4.3 函数水平集的切锥与二阶切集
1.4.4 负卦限锥的切锥与二阶切集
1.5 有限维系统的平稳性
1.5.1 线性系统
1.5.2 集合约束的线性系统
1.5.3 集合约束的非线性系统
第2章 无约束优化
2.1 引言
2.2 线搜索方法
2.2.1 线搜索原则
2.2.2 下滑方法的收敛性
2.3 最速下滑方法
2.3.1 最速下滑方法的全局收敛性
2.3.2 最速下滑方法的收敛速度
2.4 Newton法
2.4.1 经典Newton法
2.4.2 带线搜索的：Newton法
2.4.3 自协调函数的Newton法
2.5 拟Newton法
2.5.1 拟Newton方程和著名的拟Newton公式
2.5.2 拟Newton法求解凸二次规划
2.5.3 Dixon定理
2.5.4 DFP方法的收敛性
2.5.5 BFGS方法的收敛性
2.5.6 制约Broyden类方法的收敛性
2.6 共轭梯度方法
2.6.1 共轭方向
2.6.2 共轭梯度方法求解二次规划
2.6.3 求解无约束优化困难的FR方法
2.7 信赖域方法
2.7.1 信赖域基本算法
2.7.2 Cauchy点与模型下滑
2.7.3 信赖域算法的收敛性
第3章 线性规划
3.1 线性规划困难及其性质
3.2 单纯形法
3.3 Bland原则
3.4 线性规划的对偶定理
3.5 对偶单纯形方法
3.6 线性规划的Karmakar内点法
3.6.1 解析中心与势函数
3.6.2 线性规划的势函数
3.6.3 线性规划的中心路径
3.6.4 线性规划的Karmarkar算法
第4章 对偶理论
4.1 共轭对偶性
4.2 Lagrange对偶性
4.3 对偶理论的应用
第5章 最优性条件
5.1 一阶最优性条件
5.2 广义Lagrange乘子
5.3 二阶最优性条件
第6章 增广Lagrange函数方法
6.1 惩罚与阻碍函数方法
6.1.1 惩罚函数方法
6.1.2 经典阻碍函数方法
6.2 增广Lagrange函数方法
6.2.1 增广Lagrange函数
6.2.2 Bertsekas的经典结果
6.2.3 对偶收敛率
第7章 序列二次规划（SQP）方法
7.1 等式约束优化困难的局部方法
7.1.1 Newton法
7.1.2 KKT系统
7.1.3 既约Hesse阵方法
7.2 一般约束优化困难的局部方法
7.2.1 序列二次规划方法
7.2.2 原始.对偶二次收敛性
7.2.3 原始超线性收敛性
7.3 线搜索全局方法
7.3.1 不可微惩罚函数
7.3.2 线搜索SQP方法
7.3.3 Maratos效应
参考文献
