blogspot.com-GA4

星期二, 9月 30, 2008

ODBC, OLEDB, ADO 的差異

http://gordonliwei.spaces.live.com/Blog/cns!CCE1F10BD8108687!2629.entry
作者:李維 Delphi專家
重點:ODBC, OLEDB, ADO 的差異


在我的認知中OLEDB應該不可能比ODBC快,為什麼?這是一個故事,也是ODBC,OLEDB,ADO和dbExpress各自發展的原因,因此我們需要對於這些資料存取技術的背景有一個簡單的瞭解。

ODBC當初是MS為了在Window下提供一個共通的資料存取技術而發展出來的,目的是突破當時三大資料庫廠商Oracle,Sybase和Informix對於MS的SQL Server的圍堵,此外MS也想藉由這個共通的資料存取技術幫助MS Access擊倒Lotus和Approach,因此最早的ODBC的策略是提供一個最小公約數API,讓一個標準可以存取所有的資料庫,因此在ODBC的初期ODBC的效率很緩慢,因為除了實作技術不成熟之外,當時MS SQL Server的功能也不好,因此以SQL Server為中心思想發展出來的最小公約數ODBC在存取其他資料庫時簡直慢的不想話,這也是為什麼後來Borland發展出了BDE/IDAPI之後在功能和效率方面都比ODBC好上一大截的原因。但是當MS Server SQL逐漸成熟,ODBC的實作技術也慢慢成熟之後,以最小公約數為發展中心的ODBC因為功能最簡單,因此負荷最小,到了最後ODBC的效率是最好的資料存取之一。

OLEDB是當時MS想把COM/DCOM/COM+技術推為Windows平台的唯一技術時發展出來的,如此一來在Window平台所有的通訊,資料存取和元件都以COM/DCOM/COM+為核心,因此一度Borland也準備以COM/DCOM/COM+發展IDE,資料存取等。MS當時為了這個原因,因此有了OLEDB,但是舊的ODBC怎麼辦? 因此又發展出了ODBC和OLEDB Adapter的技術,讓ODBC也可以執行在COM/DCOM/COM+的世界,讓資料存取端認為ODBC也是OLEDB。OLEDB為什麼不會比ODBC快? 因為OLEDB功能比較多,而且OLEDB是以Ole Automation封裝傳遞的資料,負荷比ODBC大,因此ODBC應該會比較快。

至於ADO則是後來MS為MS Access,MS SQL Server特別在Windows平台發展出來的存取技術,因為當時由於Internet/Intranet的沖擊,MS的COM/DCOM/COM+不適合使用在Internet/Intranet上,因此MS逐漸準備放棄COM/DCOM/COM+,這也是OLEDB的長日將盡之日,ADO接手演出之時。ADO和ODBC不同的地方是,ADO再也不是使用最小公約數為中心,而是完全以MS的資料庫為核心,這也是為什麼當ADO推出後其他廠商並不熱衷支援ADO,我記得當時Oracle拒絕推出ADO For Oracle,MS迫不得已自己為Oracle寫了ADO驅動程式,但是又慢臭蟲又多,而Borland也決定繼續發展BDE/IDAPI,只是為ADO做簡單的封裝處理,但Delphi/BCB仍然以BDE/IDAPI為核心資料存取技術。

由於ADO不是使用最小公約數為中心,因此功能比ODBC多太多了,例如資料連結池,執行緒池,可分段存取資料,資料存取到用戶端時不是把所有記錄中的資料存取到用戶端,而是只把Key存取到用戶端,一旦當用戶端實際需要整筆資料時才藉由Key把資料存取到用戶端。因此如果只是簡單的單一用戶端存取資料測試,ADO不一定會比ODBC快,但是應該差不多,不過在實際的應用中,ADO應該是比ODBC整體效率快,但是記得ADO是為了MS的資料庫而生的,因此如果是使用ADO在其他廠商資料庫上則不一定。這是為什麼一些資料庫管理工具如果是管理多種不同的後端資料庫,那麼大多仍然是使用ODBC,為什麼? 因為簡單,因此穩定一點,所以快一點。例如Embarcadero的產品就是使用ODBC來管理後端多種資料庫。

OK,討論到這裡你應該知道ODBC,OLEDB和ADO的使用時機了。

現在回到dbExpress,dbExpress是為了跨平台發展出來的資料存取技術,不是為了特定的資料庫,也不是只為了Window 32平台。dbExpress可以執行在Win32,.NET,Win64,Linux,可以存取MS,Oracle等以及CodeGear自己的InterBase和BlackfishSQL。而dbExpress是結合跨平台和一些目前用戶端先進的資料存取概念為中心,例如dbExpress也提供連結池,執行緒池等。

OK,因此如果你使用dbExpress和ADO來比較存取MS的資料庫,那麼一定是ADO快一點,為什麼? 因為ADO是為了MS的資料庫而生。
如果你使用dbExpress和ODBC進行單一簡單的資料存取比較,那麼ODBC快一點,因為ODBC功能少,負荷少。但是在比較多的用戶端進行比較複雜的資料處理時,dbExpress就比ODBC表現的好多了,這和ADO比ODBC是類似的。
如果你想使用一種統一的資料存取技術,不管對於什麼平台,什麼資料庫都有良好的執行速度,因此當你改變資料庫時你的執行效率仍然很穩定,那麼dbExpress是王者。
ODBC,ADO和OLEDB已停止開發,因此如果你想使用一種仍然在開發之中而且能夠應用在未來Win64和多核心,多執行緒的世界,那麼dbExpress是比較好的解決方案。

Sybase ASE 常見問與答

來源


ASE 安裝過程中,安裝程式一直停留在初始化資料庫這一步,無法繼續

這是一個莫明其妙的 bug,在初始化庫的過程中,tempdb 滿了!
  解決方法:
    此時,ASE 服務實際已經啟動,因此,可以通過 isql 登錄,然後修改 tempdb 的大小:
    1. 在命令行下鍵入以下命令,注意斜體部份用實際服務名代替:
     c:\>isql -Usa -S 服務名
    2. 鍵入下面下劃線的命令:
     1>alter database tempdb on master ="2M"
     2>go


為什麼生產環境不要設置 truncate log on checkpoint?
  有些用戶貪圖簡便,在生產環境中設置了 truncate log on checkpoint 。其原意不外是避免因寫滿日誌而導致的業務停頓。殊不知,這樣的設置可能帶來不可挽回的災難。因為當事務被截斷後,從最近一次全備到當前的事務均不可能再恢復了!如果這期間出現問題,如磁片損壞,則將導致大量資料丟失。
  在生產環境中,應通過配置合理的備份策略來進行全備和增量備份。典型的策略是每週一次全備,每天一次增量備份。用戶應根據自身應用的實際情況(資料量、資料增量、資料重要性等因素),合理調整,如改為一天兩次增量備份。如果需要大量導入資料,可能寫滿日誌,那麼可能臨時設置 truncate log on checkpoint,但需要注意的是:完成資料導入後,應立即取消此設置,並馬上進行全備。  


如何分離日誌與資料?
  1、備份資料庫,包括 master 和你要分離資料與日誌的應用庫(廢話,根據 Sybase ASE 系統管理員日常維護指南,這一步是必不可少,以至於不用寫出來的步驟);
  2、檢查日誌是否有單獨的存放設備,如有,則直接到第5步;
  3、增加一個設備:disk init .....;
  4、alter database db_name log on new_log_device=xxx
  5、sp_dropsegment logsegment, db_name, device_name
  6、查看是否已分離(sp_helpdb或sp_helplog);
   需要注意的是,執行 sp_helplog 會提示以下類似資訊:
No valid log device can be found to contain the starting logpage of 'xxxx', on database 'xxxxx'. Perhaps the segment mapping of database has changed recently. Please inspect the sysusages catalog and contact your system administrator.
  你大可不必緊張。段(segment)只是管理以後如何為物件分配空間,增加和刪除 segment 並不移動當前的已分配空間。日誌至少有一個擴充(extend)位於以前的 segment 上(還記得嗎,為物件分配存貯單元時,實際是以 extend 為單位的。)。如果當前 extend 被填滿,需要再為日誌分配時,ASE會在新的 segment 上分配(segment 約束它不得不這麼做)。此時,截斷日誌就可以回收以前分配的 extend 了。
  7、因此,如果不想看到 sp_helplog 的“錯誤輸出”,你可以創建一個臨時表,然後往面插入足夠的資料,然後截斷日誌;
  8、老規矩,也是很重要的一步:備份資料庫,包括 master 和你分離資料與日誌的應用庫。


如何刪除tempdb資料庫在master設備上的記錄?
摘自 hobbylu 的博客。
sp_dropsegment 'system','tempdb','master'
go
sp_dropsegment 'default','tempdb','master'
go
sp_dropsegment 'logsegment','tempdb','master'
go
begin tran
delete from sysusages where dbid=2 and segmap=0
go
update sysusages set lstart=0 where dbid=2(注意這裏僅僅只考慮了一個tempdb設備的情況)
commit
go


新安裝ASE或新建服務後,用戶端無法連接伺服器
  在安裝完 ASE 或新建服務後,伺服器上能使用 dsedit 連接資料庫服務,但用戶端無法連接。
  通常的原因是資料庫服務綁定了 127.0.0.1,使用 dsedit,或直接修改 interfaces 檔,綁定確實的 IP 即可。


新安裝ASE或新建服務後,無法連接備份伺服器
  在安裝ASE或新建服務後,試圖 load 或 dump 資料庫時,總是提示如下資訊:
Can't open a connection to site 'SYB_BACKUP', See the error log file in the SQL Server boot directory.
error code = 7205
  通常,這是由於 ASE 安裝/服務初始化程式的 BUG 導致的。在創建服務時,ASE 會創建一個名為類似 XXXX_BS 的備份服務,同時會在 master..sysservers 中插入一條對應記錄。以服務名 FLYBAEN 為例,下面是 interfaces 檔和 sysservers 中的記錄:
  interfaces 檔內容:
FLYBEAN_BS
master tcp ether FLYBEAN_LINUX 5001
query tcp ether FLYBEAN_LINUX 5001

sysservers 的記錄:(select srvname, srvnetname from sysservers where srvname='SYB_BACKUP')
srvname srvnetname
------------------------------ --------------------------------
SYB_BACKUP FLYBEAN_BS
  通常默認的備份伺服器就是 SYB_BACKUP 。在 load/dump 時,ASE 通過 sysservers 獲取備份伺服器對應 interfaces 的資訊,然後在 interfaces 檔中搜索該服務的實際位置(IP和埠)。在此例中,ASE 通過 sysservers 得到 interfaces 中的服務名為 FLYBEAN_BS,然後在interfaces 中獲取該服務的物理資訊。如果 ASE 無法通過 sysservers 中的 srvnetname 在 interfaces 中獲取相關資訊,則會報上面的錯誤。
  那麼解決辦法就是非常簡單的。
  方法一:修改 interfaces 檔,將服務名改為 sysservers.srvnetname 對應的值;
  方法二:修改 sysservers 中相應記錄的 srvnetname 的值為 interfaces 檔中的服務名。


如何配置異地備份?
  自 12.5.0(12.0是否支持待確認) 開始,ASE 支持異地備份,具體方法舉例如下:
  假設兩台 ASE 資料庫伺服器,分別為 A 和 B,資料庫服務分別為: SRV_A, SRV_A_BS; SRV_B, SRV_B_S 。我們要把 B 上的資料庫 DB_1 備份到 A 上。
  1. 修改 B 上的 interfaces 檔,增加 SRV_A_BS 的配置,如:
    SRV_A_BS
      master tcp ether A BS_PORT
      query tcp ether A BS_PORT
  2.用 isql 登錄 SRV_B,為 SRV_B 增加一個遠端服務:SRV_A_BS
    sp_addserver "SRV_A_BS",null,"SRV_A_BS"
  3.測試:dump database DB_1 to 在 A 上的路徑及檔案名 at "SRV_A_BS"

系統崩潰了,沒有備份,但設備檔還存在,如何恢復資料庫?
  有的時候,系統崩潰了,手上也沒有資料庫的備份或者是備份太舊了,但僥倖的是設備還在,並且是完整的,這時可以通過檔COPY的方式恢復資料庫。
  情況一、所有設備,包括 master ,均是完整的:
  這種情況是最簡單的,只需要先備份設備檔(包括master,copy 到安全的地方),然後重新安裝系統,建服務(保持頁面大小、編碼和排序與以前一樣),然後停止服務,按原目錄將所有設備檔拷貝回來,再重啟服務即可。新建的服務名可與舊服務不同。建議把 服務名.cfg 也複製過來,省掉參數配置。
   情況二、應用的設備是完整的,但沒有master了:
  方法一、這種情況下要恢復資料庫就需要原來的設備使用情況表了。重新安裝系統,建服務,然後按原設備情況建設備(大小、位置保持和原來一致),接下來根據記錄下來的設備使用情況建庫,順序以及佔用的空間要和以前的一致。然後停服務,將應用的資料庫設備複製回來,重啟服務即可。請參考Sybase ASE 系統管理員日常維護指南的建議,定期備份 master 資料庫。
  方法二、
  1.重新創建 master 設備
   buildmaster -dthe_full_path_of_master_device -sthe_size 12.5版本以下
   dataserver -b (Windows: sqlsrvr -b)12.5(含12.5)以上 
  2.檢查並修改 RUN_XXX 檔,指向新創建的 master.dat,並增加 -T3608
  3.命令行啟動服務
  4.調整 master 庫的大小(可選)
  5.重新構建 master..sysdevices 數據
   disk reinit name="device_name", physname="full_path_of_device", vdevno=device_no,size=size_of_device
  6.重新構建 master..sysusages 數據
   disk refit
  8.修改恢復回來的資料庫名
  9.使用 isql,安裝 master 和 model
  10.創建登錄和用戶
  11.去除 RUN_XXX 檔中的 -T3608 標誌,重啟動服務


忘記了sa的密碼,怎麼辦?
  修改RUN_XXXX腳本,在其後面添加 -psa,然後在命令行運行該腳本,ASE會給出重新生成的密碼,用此密碼登錄並修改。
  注意:修改密碼後,應及時去掉添加的-psa。


調整參數後,ASE 無法啟動
  這是由於參數配置不正確,導致無法啟動。可以通過直接修改配置檔,或者將系統自動備份的配置檔拷貝回來。
  配置檔位於 ASE 安裝目錄下,命名規則為:服務名.cfg,如:/opt/sybase/ASE-15_0/FLYBEAN.log。每次調整參數後,ASE 會將備份以前的配置參數,形成諸如 服務名.三位序號 的文件,如:FLYBEAN.001,每次備份,序號會加 1。


如何跨平臺移植 ASE 資料庫?
  此處的跨平臺是指硬體平臺,如 Sparc <-> X86,它們之間存在高低位元組順序不同的問題。
•   BCP in/out;
•   如果 ASE 版本為 12.5.3 及以上,則可以通過 Dump/Load 功能直接載入。
  
如果不小心直接刪除了日誌的設備檔,如何恢復資料庫?
  首先,應盡可能從作業系統中恢復被誤刪除的設備檔;  如果不能恢復,可創建一個和被刪除設備檔大小相同的新設備檔,然後運行 dbcc rebuild_log。  下面給出一個具體的測試用例:
-- 創建測試資料庫 test
use master
go
disk init name='test_dat_dev',physname='/opt/sybase/data/test_dat_dev.dat',size='50M'
go
disk init name='test_log1_dev',physname='/opt/sybase/data/test_log_dev1.dat',size='10M'
go
disk init name='test_log2_dev',physname='/opt/sybase/data/test_log_dev2.dat',size='10M'
go

create database test on test_dat_dev='40M' log on test_log1_dev='5M', test_log2_dev='2M'
go

-- 產生一些日誌
use test
go
create table test (
id int not null,
name char(20) not null
)
go
insert into test values(1,'aaaaaaa')
insert into test values(2,'bbbbbbb')
insert into test values(3,'ccccccc')
insert into test values(4,'ddddddd')
go


-- 創建另一個資料庫,我們需要一個與測試資料庫第一個日誌設備相同的設備檔
use master
go
disk init name='test1_dat_dev',physname='/opt/sybase/data/test1_dat_dev.dat',size='50M'
go
disk init name='test1_log1_dev',physname='/opt/sybase/data/test1_log_dev1.dat',size='10M'
go
disk init name='test1_log2_dev',physname='/opt/sybase/data/test1_log_dev2.dat',size='10M'
go

create database test1 on test1_dat_dev='40M' log on test1_log1_dev='5M', test1_log2_dev='2M'
go

-- 作業系統操作:刪除 test_log_dev1.dat,然後重啟 ASE
mv test_log_dev1.dat test_log_dev1.back

-- 檢查一下資料庫的狀態,然後停 ASE
select name, status from sysdatabases
go
shutdown
go

-- 作業系統操作:拷貝 test1_log_dev1.dat 為 test_log_dev1.dat,重新啟動 ASE
cp test1_log_dev1.dat test_log_dev1.dat

-- 修改測試資料庫狀態,並重新啟動 ASE
sp_configure 'allow update',1
go
begin tran
go
update master..sysdatabases set status=-32768 where name='test'
go
commit
go
sp_configure 'allow update',0
go
shutdown
go

-- 重建日誌,可選步驟
dbcc traceon(3604)
go
dbcc rebuild_log(test,0,0)
go
online database test
go

如何清除Sybase log

手動清除log記錄檔
dump tran 資料庫名 with truncate_only

trunc log on chkpt 選項說明

如果你的trunc log on chkpt開放了這個選項,當SQL SERVER自動執行checkpoint時會清除不活動的日誌,但是對於正在進行的事務,不會清除那些活動的事務日誌,所以如果你的事務定義過大,還是會造成日誌空間的增大。
解決方法:
1.增加log設備空間;
2.將大的事務劃分成若干個小的事務。

星期一, 9月 22, 2008

8.0之前的postgreSQL 修改欄位

postgreSQL說明

4.3) 如何更改一個欄位的資料類型?

在8.0版本裡更改一個欄位的資料類型很容易,可使用 ALTER TABLE ALTER COLUMN TYPE 。

在以前的版本中,可以這樣做:

BEGIN;
ALTER TABLE tab ADD COLUMN new_col new_data_type;
UPDATE tab SET new_col = CAST(old_col AS new_data_type);
ALTER TABLE tab DROP COLUMN old_col;
COMMIT;


你然後可以使用 VACUUM FULL tab 指令來使系統收回無效資料所佔用的空間。

星期二, 9月 16, 2008

最新的雲端運算技術

李開復博士的演講

相關新聞

沒想到雲端技術已經發展到這種程度了,
之前聽說的時候還有點覺得是天方夜譚,
不過看來這倒是未來發展的一個趨勢。

星期三, 9月 03, 2008

MSDN中文線上教學

MSDN線上教學

真的不得不說微軟這方面做得真的不錯,
有中文的資料可以參考,
如果要學好其他語言英文要好,
不過微軟就不用了,
會中文一樣可以有資源可以參考,
果然在巨人的腳下有差別.....

如果JAVA要好呢....勤練英文吧 ORZ