รายละเอียดพารามิเตอร์ API โมเดลใหญ่: จากฟิลด์คำขอถึงฟิลด์คำตอบ

ลักษณะคำขอ

ที่อยู่ API คือ POST https://api.apidamoxing.com/v1/chat/completions, หัวข้อการตรวจสอบสิทธิ์คือ Authorization: Bearer <key>, ร่างคำขอคือ JSON และเข้ากันได้กับ chat completion ของ OpenAI ดูคำขอเต็มรูปแบบที่ใช้ฟิลด์ทั่วไป:

复制curl https://api.apidamoxing.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [
      {"role": "system", "content": "你是一位耐心的天文科普作者。"},
      {"role": "user", "content": "为什么月亮总是同一面朝向地球？"}
    ],
    "temperature": 0.7,
    "top_p": 0.9,
    "max_tokens": 400,
    "stop": ["###"]
  }'

หมายเหตุ model ต้องใส่ uncensored เท่านั้น เพราะมีเพียงโมเดลเดียว ใช้ GET /v1/models เพื่อยืนยัน อธิบายฟิลด์ทีละตัวดังนี้

เมื่ออ่านจบคุณจะเห็นว่าพารามิเตอร์แบ่งเป็น 3 กลุ่ม: "จะพูดอะไร" (messages, tools), "จะพูดอย่างไร" (temperature, top_p) และ "พูดมากแค่ไหน หยุดเมื่อไหร่" (max_tokens, stop, stream)

messages: สมุดบันทึกการสนทนา

messages เป็นอาร์เรย์ที่มี role และ content เปรียบเสมือนบันทึกการประชุมที่โมเดลอ่านใหม่ทุกครั้ง ไม่จำประวัติ ดังนั้นคุณต้องส่งประวัติมาครบ

เทคนิคหนึ่งคือใส่ข้อความ assistant ลงในประวัติเพื่อให้โมเดลเขียนต่อในโทนนั้น จำไว้ว่า prompt และ output รวมกันต้องไม่เกิน 100,000 token; ประวัติยาวยิ่งใช้พื้นที่มาก

ตัวอย่าง: สร้างผู้ช่วยบริการลูกค้า โดย system บอก "ตอบเฉพาะคำถามเกี่ยวกับคำสั่งซื้อ ไม่เกิน 3 ประโยค" เมื่อผู้ใช้ถามเรื่องการจัดส่งแล้วถามต่อว่า "แล้วการคืนสินค้าล่ะ" ในคำขอที่สอง, messages ต้องเรียง: system, user รอบแรก, assistant รอบแรก, user รอบสอง หากขาดไป โมเดลจะไม่เข้าใจว่า "แล้ว" หมายถึงอะไร

พารามิเตอร์การสุ่ม: ปรับ "พื้นที่อิสระ"

โมเดลจะคำนวณความน่าจะเป็นของคำที่เป็นไปได้ทั้งหมดก่อน แล้วจึงสุ่มเลือก พารามิเตอร์สองตัวนี้คือปุ่มปรับกฎการสุ่ม:

ทั้งสองตัวควบคุมระดับความสุ่ม แต่คนละมุม การปรับทั้งคู่พร้อมกันทำให้ยากที่จะรู้ผลที่มาจากตัวไหน จึงแนะนำให้ปรับทีละตัว ฟิลด์การสุ่มมาตรฐานเหล่านี้จะถูกส่งต่อไปยัง API โดยไม่มีการแก้ไข

ตัวอย่างตัวเลข: หากคำที่เป็นไปได้คือ A (60%), B (30%), C (10%) การลด temperature จะทำให้ A โดดเด่นขึ้นเหมือนการเลือกอันดับหนึ่งเสมอ; การเพิ่ม temperature จะทำให้ความน่าจะเป็นใกล้เคียงกัน ทำให้ C มีโอกาสถูกสุ่มมากขึ้น หากใช้ top_p 0.9 จะเก็บเพียง A และ B รวมกันถึง 90% ส่วน C จะถูกตัดออก ตัวเลขนี้เป็นเพียงสมมติฐานเพื่ออธิบายหลักการ ไม่ใช่ความน่าจะเป็นจริง

ควบคุมความยาวและการหยุด: max_tokens, stop, stream

max_tokens เปรียบเสมือนขนาดจานที่เสิร์ฟอาหาร หากจานเล็กเกินไป อาหารอาจยังไม่หมดจานก็ถูกเก็บไป ซึ่ง finish_reason จะเป็น length stop เปรียบเสมือนรหัสลับที่เชฟจะหยุดทำงานเมื่อได้ยินรหัสนี้ stream ไม่เปลี่ยนเนื้อหา แต่เปลี่ยนวิธีการส่งข้อมูล: จาก "ทำเสร็จทั้งหมดแล้วค่อยเสิร์ฟ" เป็น "ทำเสร็จคำละคำ" ทำให้ผู้ใช้รู้สึกว่าตอบสนองเร็วขึ้น

stop มีประโยชน์มาก: หากคุณกำหนดให้โมเดลตอบในรูปแบบ "คำถาม: ... คำตอบ: ... ###" และตั้งค่า ### เป็น stop การสร้างจะหยุดอัตโนมัติเมื่อพบตัวคั่น ช่วยประหยัดโทเคนและป้องกันไม่ให้โมเดลพูดเกินความจำเป็น หมายเหตุ: เมื่อหยุดเนื่องจาก stop finish_reason จะเป็น stop เช่นกัน หากคุณต้องการแยกแยะ ต้องตรวจสอบเนื้อหาด้วยตนเอง

tools และ tool_choice: ให้โมเดล "โทร" หาคุณ

โมเดลไม่สามารถดึงข้อมูลแบบเรียลไทม์ได้เอง วิธีการ function calling คือ: คุณแจ้งโมเดลก่อนว่ามีฟังก์ชันใดบ้าง เมื่อโมเดลตัดสินใจว่าจำเป็นต้องใช้ จะไม่ตอบโดยตรง แต่จะส่งกลับว่า "โปรดเรียกใช้ฟังก์ชัน某 พร้อมพารามิเตอร์...

复制import json
import os
from openai import OpenAI

client = OpenAI(base_url="https://api.apidamoxing.com/v1", api_key=os.environ["API_KEY"])

tools = [{
    "type": "function",
    "function": {
        "name": "get_tide_time",
        "description": "查询某港口今天的高潮时刻",
        "parameters": {
            "type": "object",
            "properties": {"port": {"type": "string", "description": "港口名称"}},
            "required": ["port"],
        },
    },
}]

messages = [{"role": "user", "content": "青岛今天几点涨潮？"}]
first = client.chat.completions.create(
    model="uncensored", messages=messages, tools=tools, tool_choice="auto"
)
msg = first.choices[0].message

if msg.tool_calls:
    call = msg.tool_calls[0]
    args = json.loads(call.function.arguments)
    result = {"port": args["port"], "high_tide": "14:20"}   # 这里换成你自己的查询
    messages.append(msg)
    messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result, ensure_ascii=False)})
    final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
    print(final.choices[0].message.content)
else:
    print(msg.content)

กระบวนการทำงานมีสองขั้นตอน: ขั้นแรกได้รับ tool_calls ขั้นที่สองนำผลลัพธ์ที่มี role เป็น tool ไปเพิ่มแล้วส่งคำขอใหม่ การเขียน description ให้ชัดเจนจะช่วยให้โมเดลรู้เวลาที่เหมาะสมในการเรียกใช้ พารามิเตอร์เป็นสตริง JSON ควรใช้ json.loads เพื่อแยกวิเคราะห์และตรวจสอบความถูกต้อง อย่าไว้วางใจโดยตรง

ฟิลด์ตอบกลับ: อ่าน "ใบเสร็จ" ของการตอบกลับ

การตอบกลับที่สำเร็จมีโครงสร้างโดยประมาณดังนี้ โดยฟิลด์ต่างๆ มีค่าคงที่:

复制{
  "id": "chatcmpl-xxxx",
  "object": "chat.completion",
  "model": "uncensored",
  "choices": [
    {
      "index": 0,
      "message": {"role": "assistant", "content": "因为潮汐锁定……"},
      "finish_reason": "stop"
    }
  ],
  "usage": {"prompt_tokens": 38, "completion_tokens": 212, "total_tokens": 250}
}

ในโค้ดควรตรวจสอบ finish_reason ก่อน: หากเป็น length ให้แจ้งผู้ใช้ว่าเนื้อหาถูกตัดหรือเขียนต่ออัตโนมัติ; หากเป็น tool_calls ให้เข้าสู่ขั้นตอนการเรียกใช้ฟังก์ชัน บทบาทของ usage มีวิธีการคำนวณงบประมาณโดยละเอียดในtoken กับการ计费

ข้อผิดพลาดทั่วไปเกี่ยวกับพารามิเตอร์

• เข้าใจผิดว่า max_tokens คือ "ขีดจำกัดข้อมูลนำเข้า" มันควบคุมเฉพาะข้อมูลส่งออก ข้อมูลนำเข้าควบคุมโดยคุณ
• เข้าใจผิดว่าโมเดลจำคำขอครั้งก่อนได้ ทุกคำขอเป็นอิสระต่อกัน ประวัติต้องส่งมาเอง
• เข้าใจผิดว่าตั้งค่า temperature เป็น 0 แล้วผลลัพธ์จะเหมือนกันทุกครั้ง จะมีความเสถียรกว่า แต่ไม่ควรสมมติว่าผลลัพธ์จะตรงกันทุกตัวอักษร
• อ่าน choices[0].message โดยตรงในโหมดสตรีมมิง บล็อกข้อมูลสตรีมมิงมีฟิลด์เป็น delta ต้องนำข้อมูลมาต่อกันเอง
• ลืมเพิ่มข้อความ assistant ที่มี tool_calls หลังจากเรียกใช้ tool ทำให้เกิดข้อผิดพลาดในรอบที่สอง

ความหมายของรหัสข้อผิดพลาดและกลยุทธ์การเรียกซ้ำสามารถดูได้ในเอกสาร หากต้องการดูตัวอย่างที่เชื่อมโยงพารามิเตอร์เหล่านี้ทั้งหมด โปรดอ้างอิงบทความการสร้างแชทบอท